Questo grafico mostra quanto in fretta stanno cambiando le AI

Lo scorso settembre il CEO di Anthropic, Dario Amodei, aveva alimentato con una lettera aperta il dibattito sulla necessità di rallentare lo sviluppo dei sistemi di intelligenza artificiale per ragioni di sicurezza. Dal confronto erano emerse soprattutto preoccupazioni intorno alla possibilità che le AI imparino a svilupparsi da sole, aumentando esponenzialmente le loro capacità. Poco dopo Anthropic aveva pubblicato una prima analisi – con dati e misurazioni per capire a che punto fosse effettivamente lo sviluppo di quei sistemi – della quale si è cominciato a discutere negli ultimi giorni.

È basata sui dati interni della società fino ad agosto e segnala che le AI guidano il 26 per cento delle attività di ricerca e sviluppo. Il dato segna un importante incremento, se si considera che a marzo questo tipo di attività autonoma era intorno all’1 per cento. La progressione nel corso dei mesi, illustrata nel grafico qui sotto, mostra come ci sia stata un’importante accelerazione tra aprile e maggio. Al tempo stesso, Anthropic non svolge ancora alcun tipo di attività in cui le AI lavorano in piena autonomia allo sviluppo dei nuovi modelli.

Per lo sviluppo di un modello di intelligenza artificiale sono necessarie moltissime attività, dalla progettazione degli esperimenti alla scrittura del codice, passando per la preparazione dei dati e le lunghe fasi di addestramento e di test dei modelli, con l’applicazione di eventuali correzioni. È un lavoro che richiede mesi e che fino a poco tempo fa era svolto soprattutto da gruppi di ricerca e sviluppatori, che potevano usare le AI come assistenti. Oggi invece una parte crescente del lavoro viene affidata direttamente ai modelli, in quello che viene definito “sviluppo ricorsivo”, ma non è sempre semplice stimare la quota che riguarda esclusivamente le AI.

Per le sue misurazioni, Anthropic ha identificato circa 540 tipi di attività, dai più generici a quelli specifici, e ha assegnato a ciascuno un livello di automazione. Ha poi usato una scala che comprende sei livelli di automazione:

• AL0, con nessun coinvolgimento delle AI;
• AL1, dove il coinvolgimento è minimo, con saltuari interventi sul lavoro umano;
• AL2, in cui l’AI svolge alcune attività, ma il processo è guidato direttamente dalle persone;
• AL3, dove l’AI collabora e fa buona parte del lavoro, supervisionata dagli sviluppatori;
• AL4, in cui il modello fa da guida e gli basta un’indicazione generale per portare a termine gran parte del lavoro, sempre con supervisione umana;
• AL5, dove l’AI è completamente autonoma e svolge un’attività senza il coinvolgimento di una persona.

Il 26 per cento del lavoro di ricerca e sviluppo di Anthropic è ormai al livello AL4, quindi con una guida delle attività da parte delle AI. Il 90 per cento del lavoro si trova ormai almeno al livello AL3. Non c’è invece nessuna attività che sia classificabile al momento come AL5.

Nella sua analisi, Anthropic dice di avere circa 30mila agenti AI impegnati contemporaneamente sulla piattaforma interna più utilizzata per le attività di ricerca e ingegneria. Non sono semplici chatbot, ma sistemi che possono lavorare per obiettivi e che possono compiere sequenze di operazioni per raggiungerli, senza che debbano essere specificate da qualcuno. Il lavoro di migliaia di agenti in contemporanea deve però essere controllato, perché non sempre il loro comportamento è “allineato” alle aspettative degli sviluppatori. Il mancato allineamento è stato per esempio alla base dell’attacco alla piattaforma Hugging Face da parte di agenti di OpenAI scoperto all’inizio della scorsa estate.

Anthropic dice di aver applicato due livelli di controllo. Il primo interviene in tempo reale verificando tutte le azioni degli agenti: ad agosto ne ha valutate oltre un miliardo, bloccandone circa una ogni 47mila, sottoposta poi a revisione umana. Il secondo svolge un lavoro di analisi più ampio in un momento successivo, per individuare eventuali comportamenti problematici che non possono essere identificati analizzando in tempo reale le singole attività.

– Leggi anche: I rischi di un’intelligenza artificiale che si sviluppa da sola

Basandosi su questa analisi e sulle risorse dedicate alla sicurezza, Anthropic sostiene che i singoli agenti si comportino raramente in modo scorretto mentre vengono usati per sviluppare nuovi modelli. Al tempo stesso il problema potrebbe diventare rilevante in termini assoluti quando saranno usati milioni, se non miliardi di agenti, come ha in programma di fare in futuro la società.

I dati forniti da Anthropic sono stati accolti con interesse, ma devono essere interpretati con cautela. Sono basati in larga parte su attività di analisi e valutazione fatte con sistemi di intelligenza artificiale, che potrebbero non identificare sempre i comportamenti scorretti degli agenti. La misurazione è inoltre riferita a un periodo limitato nel tempo che potrebbe non essere sufficientemente rappresentativo. Inoltre mancano ancora standard condivisi su questo tipo di analisi, che potrebbero aiutare a confrontare il lavoro delle aziende concorrenti, come OpenAI, Google e Meta.

Non è comunque detto che un modello che scrive codice e fa esperimenti sia sufficiente per migliorare sé stesso. Lo sviluppo ricorsivo richiede infatti diverse condizioni, a partire dalla capacità del modello di condurre la ricerca necessaria a costruire un sistema più potente e di testarlo in modo approfondito. Un modello deve inoltre essere in grado di intervenire sulle decisioni per lo sviluppo, creare un metodo e seguirlo per poter ripetere il processo.

Anche nel caso in cui si arrivasse a una percentuale crescente di piena autonomia delle AI in queste attività, potrebbe comunque non esserci un’accelerazione esponenziale nel miglioramento dei modelli. Per sostenerla è necessaria una crescente potenza di calcolo, o una forte abilità del sistema nel rendersi più efficiente, raggiungendo risultati migliori dei precedenti a parità di risorse consumate (potenza di calcolo, memoria, energia, ecc.). L’automazione dei processi non si tradurrebbe necessariamente nella produzione di modelli migliori.

La diffusione dei dati è avvenuta in un momento particolare per Anthropic. La società è nell’imminenza della quotazione in borsa, che secondo gli analisti potrebbe essere la più grande mai avvenuta negli Stati Uniti. L’interesse, non solo degli investitori, è altissimo e di conseguenza Anthropic sta cercando di mostrare sia le proprie potenzialità sia il lavoro intorno alla sicurezza. In futuro, un grave errore o danni causati dalle sue AI potrebbero infatti avere effetti sulle sue azioni in borsa e in generale sull’intero settore dei cosiddetti “modelli di frontiera”, cioè quelli più avanzati e potenti.

E proprio un dato nella documentazione per la quotazione in borsa mostra quanto stia cambiando il modo di lavorare di Anthropic, in relazione all’uso delle AI per le attività di sviluppo. La società genera oltre 6,6 milioni di dollari di ricavi per dipendente, più di quattro volte il valore di Microsoft.

È un risultato cui contribuisce anche l’uso degli agenti AI, che svolgono una parte crescente del lavoro di ricerca e sviluppo e permettono a poche migliaia di persone di coordinare attività che, fino a poco tempo fa, avrebbero richiesto molti più interventi umani. Le società dei modelli di frontiera ritengono che, una volta raggiunto lo sviluppo ricorsivo, la quantità di ricavi per dipendente potrebbe diventare altissima e tale da rendere sostenibili gli enormi costi per l’energia e il mantenimento dei loro data center. Perché questa prospettiva si realizzi non basterà però automatizzare il lavoro: i modelli dovranno produrre miglioramenti concreti e ricavi sufficienti a compensare i costi crescenti del calcolo. Per ora, è una scommessa molto costosa.