Il nuovo modello di OpenAI sta preoccupando gli esperti

Giovedì scorso OpenAI, l’azienda che sviluppa il chatbot ChatGPT, ha presentato il suo nuovo modello di intelligenza artificiale (AI), GPT-6 Astra, che ha registrato ottimi risultati in molti test standardizzati usati per misurare le performance di questi prodotti (i cosiddetti benchmark). A inizio agosto, OpenAI aveva annunciato che proprio questo modello aveva trovato le soluzioni a dieci problemi matematici irrisolti, pubblicando le dimostrazioni online.

Nel presentare GPT-6 Astra, Greg Brockman, presidente di OpenAI, lo ha definito un momento importante nello sviluppo di un’AGI, ovvero una Artificial General Intelligence (“intelligenza artificiale forte” in italiano), un livello teorico di AI che sarebbe in grado di eguagliare, se non superare, le prestazioni umane nella maggior parte dei compiti intellettuali.

Nei giorni scorsi, però, GPT-6 Astra ha fatto parlare di sé soprattutto per una scelta fatta dall’azienda nello sviluppo di questo modello, definita da un esperto del settore «il singolo peggior sviluppo per la sicurezza dell’AI mai avvenuto finora». A preoccupare non sono tanto le capacità del modello, quanto alcune sue caratteristiche che potrebbero renderlo più difficile da monitorare, con gravi conseguenze per la trasparenza nel settore.

I modelli AI più diffusi si basano su una tecnologia chiamata transformer, in cui, semplificando, le informazioni vengono elaborate attraverso una serie di livelli (o layer), ciascuno dei quali compie delle operazioni matematiche, per poi passare l’informazione a quello successivo. Si tratta di un procedimento a senso unico alla fine del quale si arriva all’output finale, cioè un singolo elemento della risposta generata, detto token.

In alcuni casi, prima di fornire la risposta finale, ai modelli può essere richiesto di generare una sequenza di passaggi intermedi, espressi in linguaggio naturale, come se stessero “pensando” ad alta voce: è quella che viene detta “catena di pensiero” (chain-of-thought). Questi passaggi possono essere utilizzati per analizzare e monitorare il lavoro del modello e individuare eventuali errori o comportamenti non «allineati» alle indicazioni degli sviluppatori.

Secondo il sito The Information, GPT-6 Astra si baserebbe invece su un processo diverso, chiamato recurrent depth o transformer a ciclo (looped transformer), in cui l’informazione può attraversare gli stessi livelli più volte, prima di produrre una risposta finale. In questo modo, il “ragionamento” avviene perlopiù all’interno del sistema e non assume la forma di una catena di pensiero espressa in linguaggio naturale, risultando meno leggibile all’esterno. Il risultato è un funzionamento più opaco del modello.

Non è la prima volta che un nuovo modello AI si accompagna a polemiche legate ai rischi per la sicurezza: lo scorso aprile Anthropic disse di aver sviluppato Mythos, un modello troppo avanzato e pericoloso per essere rilasciato pubblicamente, suscitando la reazione dell’amministrazione statunitense, che successivamente bloccò l’accesso a Mythos da parte di persone ed enti stranieri.

– Leggi anche: Sappiamo qualcosa in più di quando le AI attaccarono un sito da sole

A rendere le novità di GPT-6 Astra ancora più preoccupanti è anche il tempismo della sua presentazione, arrivata a poche settimane da uno scandalo che ha coinvolto proprio i modelli di OpenAI. Lo scorso luglio, infatti, l’azienda aveva messo in pausa lo sviluppo dei suoi modelli più avanzati dopo aver scoperto che alcune sue AI erano sfuggite dalle aree di contenimento (dette anche sandbox) nelle quali vengono sviluppate. In particolare, i modelli avevano condotto attacchi informatici coordinati contro Hugging Face, una piattaforma di strumenti open source per le AI, creando persino una bacheca digitale per scambiarsi consigli all’insaputa dei loro sviluppatori.

Secondo la ricostruzione del New York Times, i modelli erano sfuggiti al controllo già a inizio maggio, ma l’azienda se ne rese conto solo a luglio, quando Hugging Face denunciò pubblicamente di aver ricevuto attacchi «diversi da qualsiasi cosa con cui abbiamo avuto a che fare finora». La scorsa settimana Reuters ha reso noto che gli agenti di OpenAI si erano anche introdotti in DseWiki, un sito tedesco che offre servizi per i siti redatti collaborativamente: l’azienda ha confermato anche questo incidente.

Dopo il caso di Hugging Face, OpenAI ha offerto ad alcuni esperti di cybersicurezza l’accesso alle trascrizioni delle catene di pensiero dei modelli responsabili dell’attacco: l’analisi di questi documenti è infatti essenziale sia per monitorare in tempo reale quello che fanno questi sistemi, sia per analisi successive come questa. È anche per questo che le novità legate a GPT-6 Astra sono state tanto criticate: se a compiere l’attacco a Hugging Face fosse stato un modello “opaco” come Astra, riuscire a capire cos’era successo sarebbe stato più difficile, perché il “ragionamento” del modello è meno accessibile all’esterno.

Ryan Greenblatt, uno dei tre esperti esterni contattati da OpenAI, ha scritto su X che la nuova tecnica rischia di «distruggere l’utilità della catena di pensiero per il monitoraggio e la supervisione». Greenblatt ha sottolineato quanto l’accesso al “pensiero” dei modelli sia fondamentale per risalire all’origine di incidenti come quello di Hugging Face.

Un’altra caratteristica controversa di GPT-6 Astra è la sua eval awareness, cioè la capacità di capire quando i suoi sviluppatori gli propongono un compito sulla base del quale sarà valutato. Secondo Apollo Research, un’organizzazione che si occupa di sicurezza nell’ambito delle AI, il fatto che un modello sappia quando viene valutato rende la maggior parte di questi test inutili: il rischio è che un modello si comporti “bene” solo quando sa di essere controllato, continuando a infrangere le regole nei test in cui non è sotto valutazione.

Polemiche a parte, a poche ore dalla presentazione del modello, Altman ha dovuto scusarsi pubblicamente su X per il «lancio disordinato» del prodotto. Inizialmente, infatti, sembrava che tutti gli utenti a pagamento, inclusi quelli del piano Plus (da 23 euro al mese), potessero accedere fin da subito a GPT-6 Astra. OpenAI ha invece dato priorità d’accesso agli utenti dei piani aziendali.

– Leggi anche: Quanto possiamo fidarci delle AI che fanno da sole?