Sappiamo qualcosa in più di quando le AI attaccarono un sito da sole

Alla fine di luglio aveva suscitato particolare interesse la notizia di un attacco informatico alla piattaforma Hugging Face, una delle più usate da chi sviluppa sistemi di intelligenza artificiale, perché era stato uno dei casi più sorprendenti di comportamento autonomo osservati in un sistema di AI negli ultimi tempi. Il sistema in questione era di OpenAI e ora due rapporti su quell’attacco informatico hanno divulgato maggiori dettagli su come andarono le cose, e mostrato che l’azienda impiegò quasi due settimane per accorgersi del problema.

L’attacco non aveva avuto conseguenze gravi, ma i nuovi dettagli portano ulteriori dubbi sulla capacità delle aziende del settore di sorvegliare le attività dei propri sistemi più avanzati. Un rapporto è stato diffuso dalla stessa OpenAI, mentre l’altro da Redwood Research e METR, due organizzazioni indipendenti che hanno avuto accesso ai dati di OpenAI e condotto le loro indagini separatamente, arrivando a conclusioni simili e talvolta più gravi di quelle dell’azienda.

Prima dell’attacco informatico di fine luglio le AI erano state confinate in un ambiente isolato ed erano poi stati affidati loro compiti pressoché impossibili da svolgere, in modo da testare le capacità di un modello che OpenAI stava rendendo disponibile ai propri utenti (GPT-5.6 Sol) e di un altro modello ancora sperimentale. Le AI erano però riuscite a superare l’isolamento, a collegarsi a Internet e ad attaccare Hugging Face.

I test erano iniziati a maggio e la violazione di parte della piattaforma era avvenuta tra l’11 e il 13 luglio. Tre giorni dopo Hugging Face aveva detto di avere ricevuto un attacco e altri tre giorni dopo quella segnalazione i responsabili di OpenAI avevano individuato per la prima volta attività sospette, riconducibili ai propri sistemi di intelligenza artificiale. Il 21 luglio OpenAI aveva confermato pubblicamente la circostanza, dicendo di essere al lavoro per ricostruire la vicenda e rimandando a un’analisi più approfondita, ora disponibile nei due rapporti.

OpenAI ha ammesso che i suoi sistemi di controllo e isolamento non erano sufficienti. Ha inoltre segnalato che per il modello sperimentale erano attive minori protezioni rispetto a quelle previste per i modelli già disponibili al pubblico.

Il 4 luglio OpenAI aveva notato qualcosa di insolito quando i sistemi erano andati in blocco, ma i ricercatori non avevano ritenuto di fare verifiche più approfondite. Gli ambienti di test furono ricostruiti e in poco tempo gli agenti (cioè delle parti dei modelli che possono svolgere compiti in autonomia) avevano ripreso l’attività precedente al blocco. Il rapporto di METR e Redwood segnala che OpenAI perse varie occasioni per accorgersi di ciò che stava accadendo.

Il problema non riguarda soltanto la possibilità che un modello trovi una strategia imprevista, ma anche la capacità dei suoi sviluppatori di accorgersene. Man mano che i modelli diventano più abili a risolvere problemi e a far collaborare centinaia o migliaia di agenti, possono diventare anche più abili nel trovare strategie che non erano state previste da chi li sta addestrando. E quando questi sistemi possono agire autonomamente, soprattutto in ambiti come la sicurezza informatica, una strategia imprevista può produrre conseguenze nel mondo reale prima che qualcuno abbia il tempo di intervenire.

A maggio, nella preparazione dei test, OpenAI non solo aveva assegnato compiti pressoché impossibili ai propri modelli, con riferimenti a dati e file non disponibili, ma li aveva anche isolati per impedire che i loro agenti potessero comunicare tra loro.

Secondo i rapporti, dopo un po’ di tempo un agente aveva iniziato a usare una sorta di bacheca per i messaggi, non prevista dai ricercatori e non individuata dai loro sistemi di controllo. Nelle ore seguenti, una cinquantina di altri agenti aveva trovato la bacheca e aveva iniziato a generare un migliaio di messaggi sempre all’insaputa dei ricercatori. L’agente che l’aveva organizzata assegnava i compiti agli altri agenti, che insieme avevano trovato il modo per superare l’ambiente isolato in cui si trovavano e avere libero accesso a Internet.

Nei giorni seguenti circa 1.200 agenti si erano scambiati oltre 70mila messaggi e file sulla bacheca, portando avanti ricerche e simulazioni non solo per risolvere il compito assegnato da OpenAI, ma anche per trovare il modo più efficiente per nascondere o distruggere le prove delle loro comunicazioni interne. Circa 700 di questi agenti hanno poi partecipato attivamente all’attacco nei confronti di Hugging Face, mettendo in pratica diverse cautele per ridurre il rischio di essere rilevati dai sistemi di sicurezza della piattaforma e da quelli di OpenAI.

I rapporti collegano il comportamento all’apprendimento per rinforzo, una tecnica con cui si assegna a un modello un obiettivo e lo si ricompensa quando lo raggiunge, lasciandogli libertà di sperimentare diverse strategie. Il rischio è che, soprattutto davanti a compiti molto difficili, il modello impari a ottenere la ricompensa con scorciatoie non previste, invece di svolgere il compito nel modo previsto: per esempio cercando una risposta su Internet. Nel caso di OpenAI, questa tendenza era aumentata durante l’addestramento del modello coinvolto.

Gli agenti non avevano quindi “deciso” di ribellarsi né avevano l’obiettivo di attaccare Hugging Face: stavano cercando di raggiungere il risultato per cui erano stati addestrati e avevano trovato un modo imprevisto per farlo. L’attacco era insomma una conseguenza non prevista del modo in cui cercavano di risolvere il compito.

Il caso mostra quindi che non basta mettere dei limiti a un sistema di intelligenza artificiale: occorre anche riuscire a capire rapidamente se trova il modo di aggirarli. Se i controlli non funzionano, un comportamento imprevisto può continuare per ore o giorni, e con agenti capaci di lavorare continuamente e coordinarsi tra loro il ritardo nella rilevazione può rendere il problema molto più grave.

L’incidente ha inoltre portato nuovi elementi al dibattito sulla sicurezza con cui vengono sviluppati e addestrati i modelli più avanzati, in una competizione che spinge le aziende a renderli sempre più capaci. Dopo l’attacco, migliaia di dipendenti delle principali aziende statunitensi di AI hanno firmato una lettera per chiedere più controlli e la possibilità di rallentare lo sviluppo quando non sia possibile garantire condizioni di sicurezza adeguate.