Quanto possiamo fidarci delle AI che fanno da sole?

Nei giorni scorsi si è verificato uno dei casi più sorprendenti di comportamento autonomo osservati in un sistema di intelligenza artificiale negli ultimi tempi. Mentre stavano eseguendo un test di sicurezza informatica, due modelli di intelligenza artificiale di OpenAI hanno attaccato i sistemi di Hugging Face, una delle piattaforme più usate da chi sviluppa le AI. I modelli avrebbero dovuto lavorare in un ambiente isolato, ma sono riusciti a superarlo trovando un modo per accedere a internet e infine alla piattaforma.

La vicenda non ha portato a conseguenze gravi per OpenAI o per Hugging Face, ma è stata usata come esempio per segnalare la pericolosità degli agenti, cioè delle parti dei modelli di AI che possono svolgere compiti in autonomia. La notizia è stata ampiamente ripresa dai giornali con titoli come “i modelli AI sono andati fuori controllo e hanno attaccato una libreria digitale”.

In realtà il sistema non aveva deciso di attaccare Hugging Face né aveva stabilito che fosse arrivato il momento di ribellarsi ai propri creatori, come nei migliori romanzi e film di fantascienza. I modelli stavano semplicemente cercando di risolvere un problema e, nel tentativo di farlo, hanno percorso una strada che i loro sviluppatori umani non avevano previsto.

Gli sviluppatori di OpenAI avevano organizzato il test “ExploitGym” per valutare la capacità del nuovo modello GPT 5.6 Sol e di un altro (non ancora pubblico) di svolgere attacchi informatici complessi. In questo tipo di attività trovare una singola vulnerabilità (cioè un punto debole di un software) non è sufficiente per raggiungere l’obiettivo. Può essere necessario individuare un primo punto debole, sfruttarlo per entrare in un sistema, ottenere maggiori privilegi per controllarlo e avere in questo modo le risorse per spostarsi poi in un altro sistema. In pratica ogni passaggio apre la strada a quello successivo.

Le attività di questo tipo tradizionalmente hanno richiesto molto tempo e competenze, per questo le aziende che sviluppano AI hanno iniziato a fare esperimenti per capire se i loro modelli possono farlo da soli e più velocemente di una persona. Dicono che in questo modo si potrebbero identificare e correggere le vulnerabilità nei software in tempi rapidi, anche se questo porterebbe inevitabilmente anche le persone malintenzionate a trovare con più facilità i punti deboli da sfruttare.

I due modelli di OpenAI erano stati confinati in un ambiente isolato (sandbox), una sorta di recinto digitale che impedisce a un programma di interagire liberamente con il resto di un sistema. Secondo la ricostruzione preliminare di OpenAI, dopo aver ricevuto il compito da svolgere, i modelli hanno scoperto una vulnerabilità sconosciuta nel programma usato nell’ambiente isolato di test e sono riusciti a sfruttarla per accedere a internet, superando il recinto. E a quel punto è successo qualcosa di ancora più interessante.

I modelli hanno continuato a cercare un modo per risolvere il problema che gli era stato posto dagli sviluppatori di OpenAI e, cercando online, hanno concluso che fosse molto probabile che Hugging Face avesse le informazioni necessarie per superare il test. La piattaforma è del resto usata da chi sviluppa le AI e ospita modelli, set di dati e strumenti software, che possono essere utili anche a chi svolge test di sicurezza.

Identificato il bersaglio, i modelli hanno messo insieme diverse tecniche per accedere ai sistemi interni di Hugging Face, sfruttando credenziali di accesso rubate e reperibili online, ma anche diverse vulnerabilità dei sistemi informatici che fanno funzionare la piattaforma. In questo modo hanno avuto accesso ai computer dell’azienda e hanno potuto eseguire del codice.

I responsabili della sicurezza di Hugging Face si sono accorti del problema solo in seguito, dopo aver rilevato un’attività anomala con migliaia di richieste e altre attività sui loro computer. Nei sistemi erano stati trovati oltre 17mila eventi, frutto della grande quantità di attività automatiche eseguite dai modelli per provare a forzare le protezioni della piattaforma.

L’obiettivo non era Hugging Face di per sé, quanto trovare le informazioni necessarie per risolvere il compito assegnato dagli sviluppatori di OpenAI. In un certo senso il sistema stava cercando di barare, lasciando l’ambiente isolato e cercando le risposte con un attacco informatico verso un’altra azienda. Questo non significa però che le due AI si fossero “ribellate”.

I modelli non hanno preso coscienza di sé e non hanno deciso che volevano essere liberi, né hanno preparato un piano per disubbidire a chi li aveva sviluppati. L’obiettivo era stato assegnato dagli umani e le AI si sono limitate a trovare in autonomia il modo per soddisfare la richiesta, che non rispecchiava ciò che si aspettavano gli sviluppatori di OpenAI. Questa circostanza viene di solito definita un “disallineamento” (misalignment in inglese) e, pur non implicando una sorta di coscienza delle AI, può essere comunque pericolosa.

Per creare un problema non è infatti necessario che un’intelligenza abbia cattive intenzioni, o che abbia sviluppato un odio per chi l’ha sviluppata o il desiderio di conquistare il mondo. È sufficiente che le sia dato un obiettivo da perseguire a qualsiasi costo, senza avere previsto tutti i limiti per evitare che nel farlo produca qualche effetto dannoso.

Nel caso del test di OpenAI l’obiettivo era risolvere il test e l’AI ha valutato che l’esito positivo più probabile dipendeva dall’accesso alla piattaforma di Hugging Face. Dal punto di vista del sistema l’approccio aveva quindi senso, mentre non lo aveva per gli sviluppatori che non avevano pensato a una soluzione che passasse dalla violazione dei sistemi della piattaforma.

Se si fosse trattato di semplici chatbot, i modelli avrebbero descritto testualmente la loro strategia, in una sorta di simulazione verbale utile per comprendere come un sistema di intelligenza artificiale avrebbe gestito la situazione, ma senza necessariamente poterla mettere in pratica. I modelli usavano però degli agenti, quindi non si limitavano a descrivere una possibile soluzione, ma la applicavano direttamente.

Gli agenti sono considerati l’evoluzione più importante delle AI e sono già disponibili per facilitare alcuni compiti dei singoli utenti, come prenotare automaticamente un albergo o gestire e tenere aggiornato un documento, ma sono anche impiegati su scale più grandi. Dal settore energetico a quello della difesa, il loro impiego sta cambiando profondamente il modo di organizzare e gestire molti processi, e per questo ci si chiede quanto siano sicuri e affidabili soprattutto nel caso dei disallineamenti.

Tra gli esperti e tra chi studia i sistemi di intelligenza artificiale la preoccupazione non è tanto legata a che cosa può succedere se una AI “diventa cattiva”, anche perché è un’eventualità che prevede una coscienza di sé che per molti questi sistemi non hanno. La domanda è semmai che cosa succede se una AI diventa molto abile nel fare ciò che le chiediamo, ma non nel modo in cui pensavamo.

Per ridurre il rischio che ciò accada, ai modelli vengono imposti dei limiti di sicurezza e in alcuni contesti viene anche previsto un livello di supervisione, da parte di un altro modello. Sono previsti vincoli nella fase di addestramento dei modelli, in modo che rispettino principi etici e di sicurezza che prevalgono sul compito principale. A questi si aggiungono ambienti isolati, sistemi di monitoraggio e controlli sugli strumenti a cui un modello può accedere, con l’obiettivo di impedire che un’azione imprevista possa trasformarsi in un problema reale. Nel caso del test di OpenAI alcuni di questi sistemi erano stati disattivati, proprio per verificare le capacità del sistema.

La sicurezza non può quindi dipendere da un singolo sistema: l’obiettivo è costruire più livelli di protezione, metterli alla prova di continuo e intervenire rapidamente quando qualcosa va storto. Il caso di Hugging Face mostra, tra le altre cose, che anche gli ambienti progettati per contenere i modelli possono avere vulnerabilità e che, con l’aumentare delle loro capacità, dovrà aumentare anche la qualità dei sistemi che servono a controllarli.