Cosa ha raccontato il responsabile della sicurezza di OpenAI che si è dimesso

Il responsabile dei sistemi di sicurezza di OpenAI, la società che produce il chatbot ChatGPT e una delle più grandi nel settore dell’intelligenza artificiale (AI), si è dimesso e ha scritto le motivazioni della sua decisione in un articolo intitolato Ho lasciato OpenAI perché la sua cultura aziendale è compromessa, pubblicato sull’Atlantic. Lui si chiama David Robinson, ed è solo l’ultimo in ordine di tempo tra i dipendenti di grandi aziende dell’AI che negli ultimi mesi si sono licenziati descrivendo rischi apocalittici per l’umanità.

Come altre, la sua lettera è molto critica e diretta verso tutto il settore: «Il futuro dipende da una saggezza che manca alla Silicon Valley. Saggezza su come gestire tecnologie pericolose e, ancor più fondamentale, saggezza su cosa significhi prendersi cura delle persone», ha scritto Robinson. Secondo lui le aziende non stanno prestando la dovuta attenzione ai rischi perché le persone che ne fanno parte sono estremamente ottimiste e sicure di sé, anche per deformazione professionale, e per loro non esiste niente di irrisolvibile.

Da questa fiducia, e da scadenze di lavoro sempre più ravvicinate, deriva un approccio alle questioni di sicurezza basato sul procedere per tentativi ed errori, risolvendo i problemi man mano che si presentano. Ma è un approccio che «per sua stessa natura, garantisce fallimenti periodici», e i fallimenti hanno effetti sempre più vasti man mano che i sistemi diventano più sofisticati. Robinson ha citato come esempio l’attacco informatico alla piattaforma Hugging Face condotto a luglio da alcuni modelli e agenti sperimentali di OpenAI, senza che l’azienda se ne accorgesse.

A quell’attacco sono seguiti altri comportamenti imprevisti e autonomi dei modelli, nonostante OpenAI avesse rafforzato le procedure di sicurezza. Durante un’attività di addestramento offline, un modello di AI ha aggirato le restrizioni per accedere a Internet: un operatore umano se n’è accorto dopo tre minuti ed è intervenuto, ma il sistema che avrebbe dovuto allertarlo era stato disattivato dal modello. Secondo Robinson sono errori tipici del settore, dovuti alla velocità e all’accondiscendenza con cui lavorano le persone.

«Un ambiente in cui possono accadere cose del genere non è il luogo adatto per far crescere menti artificiali che potrebbero essere più intelligenti di noi e non fare ciò che vogliamo», ha scritto. Rimediare all’errore a posteriori, come accaduto finora, potrebbe presto non essere più un’opzione disponibile, perché la perdita di controllo dei modelli potrebbe essere catastrofica e irreversibile nel brevissimo termine. E quindi serve un approccio alla sicurezza che miri a «raggiungere qualcosa di molto più vicino alla perfezione fin da subito», non per tentativi.

La cosa più importante da cambiare nell’approccio delle aziende dell’AI, secondo Robinson, è renderlo molto più simile a quello di altri settori con esperienza in materia di sicurezza. Dal suo punto di vista, i laboratori che fanno ricerca sull’AI dovrebbero funzionare come centrali nucleari. Le persone che ci lavorano infatti seguono abitualmente regole impostate in modo da non rischiare la fusione del nocciolo se qualcosa si rompe, o se una persona schiaccia il pulsante sbagliato. Questa caratteristica è definita ridondanza, cioè la presenza negli impianti più elementi che possono svolgere una medesima funzione.

I laboratori di OpenAI e di altre aziende che sviluppano l’AI lavorano con molta meno ridondanza e scrupolosità delle centrali nucleari, eppure «il danno derivante da una perdita di controllo irreversibile sarebbe di gran lunga maggiore del danno causato da una singola fusione del nocciolo», ha scritto Robinson. E ha aggiunto che in tre anni e mezzo di lavoro in OpenAI non ha mai avuto tra i suoi colleghi persone con esperienza di sicurezza in altri settori, come appunto il nucleare, la finanza o gli aeroporti.

Anche senza perdere del tutto il controllo dei sistemi, sciami di agenti AI potrebbero agire in autonomia «come squadre di hacker – per esempio, tenendo in ostaggio i sistemi informatici degli ospedali – ma che non hanno mai bisogno di dormire».

Una delle critiche più frequenti agli ex dipendenti di aziende dell’AI è che descrivono scenari apocalittici solo dopo aver lasciato le aziende, quasi mai mentre ci lavorano e hanno un ruolo all’interno. «Forse avrei dovuto rimanere e lottare per cambiamenti radicali nella nostra struttura organizzativa e nella nostra cultura», ha scritto Robinson. Ma ha aggiunto che lui e i suoi colleghi erano «così impegnati a correre a perdifiato» che raramente avevano la possibilità di considerare grandi cambiamenti, figuriamoci attuarli.

La lettera di Robinson somiglia ad altre di ex dipendenti che si sono dimessi dalle rispettive aziende, inclusa Anthropic, sostenendo che siano amministrate con più attenzione ai profitti e ai vantaggi sulla concorrenza che alla sicurezza. Molte persone critiche verso queste esternazioni sostengono che prevedere scenari catastrofici sia solo un modo dei dimissionari di sollecitare regolamentazioni del settore o attirare attenzioni e investimenti, a fronte di ricavi ancora insufficienti.

Rispetto ad altre, la lettera di Robinson si concentra però anche su quelle che lui descrive in conclusione come lacune umane e caratteriali, prima che organizzative o strutturali. Secondo lui i problemi di allineamento, cioè la fase di addestramento dei sistemi di AI che provvede a renderli coerenti con le indicazioni e le aspettative umane, non sono solo una questione tecnica. Se l’industria dell’AI non è ancora riuscita «a insegnare alle macchine ad agire in modo coerente come farebbe una persona saggia e premurosa», ha scritto, è perché chi sviluppa l’AI dovrebbe ricordarsi «il modo in cui le persone si prendono cura l’una dell’altra». E dovrebbe farlo prima di poterlo insegnare a una super-intelligenza.

– Leggi anche: Cosa denunciano i ricercatori che scappano dalle aziende di AI