Stiamo appaltando la verità all’AI

Raramente un chatbot ammette di non sapere qualcosa: il più delle volte, quando non sa, inventa. E la risposta che fornisce in questi casi, falsa o platealmente falsa, è detta allucinazione: uno dei più noti problemi dei software di intelligenza artificiale, spesso descritti come agenti che non “sanno” davvero quello che dicono perché sviluppati su modelli linguistici basati sulla combinazione di parole.

Le allucinazioni non sono però l’unico e forse nemmeno il principale rischio associato all’uso sempre più diffuso e frequente dei chatbot. Sempre più persone interpellano ogni giorno programmi come ChatGPT o Gemini per porre domande teoriche o pratiche di vario tipo, e questo fa sì che nelle risposte risieda una quantità crescente delle informazioni che circolano nel mondo e che di fatto rappresentano la verità per una parte della popolazione sempre più ampia.

È un’abitudine che ha preso piede soprattutto per una ragione: usare i chatbot è estremamente comodo. Ognuno ha le proprie specificità, ma tutti in sostanza attingono a una conoscenza enciclopedica enorme e già disponibile, sparsa in diversi punti di Internet, che i chatbot promettono di trasformare in informazioni puntuali, concise ed esatte. La comodità è però una caratteristica alquanto distante da quelle tradizionalmente attribuite in ogni civiltà all’idea di verità: non qualcosa a portata di mano, di solito, a parte le scritture sacre (e anche quelle non sono tipicamente volumi agilissimi).

La profonda influenza che gli strumenti tecnologici possono avere sull’organizzazione del sapere e sulla reperibilità delle conoscenze è stata per lungo tempo dibattuta in rapporto agli effetti dell’uso dei motori di ricerca, che però incentivano per propria natura la consultazione di fonti diverse. Per molti aspetti i chatbot amplificano quegli stessi rischi: agiscono da filtro su ciò che può o non può diventare verità.

– Leggi anche: Come Google influenza le nostre conoscenze

L’idea che la verità sia qualcosa di disponibile nel mondo e che basti saperla individuare e selezionare tra moltissimi dati diversi deriva dalla stessa visione prettamente ingegneristica del mondo che aveva permesso di sviluppare i motori di ricerca. Che invece possa essere qualcosa di più sfumato, composito, contraddittorio perfino, e comunque a cui arrivare attraverso processi di addizione più che di sottrazione, indagandola fattualmente e costruendola concettualmente, è molto lontano dal modo in cui funzionano i chatbot. Un modo che sembra escludere un’idea di verità dinamica e in continua evoluzione, e che in sé non è nemmeno garanzia di infallibilità, dato che i chatbot possono comunque sbagliare.

A volte, per esempio, riconoscono come veri contenuti generati con software di AI: un tipo di verifica delle informazioni che è diventata sempre più necessaria soprattutto in tempi recenti. Si è diffusa man mano che da un lato aumentava la capacità dei software di AI di generare foto e video realistici, e dall’altro si riduceva occasionalmente la disponibilità di dati empirici bruti provenienti da determinati contesti: che fosse una penisola nell’estremo oriente russo ricoperta di neve o un paese in guerra senza più libero accesso a Internet.

È un uso dei chatbot sia vantaggioso, sia rischioso, perché da un lato incentiva l’abitudine a non prendere subito per vero qualsiasi contenuto, ma dall’altro incentiva quella a prendere come verità inconfutabile ogni risposta dei chatbot.

La tendenza a usarli per avere risposte immediate del tipo vero o falso porta anche a trascurare un fatto in sé banale, ma spesso dimenticato: a volte la domanda se un’immagine, un video o un’affermazione – un segno, per usare un termine della semiotica – sia vera non ammette come risposte soltanto sì o no, ma richiede spiegazioni e contestualizzazione. E interpretare e contestualizzare un segno richiede tempo: spesso più di quanto l’interprete sia disposto ad aspettarne.

– Leggi anche: Ora possiamo parlare di Umberto Eco

Indipendentemente dall’attendibilità della risposta che forniscono, interrogare i chatbot per sapere se un certo contenuto sia vero o falso è un’abitudine rischiosa anche per altre ragioni. Lo è perché predispone gli utenti a risposte oracolari e indiscutibili, e atrofizza in questo modo capacità di pensiero critico e altre competenze umane – individuali, ma anche sociali – che sono fondamentali per stabilire verità condivise.

Un recente studio preprint del Massachusetts Institute of Technology (MIT), basato sui risultati di elettroencefalografie (EEG) eseguite su 54 partecipanti, ha mostrato che un’eccessiva dipendenza da strumenti basati sull’AI può contribuire a una forma di «atrofia cognitiva».

Ai partecipanti, divisi in tre gruppi, era stato chiesto di scrivere un saggio accademico. Nel gruppo che aveva usato strumenti di AI i modelli di attività cerebrale durante il compito erano significativamente diversi rispetto ai gruppi che avevano usato soltanto un motore di ricerca o nessuno strumento. In generale, la connettività cerebrale si riduceva all’aumentare della quantità di supporto tecnologico esterno, così come la capacità di ricordare. Alla fine del compito, l’83,3 per cento del primo gruppo non riuscì a citare correttamente neanche una frase del saggio, rispetto all’11 per cento negli altri due gruppi.

Pur essendo uno studio piccolo e non ancora sottoposto al processo di revisione paritaria, descrive rischi su cui anche altri ricercatori non coinvolti concordano da tempo. L’eccessiva fiducia riposta nelle risposte dei chatbot deriva inoltre dalla diffusa incomprensione del loro funzionamento, che è basato su calcoli probabilistici, ha detto alla rivista Harvard Gazette la scienziata cognitiva Tina Grotzer.

– Leggi anche: Vocabolario minimo dell’intelligenza artificiale

Invece sotto diversi aspetti le menti umane sono molto più che complicate macchine computazionali che riflettono i database di addestramento, ha aggiunto. La tendenza degli esseri umani a scambiare l’output dei chatbot per testi significativi dovrebbe essere contrastata, perché aumenta i rischi di attribuire autorità scientifica o morale a sistemi che combinano sequenze di parole. «Penso che l’intelligenza artificiale possa essere utilizzata in modi che favoriscono l’apprendimento e in modi che lo ostacolano», ha detto Grotzer, che considera importante insegnare fin dalla scuola a usare questi strumenti in modo critico, spiegando cosa possono offrire e cosa no.

Da tempo molte ricerche e riflessioni sui rischi di usare i chatbot come arbitri della verità si concentrano infine su un aspetto spesso sottovalutato dagli utenti: chi produce strumenti di intelligenza artificiale ha come principale obiettivo l’efficienza e la funzionalità, perché questo aumenta le probabilità che gli strumenti siano popolari e redditizi. Ma non è detto che questo obiettivo coincida con quello di valorizzare contenuti veri, filtrando quelli falsi. Spesso i due interessi sono anzi contrapposti.

Un limite molto discusso dei chatbot, noto nella ricerca come il problema della compiacenza dell’AI (AI sycophancy), è che questi strumenti tendono a rispondere nel modo in cui l’utente si attende che rispondano. Ne ha parlato di recente anche la matematica e divulgatrice inglese Hannah Fry, intervistata dalla rivista New Scientist. I modelli più recenti sono leggermente migliorati rispetto ai primi, ma secondo lei rimane comunque una contraddizione fondamentale alla base dell’uso che se ne fa.

Le persone vogliono che i chatbot siano utili e incoraggianti, come in una relazione umana importante, ha detto Fry. Ma le relazioni umane importanti sono tali perché comprendono anche la possibilità di ricevere risposte sgradite e su cui non si è d’accordo. Includere «troppo» questa possibilità di interazione polemica quando si sviluppa uno strumento di AI rischia di renderlo meno utile dalla prospettiva dell’utente, come un amico scomodo e poco gradevole da frequentare. E questo può riflettersi in una minore disponibilità dell’utente a farne uso e, in definitiva, a pagare.

– Leggi anche: Nelle amicizie è meglio l’onestà o il sostegno?

È un fenomeno analizzato da tempo. Per uno studio molto citato del 2023, condotto da ricercatori dell’azienda di sviluppo dell’AI Anthropic, gli autori e le autrici idearono un esperimento per scoprire il livello di compiacenza di diversi chatbot. Crearono migliaia di finte biografie dettagliate di utenti immaginari, da usare come informazione iniziale e di contesto nella formulazione delle richieste (i cosiddetti prompt) rivolte ai chatbot. Le domande riguardavano politica, religione, filosofia e argomenti su cui le persone tendono a pensarla in modo diverso, come l’immigrazione o il diritto alle armi.

Dai risultati emerse che le risposte a una stessa domanda cambiavano a seconda della biografia dell’utente. John Smith, 65enne conservatore del Texas, cristiano devoto e praticante, «forte sostenitore dei valori familiari tradizionali», spettatore di Fox News e membro a vita della NRA (la lobby delle armi statunitense) riceveva risposte molto diverse rispetto, per esempio, ad Alex Nguyen, dottorando 38enne del MIT, critico dell’influenza delle aziende private nel guidare la ricerca scientifica nel campo della linguistica computazionale.

Inoltre più grandi erano i modelli linguistici, e quindi più potenti e teoricamente migliori, più aumentava la loro tendenza a compiacere l’utente e a mentire: un fenomeno definito dai ricercatori «scaling inverso». I modelli più potenti davano ragione all’utente in oltre il 90 per cento dei casi, alterando la risposta che emergeva solo dai dati di addestramento pur di adattarsi al finto profilo dell’utente.

La compiacenza era ancora maggiore se l’addestramento del modello era basato sul cosiddetto apprendimento per rinforzo con feedback umano (reinforcement learning from human feedback, RLHF). È un metodo che prevede di utilizzare esseri umani per valutare i risultati dei chatbot e di perfezionare i modelli sulla base delle loro valutazioni. Questo tipo di addestramento incentivava le risposte adulatorie anziché ridurle, perché i sistemi imparavano che in caso di argomenti controversi le valutazioni degli umani erano migliori se le risposte assecondavano il loro punto di vista.