Quanto possiamo fidarci di Pangram?

Qualche settimana fa il Wall Street Journal ha pubblicato un editoriale dell’investitore Stanley Druckenmiller piuttosto critico nei confronti del segretario al Tesoro statunitense Scott Bessent. Più che il suo contenuto, però, a far discutere online è stato soprattutto il sospetto che fosse stato scritto usando sistemi di intelligenza artificiale (AI), per via di uno stile piuttosto piatto, simile a quello tipico dei testi generati. Nei giorni successivi, Druckenmiller ha ammesso di avere usato le AI ed è stato difeso dal responsabile delle pagine delle opinioni del quotidiano, secondo cui questi strumenti sono ormai «parte della vita moderna».

Prima ancora della sua confessione, comunque, in molti erano già piuttosto convinti che l’articolo fosse stato scritto con le AI per un semplice motivo: lo avevano analizzato con Pangram. Pangram è un’azienda fondata nel 2023 a New York che sviluppa un servizio omonimo diventato il punto di riferimento per chi vuole verificare se un testo è stato generato con le AI. Secondo Pangram, l’articolo di Druckenmiller era stato scritto al cento per cento dalle AI.

Questi prodotti, diffusi fin dall’introduzione di ChatGPT nel 2022, vengono detti “AI detector”, o rilevatori di AI, una categoria di cui fanno parte servizi come GPTZero, Winston AI e Copyleaks: Pangram, però, è considerato da molti superiore rispetto alla concorrenza.

Tutti questi servizi funzionano più o meno allo stesso modo: basta andare sul sito e incollare il testo da indagare per ottenere una percentuale di probabilità che sia stato scritto dalle AI. Nella maggior parte dei casi, questi sistemi misurano il grado di perplessità (o perplexity) di un testo, ovvero quanto ogni parola di un testo risulti “sorprendente” dal punto di vista di un modello linguistico, che, semplificando, genera un testo facendo seguire a ogni parola quella che ritiene più probabile sulla base dei testi su cui è stato addestrato. Per questo i testi generati dalle AI risultano più “prevedibili” alle AI stesse rispetto a quelli scritti dagli umani.

Affidarsi alla perplessità, però, rischia di portare a errori e a falsi positivi, i casi in cui un testo scritto da un essere umano viene segnalato come generato dalle AI. Un caso famoso è la Dichiarazione d’indipendenza americana, che molti rilevatori classificano come generata dall’AI proprio perché è un testo estremamente riprodotto online, e quindi molto presente nei set con cui sono addestrate le intelligenze artificiali. Motivo per cui quella sequenza di parole è interpretata come estremamente prevedibile.

È un po’ lo stesso problema che complica il riconoscimento dei testi generati che si basa sull’individuazione di formule tipiche dell’AI: l’uso dei trattini lunghi, o di costruzioni sintattiche che mettono a contrasto due elementi differenti («questo non è x, è y»). È vero che sono molto diffusi nei testi prodotti dai chatbot, ma solo perché in precedenza facevano parte degli elementi stilistici della scrittura umana, seppure in misura minore.

– Leggi anche: Perché i chatbot sono fissati con: “Non è X, è Y”?

Per questo, Pangram ha elaborato una tecnica diversa, addestrando una rete neurale – un tipo di AI il cui funzionamento è ispirato, in parte, a quello del cervello umano – a riconoscere le differenze tra testi scritti da persone e testi generati: ad esempio, confrontando due temi sullo stesso argomento, uno scritto da uno studente delle medie e uno generato da un modello linguistico. Secondo l’azienda, questo avrebbe permesso di ridurre i falsi positivi a un tasso di uno su diecimila, un dato confermato da uno studio della University of Chicago secondo cui il tasso di errore dell’azienda è «vicino allo zero».

Negli scorsi mesi Pangram si è diffusa molto, venendo adottata da Substack, il servizio per l’invio di newsletter, per riconoscere e ridurre i contenuti generati nella piattaforma. A luglio Pangram ha anche pubblicato un rapporto sulla diffusione dei contenuti generati sui social media, in particolare su LinkedIn, sostenendo che circa il 40 per cento dei post lunghi pubblicati su questo sito sarebbe fatto almeno in parte con le AI. Nel giro di pochi giorni, LinkedIn ha presentato una nuova funzione con cui gli utenti possono segnalare i contenuti che sembrano essere stati generati.

Pangram ha fatto parlare di sé anche nel settore dell’editoria, in cui l’avvento delle AI generative sta avendo conseguenze notevoli. Da alcuni giorni in Francia si sta parlando del caso dello scrittore canadese-haitiano Thélyson Orélien, accusato di aver scritto con le AI il suo romanzo C’était ça ou mourir (“O così o la morte”). L’opera ha avuto un notevole successo, ma recentemente un anonimo profilo X vicino all’estrema destra ha sostenuto che, secondo Pangram, sarebbe stata scritta completamente con le AI. Ci sono però dubbi sull’attendibilità di Pangram nell’analisi di un testo come quello di Orélien, scritto in francese e in creolo haitiano, una lingua derivata dal francese. Un altro software usato dall’agenzia di stampa AFP, infatti, ha dato risultati del tutto opposti, ritenendo le parti incriminate del libro scritte da un essere umano.

– Leggi il blog di Luca Sofri: Nessun libro viene scritto “da un’intelligenza artificiale”

A inizio anno, Pangram era stata al centro di un caso simile quando Shy Girl, un romanzo della scrittrice statunitense Mia Ballard, fu ritirato dal mercato per un uso sospetto delle AI. Le voci attorno all’opera circolavano da alcuni mesi ma ad amplificarle fu Max Spero, l’amministratore delegato di Pangram, che analizzò il romanzo scoprendo che, secondo il programma, era scritto al 78 per cento con le AI. Ballard ha respinto le accuse sostenendo che le AI fossero state usate da un editor che aveva assunto quando pubblicò a sue spese la prima versione del romanzo.

Nonostante sia ormai ritenuto lo «standard aureo del rilevamento delle AI», come lo ha definito Wired, Pangram non rappresenta la soluzione universale al problema di partenza, ovvero come distinguere in modo affidabile i contenuti generati da quelli tradizionali. Per quanto rari, infatti, gli errori e i falsi positivi sono ancora possibili: questo rende l’utilizzo di software simili piuttosto rischioso in contesti lavorativi e scolastici, in cui un eventuale errore può avere conseguenze enormi per le persone coinvolte.

A questo si aggiungono i rischi legati ai bias tipici di questi sistemi: secondo uno studio del 2023, ad esempio, i testi scritti da studenti per cui l’inglese non è la lingua nativa avevano una probabilità maggiore di essere identificati come generati. Annie Chechitelli, dirigente di Turnitin, un rilevatore di AI molto usato in campo accademico, ha detto all’Atlantic che l’utilizzo di questi programmi dovrebbe essere «l’inizio di una conversazione» tra studenti e insegnanti, e non una prova definitiva dell’utilizzo delle AI.

Pangram e altri software simili, inoltre, sono in competizione con società come OpenAI, Google e Anthropic, che hanno tutto l’interesse a rendere i loro contenuti più “umani”, e quindi meno riconoscibili in quanto generati da una macchina. Online si sono anche diffusi i cosiddetti “humanizer”, servizi in grado di modificare un testo generato eliminandone le caratteristiche associate alla scrittura da AI. Come ha raccontato l’Atlantic, un utente può potenzialmente generare un testo con un chatbot, modificarlo con un “humanizer” e ottenere un testo considerato “umano” da Pangram.

Una possibile soluzione è stata proposta lo scorso agosto da Anthropic, l’azienda che sviluppa il chatbot Claude, che ha introdotto una sorta di etichetta invisibile (“watermark”) per i contenuti creati dalle sue AI. L’iniziativa di Anthropic è in linea con quanto richiesto dall’AI Act, la legge europea che regola lo sviluppo e l’utilizzo dei sistemi di intelligenza artificiale, che prevede nuovi obblighi per le aziende del settore nel contrassegnare i contenuti (non solo testuali) generati. Anche in questo caso, però, il watermark può essere rimosso intervenendo in modo sostanziale (un «leggero lavoro di editing» non sarebbe sufficiente a rimuovere l’etichetta). Anthropic ha inoltre precisato che l’assenza di watermark da un contenuto non è di per sé prova del fatto che il testo non sia stato generato con le AI.

Secondo Ethan Mollick, docente presso la Wharton School della University of Pennsylvania, nessun watermark o “AI detector” sarà mai una prova sicura della genuinità del testo: saranno invece le norme sociali a cambiare a seconda di quanto la scrittura con le AI verrà adottata e tollerata nei diversi contesti. «L’autenticità sarà un problema in tutti gli ambiti», ha detto Mollick al Financial Times: «stiamo ancora cercando di capire quali parti della scrittura vogliamo mantenere umane e quali accettiamo siano fatte dalle AI».

– Leggi anche: Si può riconoscere un testo scritto dall’intelligenza artificiale?