Il sondaggio che ci ha preso

In questi giorni si sta parlando molto dell’unico sondaggio che aveva previsto una vittoria di Donald Trump, fra quelli commissionati da giornali e centri studi istituzionali: il sondaggio del Los Angeles Times, che dallo scorso luglio dava Trump in testa nel voto popolare (anche se con alcuni “ma”, come vedremo tra poco). Quello del Los Angeles Times è un sondaggio particolare che ha utilizzato metodologie uniche nel settore. La storia di questo sondaggio aiuta a capire come siano andate e cose nell’industria delle previsioni elettorali e quanto, davvero, le loro stime siano state fuori strada.

Il sondaggio del Los Angeles Times ha attirato fin da subito molte attenzioni per la via della sua particolare metodologia. Il campione che veniva intervistato, ad esempio, era completamente diverso da quelli utilizzati da tutti gli altri. Di solito, ad ogni nuovo sondaggio le persone contattate sono diverse, cioè non si intervista per due volte di seguito la stessa persona. La ragione è semplice: se il campione scelto inizialmente è per qualche motivo sbagliato (ad esempio, i sostenitori di un candidato sono più rappresentati di quelli del suo avversario), continuare a sentire le stesse persone sul lungo periodo non aiuta a correggere questo error. Se invece vengono intervistate ogni volta persone diverse, l’errore di campionatura di un sondaggio può essere corretto in quelli successivi.

Il sondaggio del Los Angeles Times, invece, ha utilizzato sempre lo stesso campione di tremila persone (o meglio, ha utilizzato costantemente dei “sotto-campioni” del campione originale di tremila persone: se siete impallinati di sondaggi, qui trovate un’analisi molto dettagliata del metodo che hanno utilizzato). E questo, potenzialmente, può causare anche un secondo problema. Il sito Real Clear Politics lo spiega così:

Se provate a chiedere agli americani qual è la migliore squadra di calcio europea probabilmente otterrete delle risposte abbastanza casuali. Rifletteranno il fatto che alcune città europee sono più famose di altre oppure il fatto che alcune squadre di calcio sono molto conosciute. I risultati rappresenteranno abbastanza fedelmente la scarsa conoscenza del calcio europeo che c’è negli Stati Uniti. Ma se nel corso del tempo continuate a fare questa domanda alle stesse persone, gli intervistati finiranno con il diventare curiosi e potrebbero cominciare a chiedersi: “Ok, ma quali sono davvero le più forti squadre europee?”. Qualcuno farà una ricerca su Google, magari altri inizieranno a guardare delle partite di calcio in modo da poter rispondere in maniera più corretta alla domanda. Il punto, insomma, è che l’esperimento stesso finirà con l’alterare i risultati dell’esperimento.

Ma intervistare sempre le stesse persone ha anche dei vantaggi. Nate Silver, direttore del sito FiveThirtyEight e considerato uno dei principali esperti di sondaggi, ha scritto che un campione costante permette di osservare con maggiore chiarezza il movimento del trend elettorale e come i singoli elettori reagiscono alle notizie politiche. Inoltre, il sondaggio del Los Angeles Times “pesava” le preferenze espresse dagli intervistati in base alla percentuale che loro stessi assegnavano alla possibilità che si recassero davvero al voto (in altre parole, un voto di Hillary da parte di qualcuno che diceva che c’era il 50 per cento di possibilità di andare a votare “pesava” meno di un voto per Trump da parte di qualcuno sicuro al 100 per cento di recarsi alle urne). Diversi esperti scrivono che dopo i risultati del voto di martedì, il modello del Los Angeles Times dovrebbe essere attentamente studiato e, nel caso, replicato da altre società.

Ma quanto esattamente ci “ha preso”? Su Trump, parecchio. Nel suo ultimo sondaggio, il Los Angeles Times gli assegnava il 46,8 per cento del voto popolare, mentre la gran parte degli altri sondaggi lo dava tra il 40 e il 44 per cento. La media sondaggi di Real Clear Politics, ad esempio, gli assegnava il 42,2 per cento. Al momento (i riconteggi sono ancora in corso), risulta che Trump ha ottenuto il 47,4 per cento dei voti. In altre parole, il Los Angeles Times è stato il sondaggio che ha previsto meglio il totale dei voti ottenuti da Trump.

Su Hillary Clinton, però, la previsione non è stata altrettanto corretta. Secondo il Los Angeles Times, Clinton avrebbe dovuto ricevere appena il 43,6 per cento del voto popolare, quando invece, secondo gli ultimi conteggi, ha ottenuto il 47,7. Al momento, Clinton è in vantaggio di 0,3 punti su Trump nel voto popolare e ha ottenuto 3,1 punti in più di quanti gliene assegnava il sondaggio del Los Angeles Times (leggete qui se avete dei dubbi su come fa a perdere il candidato che ha preso più voti). Il risultato ottenuto da Clinton è molto più vicino a quello fornito dalle società che hanno utilizzato metodi di indagine più tradizionali. La media sondaggi di Real Clear Politics le assegnava il 45,5 per cento e FiveThirtyEight, il sito di Silver, 45,7 per cento: un errore di 2 punti contro un errore di 4 per il Los Angeles Times. Come scriveva Nate Silver qualche giorno fa, se nel voto popolare Clinton dovesse confermarsi intorno al 47-48 per cento, quello del Los Angeles Times continuerà a risultare uno dei sondaggi meno accurati, nonostante abbia previsto correttamente il voto popolare di Trump.

Clinton's likely to win the popular vote by 1-2 points, so the LA Times will still wind up being among the least accurate national polls. https://t.co/iVVwf0s6OP

— Nate Silver (@NateSilver538) November 9, 2016

Questo ci porta nuovamente sull’argomento dell’accuratezza dei sondaggi. Come ha scritto Jon Cohen, ex responsabile dei sondaggi del New York Times e ora vicepresidente di Survey Monkey, un’importante società che si occupa di sondaggi, i sondaggisti americani non hanno sbagliato più di quanto sbagliarono alle scorse elezioni, quando previdero una vittoria di Obama molto più contenuta di quanto fu in realtà. Secondo altri conteggi, i sondaggi di quest’anno sono stati addirittura più corretti di quelli del 2012.

National polls will wind up being **more accurate** than they were in 2012:
2012: Obama up 1, won by 4
2014: Clinton up 3-4, will win by 1-2

— Nate Silver (@NateSilver538) November 9, 2016

E sono stati più corretti anche degli altri “famosi” sondaggi sbagliati degli ultimi anni: quelli su Brexit e quelli sulle elezioni britanniche del 2015.

Brexit polls – off by 4%
2015 UKGE polls – off by 7%
2016 POTUS polls – off by ~2.3%

Yesterday's polling miss smaller than most ppl think.

— Dean S (@DinoStraciatela) November 9, 2016

Secondo Cohen, rispetto al passato: «L’enorme differenza sta nel fatto che praticamente tutti i sondaggi indicavano il risultato finale sbagliato», cioè una vittoria di Clinton. Ma la situazione dell’industria delle previsioni non è poi così grave come viene dipinta al momento e c’è ancora molto da capire su quello che è accaduto negli scorsi mesi: «Non è per minimizzare quello che è successo martedì. Un’analisi finale potrebbe evidenziare il devastante tracollo dei sondaggi e dei modelli che molti nel settore temono: semplicemente, non lo sappiamo ancora».