Più errori del previsto (negli USA)

Non parlo del referendum qui da noi perché si sta ancora votando. Però credo valga la pena di vedere ancora una serie di statistiche sulle elezioni USA, anzi sui sondaggi prima delle elezioni USA, prese dal solito FiveThirtyEight e preparate da Dhrumil Mehta. Come potete vedere cliccando sulla figura qui a destra, che mostra tutti i sondaggi delle tre settimane prima del voto, l’errore sulla media nazionale è stato di due punti percentuali, quindi meno della forchetta di tre punti che è tipica dei sondaggi. Ma passando ai singoli stati le cose sono molto diverse, con errori medi che arrivano anche a dieci punti percentuali. Interessante, vero?

In realtà le cose non sono mai così chiare come sembrano. Per prima cosa, il 3% di errore (3,16% per i pignoli) non è un numero magico ma quello massimo che si ottiene nel 95% dei casi quando si ha un campione statisticamente corretto di 1000 persone e una popolazione sufficientemente grande, dell’ordine dei milioni, per poter assumere una distribuzione degli errori sotto forma di gaussiana. Se cominciamo a fare la media delle percentuali ottenute, il campione aumenta e quindi la forchetta si riduce: per esempio con cinque sondaggi e quindi 5000 intervistati si dovrebbe scendere all’1,41% e con dieci sondaggi all’1%. Inoltre i sondaggi sono stati fatti in date diverse, e mischiandoli così non si può vedere l’eventuale trend mentre ci si avvicina al voto. Ma anche tenendo conto di questo, possiamo dire con una certa sicurezza che la stragrande maggioranza dei sondaggi non era stata fatta su un campione rappresentativo. E questo non è affatto bello (per i sondaggisti in particolare, ma anche per le tecniche statistiche in generale).