1. Eltűnőben a vonalas telefonok

A komplex előrejelző modellek is csak akkor tudnak jól működni, ha a hozzájuk beérkező felmérések mintái, adatai megbízhatóak lennének. De nem azok, mutatott rá az Atlantic az előrejelzések kudarcának okait kereső cikkében.

A mintákkal eleve súlyos probléma volt. Hiába elemzik a beérkezett adatokat a legmodernebb, minden korábbinál fejlettebb eszközökkel, ha közben az adatokat egyre nehezebb begyűjteni, és egyre kevésbé stimmelnek.

Először is ugye ki kell választani, hogy a közvélemény-kutatók kiket kérdezzenek meg, és aztán szóra kell bírni ezeket az embereket. Ez régebben viszonylag egyszerűen működött: a felmérést készítők felcsapták a telefonkönyvet, felhívtak választópolgárokat, akik aztán viszonylag jó arányban válaszoltak a kérdéseikre. Húsz éve nagyjából minden harmadik hívás sikeres volt. Manapság 15 százalék alatt van az arány, sőt, a Voxnak a Boston College politológusa, Dave Hopkins azt mondta: ma szerencsésnek mondhatják magukat a felmérést végzők, ha egyszámjegyű válaszadási hajlandósággal találkoznak.

A dolgokat a mobilok elterjedése változtatta meg. Az emberek szépen leszoktak a vonalas telefonról. A mobiltelefonszámokról már nemigen vannak nagy, publikus adatbázisok, ami megnehezíti a felmérést végzők dolgát, de ez a kisebbik baj. A nagyobbik az, hogy - a hívóazonosító technológiának is köszönhetően - egyre kevesebben hajlandóak felvenni a telefont a közvélemény-kutatóknak.

És ennél is nagyobb baj az, hogy nem véletlenszerű, ki áll szóba velük és ki nem. Ha csak a véletlenen múlna a dolog, akkor több munkával, több telefonálgatással, de össze lehetne hozni egy rendes mintát. De a helyzet valójában úgy néz ki, hogy bizonyos, adott típusú emberek azok, akik nem szeretnek válaszolni a politikai preferenciáikat firtató kérdésekre.

Például megfigyelték, hogy az afro-amerikaik kevésbé hajlamosak válaszolni, mint a fehérek, és a férfiak is lemaradnak válaszadási hajlandóságban a nőktől. Ahogy a Harward Business Review bukáselemzése levezette: ha csak ennyiről lenne szó, ezen még mindig lehetne segíteni.A népszámlálási adatok alapján lehet tudni, milyen arányban vannak jelen ezek a csoportok a mintában, és az eredményt ennek megfelelően lehet súlyozni. Csakhogy vannak olyan jellemzők is, amikről tudjuk, hogy befolyásolják a válaszadási kedvet (például a politikai preferencia), viszont nincs megbízható adat az adott jellemzővel bíró csoport nagyságára, és ezért súlyozással nem lehet semlegesíteni a torzítást.

Például a népszámlálási adatok alapján meg lehet mondani egy adott városban a férfi-nő arányt, de azt naprakészen már nem, hányan vannak a demokraták és hányan a republikánusok. Márpedig ha a konzervatív szavazók szisztematikusan sokkal kevesebben állnak szóba a közvélemény-kutatókkal, és ez nincs kiegyensúlyozva az arányuknak megfelelően, akkor a felmérések bizony alá fogják becsülni a konzervatív szavazatokat. A Harvard Business Review szerint így történt Trump esetében: az ő szavazói közül sokan eleve gyanakvóak voltak a közvélemény-kutatókkal szemben, nem bíztak a tisztességükben, ezért az átlagnál kevésbé volt kedvük egyáltalán részt venni a felmérésekben. A FiveThirtyEight utólagos elemzése szerint alá is becsülték Trump népszerűségét az iskolázatlanabb, fehér állampolgárok körében.

2. Eleve szűrő netes felmérések

A telefonos felméréseket sok kutatócégnél megpróbálták részben vagy egészben különféle online módszerekkel kiváltani. Ezeknél is sok a torzítást rejtő csapda, és általában gyengébb minőségűek, írja az Atlantic az előrejelzések kudarcának okait kereső cikkében. A lap szerint jól mutatja a problémákat, hogy a FiveThirtyEight csodált elemző modellje milyen lesújtó értékelést adott a felmérésekre Pennsylvania esetében.

Ott volt például a Gravis Marketing poll, amely vegyesen készült vonalas telefonhívásokból és online kérdőívből. 3 százalékos hibahatárral dolgoztak, és a mintájukat nem Pennsylvania lakosságához, hanem az egész ország népességéhez súlyozták. A SurveyMonkey-val meg az a fő gond, hogy eleve, önmagában ferdít, hiszen a válaszadók köre azokra korlátozódik, akiknek van nethozzáférésük és hajlandóak válaszolni egy SurveyMonkey felmérésre. Mindkettő egyébként Clintont hozta ki győztesnek abban az államban, amit végül Trump nyert meg.

3. Benézett szavazási hajlandóság

A közvélemény-kutatók általában nem érik be annyival, hogy egyenesen nekiszegezik az embereknek a kérdést: el fognak-e menni szavazni. Mielőtt megjósolnák, hogy valaki szavazni fog-e valószínűleg vagy sem, megkérdezik tőle azt is, hogy a legutóbbi választásra elment-e, vagy hogy regisztrált tagja-e valamelyik pártnak. Ez érthető: az emberek néha nem úgy viselkednek, mint ahogy mondják. Csakhogy néha a múltbeli viselkedés sem megbízhatóbb kiindulópont az önbevallásnál.

Matt Dickinson, a Middlebury College Voxnak nyilatkozó politológusa szerint ott van a kutya elásva, hogy ezt szem elől tévesztették az előrejelzők. Trump egy csomó olyan embert fellelkesített, akiket korábban nem érdekelt a politika. Sokukról a passzív múltjuk alapján azt feltételezték, hogy nem fognak elmenni szavazni, és ezzel megint csak alábecsülték a trumpisták számát.

4. Titkolódzó konzervatívok

Az emberek nem mindig következetesek és nem mindig őszinték a közvélemény-kutatókkal: néha meggondolják magukat, néha titkolóznak vagy egyenesen hazudnak. A Brexit-előtti bukással párhuzamot vonó brit lapnak, a Telegraphnak John Curtice, a British Polling Council elnöke azt mondta: az egész világon megfigyelhető egy olyan mintázat a felméréseknél, hogy a titkolódzók végül nagyobb valószínűséggel szavaznak konzervatív pártokra.

A FiveThirtyEight körkérdésére több felmérést készítő cég elutasította azt a feltételezést, hogy a Trump-szavazók szégyenlősek lettek volna elárulni a kérdezőknek, kire szavaznak, de például a Susquehanna nevű közvélemény-kutató cég vezetője azt mondta: ők keverten használtak élő és automata hívásokat, és Trump bizony jobban szerepelt, amikor az embereknek géphangnak és nem élő kérdezőnek kellett válaszolniuk.

5. Bizonytalanok, későn döntők

Az előrejelzéseket különösen csúnyán elszúrták a középnyugaton, ahová a lepusztulóban lévő iparvidék, a meglepően Trump-pártivá lett Rozsdaövezet is elnyúlik. Matt Grossmann, a michigani egyetem politológusa például azt jósolta, hogy 19 ponttal nyer Clinton Michiganben, miközben végül veszített. Őt is megkérdezte a Vox az okokról. Szerinte két dolgot puskázott el nagyon a stábja. Egyrészt alábecsülték azoknak a képzetlen fehér szavazónak a számát, akik elmennek szavazni. Másrészt pedig a Trump személye miatt bizonytalankodó republikánusok végül sokkal többen mentek el szavazni a pártjukra, mint amire számítottak.

Akik későn határozták el magukat, azokat nem vehették figyelembe a felmérések, és ők többnyire Trump mellé álltak, mondta Alan Abramowitz, az Emory egyetem politológusa.

6. Nem is tévedtek akkorát?

Ha azt nézzük, hogy Clintonra szám szerint tényleg úgy 1,5-2 millióval többen szavaztak, nem is olyan óriási a kudarc. A legutolsó előrejelzések némelyike egyébként már Trumpot hozta ki esélyesnek, és sok más felmérés szerint csak pár százalékponttal vezetett Clinton olyan helyeken, amiket végül elveszített. Pennsylvaniában például a RealClearPolitics átlaga 1,5 százalékpontos előnyt mutatott neki: ez a hibahatáron belül volt a végső vereségéhez mérten.

Igazából csak 2 százalékponton múlott, hogy az előrejelzések nem jósoltak szinte pontos eredményt az egyéni szavazatok számát illetően, és nem azonosították helyesen a győztest valamennyi államban, az egy szem Észak-Karolina kivételével, játszott el a gondolattal utólag a FiveThirtyEight guruja, Nate Silver, aki szerint egy kicsit túl szigorúak most velük. Ez a 2 százalékpont volt az átlagos hiba egyébként 1968 óta az elnökválasztásokon az országos pollokban.

7. Mi magunk?

Az előrejelzések bukásáról megszólaltatott szakértők egy része egyébként a felelősség egy részét a médiára és magukra a nézőkre, olvasókra tolná, akik szerintük hajlamosak voltak megfeledkezni a felmérést készítők óvatosságra intő, a jóslások korlátairól szóló figyelmeztetéseiről.

És te, az olvasó, szintén bűnrészes van ebben a hatalmas tévedésben. Valószínűleg nem akartad hallani, hogy "ez bonyolult". (...) Ehelyett inkább nyomogatod a frissítés gombot egy kicsi weboldalon, ami megmondja neked, hogy fog Amerika szavazni

- írta a Guardianon megjelent publicisztikájában egy adatújságírással foglalkozó szerző, a FiveThirtyEight korábbi, meglehetősen kiábrándult munkatársa.