Pollsters fick fel i valet 2016. Nu vill de ha ett nytt skott.

Det finns en ny skara blivande orakel, fast beslutna att inte replikera sina föregångares misstag. Förbi

• Rob Arthur arkivsida

14 februari 2020

Karsten Petrat

Natten till den 8 november 2016 såg Charles Franklin, liksom miljontals andra amerikaner, presidentvalsresultatet rulla in med vad han beskrev som en sjunkande känsla. Men Franklin , en opinionsundersökning i Wisconsin och professor i juridik och offentlig politik vid Marquette University, var inte bekymrad på grund av sina personliga politiska preferenser; han hade sitt rykte på spel. Bara en vecka tidigare hade hans egen undersökning visat Hillary Clinton upp sex poäng i Wisconsin. Istället var hon här och förlorade med sju tiondelar av en poäng.

Franklin var i tjänst med ABC:s Decision Desk, en medlem av ett expertteam bakom kulisserna som var ansvarig för att kalla stater för Clinton eller Donald Trump när siffrorna kom in. När han såg hur returerna hopade sig fram till fyra på morgonen blev det tydligt att hans undersökning var avstängd.

Den här historien var en del av vårt marsnummer 2020

• Se resten av frågan
• Prenumerera

Ingen vill ha fel, säger han och ser tillbaka. Så i den meningen var det väldigt deprimerande.

Han var inte den enda undersökningsledaren som missuppfattade valet. Enligt RealClearPolitics , varenda en av mer än 30 enkäter i Wisconsin under månaderna som ledde till valet fick Clinton att vinna staten med marginaler från 2 till 16 poäng. Och dessa fel hade förstärkts ytterligare eftersom de sedan användes som bränsle för datoralgoritmer som förutspådde en total Clinton-seger.

Efter att Donald Trump hade hållit sitt segertal och dammet lättat började alla erkänna sina misstag.

Det fick mig att inse att jag hade fel, skrev Natalie Jackson, en dataforskare vid Huffington Post, som hade gett Clinton 98 % chans att vinna.

Media, inklusive många butiker vars egna prognoser hade gett Clinton en stor sannolikhet för seger, började förneka misslyckandet med förutsägelsealgoritmer. Vissa kritiker var mer försiktiga än andra och erkände att vissa prognosmakare exakt hade beskrivit en Trump-seger som bara osannolik. Men många tvivlar på hela idén med att förutsäga val. Vissa använde till och med valet som ammunition för att attackera hela området för datavetenskap.

Men nästan fyra år senare, och med en annan tävling i antågande, börjar prognosmakare utfärda tidiga förutsägelser för 2020. Motreaktionen till 2016 har inte avskräckt dem – i själva verket finns det nu en helt ny skara blivande orakel, fast beslutna att inte replikera sina föregångares misstag.

Vad gick fel

En cocktail av problem ledde till att valundersökningarna missade 2016. Vissa undersökningar lyckades inte kontakta tillräckligt många mindre utbildade vita väljare, medan vissa Trump-anhängare vägrade att erkänna på vilket sätt de skulle rösta. Trumps okonventionella strategi gav också fler medborgare i tungt republikanska landsbygdslän. Enkätare antog felaktigt att dessa människor skulle hålla sig borta som de hade gjort i tidigare val, vilket fick Trumps bas att framstå som mindre än den egentligen var.

Men medan opinionsmätare fick majoriteten av skulden, borde kanske mer fördömande ha fallit på prognosmakarna, som förvandlar opinionsmätares data till förutsägelser.

Två stora prognosmakare hade Hillary Clinton på 99 % att vinna, säger G. Elliott Morris, en datajournalist på Economist som arbetar med valprognos. När hon inte gjorde det, skyllde många av dem bara på opinionsundersökningarna, för det är lätt för dem.

Det fanns åtminstone två stora fel som begicks av några av dataforskarna som hjälpte till att designa förutsägelsealgoritmerna. För det första antog de att om oddsen för att komma under nästan sju poäng i Wisconsin var låga, så var oddsen för ett jämförbart fel i andra kritiska stater som Michigan och Pennsylvania små. Faktum är att omröstningsproblem i en stat var korrelerade med misstag i andra liknande stater. Att anta att undersökningar var helt oberoende av varandra – snarare än att återspegla samma reaktioner på samma frågor – skapade övertro på Clintons ledning.

För det andra misslyckades förutsägelsealgoritmerna att registrera det rekordstora antalet osäkra väljare som ett varningstecken. Eftersom så många väljare var på stängslet ända fram till valdagen – och skulle sluta kraftigt för Trump – var Clintons marginaler mycket mindre säkra än de verkade.

Karsten Petrat

Det stirrade oss rakt i ansiktet, säger Rachel Bitecofer , professor i statsvetenskap vid Christopher Newport University. Hade det varit fler omröstningar i de hårt omtvistade delstaterna strax före valdagen, föreslår hon, skulle analytiker ha kunnat fånga upp det ovanligt höga antalet väljare som bestämde sig för att delta i sista stund.

Det var dock inte bara prognosmakarnas fel. Även när deras sannolikheter för varje kandidat var korrekta, verkade allmänheten ha svårt att förstå innebörden av dessa siffror.

Under valkampanjens sista dagar arbetade jag på FiveThirtyEight, en av de mest framstående butikerna som gjorde förutsägelser. Mitt jobb involverade inte presidentvalet: istället bevakade jag basebollens World Series. När Chicago Cubs låg under tre matcher mot en i serien på sju matcher mot Cleveland Indians, noterade jag att deras odds att vinna, runt en av sex, var ett hårstrå under Trumps chanser att ta Vita huset. Sex lag hade gjort det tidigare i World Series 113-åriga historia, och ytterligare sju hade lyckats med det i andra slutspelsrundor, så det var definitivt möjligt, men det var inte typiskt. Efteråt, när både gröngölingarna och Trump vann mot alla odds, fick jag en störtflod av hat-tweets som anklagade mig för att jag på något sätt skapade två mycket möjliga ödesvändningar.

Om du hör att det kommer att finnas 20 % risk för regn, tar du inte med ditt paraply. Och sedan regnar det och du blir avkryssad och det är förmodligen ditt fel, säger Steven Shepard, redaktör och valprognos på Politico. Men att 20% förekomsten är inte nödvändigtvis så osannolik.

Många människor verkade titta på vilken kandidat som förväntades vinna (vanligtvis Clinton) utan att tänka på hur säkra prognosmakarna var. En chans på 70 procent för en Clinton-seger gynnade förvisso demokraten, men borde ha setts på väldigt annorlunda än en chans på 99 procent.

Ändå sa vissa 99%, och de var utan tvekan för aggressiva. Sam Wang vid Princeton Election Consortium uppskattade Trumps chanser till mindre än 1 % och lovade till och med att äta en bugg om Trump fick mer än 240 elektorsröster.

När valresultatet kom förblev Wang trogen sitt ord. En vecka efter valdagen, han dök upp på CNN med en burk gourmetsyrsor (gourmet ur ett husdjurs synvinkel, förtydligade han) och fördömde det spektakel som hans satsning hade orsakat. Jag hoppas att vi kan komma tillbaka till uppgifterna, och att tänka eftertänksamt över politik och frågor, sa han innan han doppade en syrsa i honung och med ett smärtsamt ansikte slukade insekten ner.

Trippelt hot

Alla prognoser var inte lika långt borta som Wangs. Vissa förutsåg till och med en seger för Trump. För att förstå varför de kom in så olika är det värdefullt att titta på utbudet av tillvägagångssätt, som delas in i tre breda klasser.

De tidigaste prognoserna i varje valcykel kommer från så kallade fundamentalmodeller. Dessa är vanligtvis byggda från presidentens godkännandebetyg, ekonomisk statistik och demografiska indikatorer. En stark ekonomi förebådar seger för den sittande myndighetens parti, liksom ett högt godkännandebetyg för den sittande operatören. Den demografiska sammansättningen av en stat kan också användas för att förutsäga resultatet – till exempel tenderade vita, icke högskoleutbildade väljare att rösta på Trump 2016, så stater med många av dem är mer benägna att gå hans väg 2020 som väl.

Eftersom dessa faktorer är relativt stabila kan tillförlitliga fundamentala förutsägelser göras mycket tidigare än de flesta andra typer av prognoser. Modeller som denna verkar för enkla för att fånga alla egenheter och skandaler i den moderna tvååriga kampanjen. Men de presterade chockerande bra 2016: sex av 10 förutspådde den sista populära omröstningen inom en procentenhet.

Presidentskapet väljs dock inte av en rak nationell folkomröstning, och det är en viktig begränsning av grundläggande tillvägagångssätt: få förutsäger slutresultatet av valkollegiet.

Grundläggande modeller har en annan svaghet. Om det dyker upp sena nyheter, som en skandal i slutet av loppet eller ett plötsligt skifte i ekonomin (finansiella krisen 2008 är ett bra exempel), då kan dessa stabila prognoser plötsligt bli bedrövligt inaktuella. För att kompensera för detta började statistiker för något decennium sedan popularisera nya typer av kvantitativa modeller som inte är riktigt lika sårbara för dessa oktoberöverraskningar. De bearbetar omröstningsdata när de kommer ut och gör en uppskattning varje dag av vem som vinner, så att de kan svara om opinionen förändras.

RealClearPolicies och den New York Times resultat båda har väl ansedda kvantitativa modeller, men ingen modell har mer berömmelse - eller, utan tvekan, en bättre meritlista - än Nate Silvers FiveThirtyEight-prognos, uppkallad efter det totala antalet röster i Electoral College. FiveThirtyEights algoritm finns i flera varianter, men alla är noga med att justera undersökningar efter hur pålitlig undersökningsorganisationen är och om dess resultat tenderar att konsekvent luta demokratiskt eller republikanskt. Det noggranna intaget av enkätdata, och uppmärksamheten Silver ägnar osäkerheten, har traditionellt skilt det från andra prognoser. FiveThirtyEight är guldstandarden, berättade Bitecofer för mig.

Av de stora kvantitativa valförutsägelserna var FiveThirtyEights mest konservativa , vilket ger Clinton en chans på 71,4 % att vinna inför valet. Det låter ungefär just nu i efterhand, säger Charles Franklin: Trumps seger var ett osannolikt, men inte omöjligt, resultat.

Slutligen finns det prediktorer där ute som helt och hållet undviker matematiska tillvägagångssätt, och istället förlitar sig på en kombination av intuition, undersökningar och resultatet från alla andra typer av modeller sammansatta. Dessa kvalitativa förutsägelser körs på en av de mest sofistikerade och ändå felbenägna beräkningsmotorerna vi känner till: den mänskliga hjärnan.

Snarare än exakta numeriska uppskattningar grupperar kvalitativa prognosmakare vanligtvis lopp i en av fyra kategorier på en skala som sträcker sig från säker till toss-up.

Toss-up betyder att det inte finns någon favorit: Typ av en coin flip, säger Kyle Kondik , en kvalitativ prognosmakare med nyhetsbrevet för politisk analys från University of Virginia's Crystal Ball. Lean, säger han, är en liten kant för den ena eller andra sidan. Sannolikt är en större kant för den ena eller andra sidan. Och säkert, säger han, betyder att vi skulle bli chockade om det partiet förlorade. Vissa kvalitativa prediktorer hävdar att dessa verbala grupperingar hjälper läsarna att förstå de relativa sannolikheterna bättre än de mer exakta siffrorna som erbjuds någon annanstans.

Även om dessa förutsägelser kan verka mindre vetenskapliga än de som är baserade på knastrande siffror, har vissa en imponerande nivå av noggrannhet. Under halvårsperioden 2018, enligt en tredjepartsbedömning av flera professionella prognoser , det var den passande namnet Crystal Ball som gjorde det bäst, inte FiveThirtyEights statistiska algoritm. Prestanda tenderar dock att fluktuera från cykel till cykel: den bästa praxisen, enligt opinionsundersökningar och akademiker, är att konsumera en mängd olika prognoser – kvalitativa, kvantitativa och grundläggande.

Vad härnäst?

Nästan alla prognosmakare jag pratade med hade fått hätska hatbrev efter 2016 års resultat. Ändå har dussintals nya modellbyggare kastat sina hattar i ringen för 2020.

De kommer att rulla ut sina förutsägelser för första gången i år, och de är inriktade på att undvika misstag från tidigare valcykler. Morris, The Economists prognosmakare, är en av dem som går in på fältet. Han har kallat tidigare, felbenägna förutsägelser för att ljuga för folk och redaktionellt felbehandling. Det borde vi lära oss av, säger han.

The Economist kommer att bygga sin algoritm med hjälp av undersökningar publicerade av externa organisationer, men den kommer också att genomföra sina egna undersökningar för att stödja resultaten i tvetydiga stater och raser, vilket Morris hoppas kan leda till större noggrannhet.

Även Washington Post gör sin första chansning på förutsägelser – men tar en annan väg. Den håller sig utanför prognosspelet tills returer börjar komma in. Först när de första distrikten börjar tillkännage röstsummor på valdagen kommer Posten att använda sin analytiska modell för att bedöma sannolikheten att specifika kandidater tar delstaten eller distriktet för vilka de är tävlande. Genom att vänta tills de första röstsedlarna är räknade planerar Postens dataforskare att drastiskt minska felet i att förutsäga resten av rösterna, om än till priset av att de inte kan släppa en tidig prognos.

Erfarna prognosmakare och opinionsmätare sitter inte heller på sina händer. Byggare av grundmodeller börjar anta utmaningen att förutsäga Electoral College istället för bara folkomröstningen. Bitecofer designade en modell baserad i första hand på demografi som redan förutspår en knapp seger i valrösterna för den demokratiska utmanaren, vem det än är.

Utformarna av dessa problematiska kvantitativa algoritmer verkar ha lärt sig sin läxa om korrelerade fel mellan tillstånd. Huffington Post utfärdade en Mea culpa för sin 98-procentiga förutsägelse om en Clinton-seger. Wang, den insektsätande Princeton-professorn, har lovat att uppdatera sin algoritm så att den kommer att vara mycket mindre säker 2020, erkänner på sin blogg att hans tidigare modell var ett misstag.

HÄSTLOPPSLÖSNING TROTS ÖKA CYNISMEN ... DET FÅR FOLK ATT SE POLITIK SOM ETT SPEL, DÄR DE GÅR UT OCH ROTAR ATT SINA LAG.

Kvalitativa prognosmakare tog under tiden en mängd olika lärdomar från 2016. Det finns många olika saker som jag i efterhand önskar att vi kanske hade fokuserat på lite mer, men jag skulle säga att grunderna – baserade modeller var de bästa i det valet, säger Kondik vid University of Virginia. Jag önskar att vi alla gav dem större uppmärksamhet.

Kondik och andra betonar behovet av att vara försiktiga med alla förutsägelser med tanke på den sittande presidentens historiska impopularitet, vilket borde minska hans chanser, och den starka ekonomin, som borde öka dem. Dessa duellfaktorer gör att loppet är osäkert än så länge från valdagen.

Karsten Petrat

På andra håll har medieorganisationer också börjat tillhandahålla sina uppskattningar på sätt som är utformade för att ge läsaren ett bättre och mer intuitivt grepp om vad sannolikheter betyder. Istället för att skriva att demokrater hade en chans på 87,9 % att ta kammaren under mellanårsvalet 2018, betonade FiveThirtyEight att de kunde ha förväntat sig att vinna sju gånger av åtta.

Psykologer har funnit att människor är bättre på att förstå dessa typer av [siffror], skrev Yphtach Lelkes, professor i kommunikation vid University of Pennsylvania.

Äntligen höjer opinionsundersökningarna sitt spel också. American Association for Public Opinion Research (AAPOR) gav ut en retrospektiv av 2016 med lektioner inför framtida val. Tips inkluderar att använda statistiska knep för att säkerställa att befolkningsurval är mer representativa för den delstat som undersöks och att genomföra fler undersökningar under kampanjens sista dagar för att fånga inställningen hos sena-beslutande väljare, som visade sig vara så avgörande för Trumps seger.

Franklin, undersökningsledaren i Wisconsin, var en av författarna till AAPORs obduktion. Det systematiska misslyckandet i dussintals undersökningar i flera stater tyder på att hans omröstnings misstag berodde på en verklig förändring i loppets sista dagar, snarare än ett tidigare, mer grundläggande fel. Ändå undrar han vad som kan ha varit: Tänk om vi hade mätt oss igenom helgen före valet? Skulle vi ha fångat svängningen mot Trump i dessa uppgifter?

Kvantundersökning

Men även om misstag från fyra år sedan kan korrigeras, kan nya svårigheter också dyka upp för 2020-cykeln. Vissa kan till och med drivas av att prognostisera sig själva. Vissa experter hävdar att valförutsägelser kan påverka själva resultaten de försöker förutsäga.

STUDIER FÖRESLÅR ATT NÄR MÄNNISKOR TROR ATT UTVALET AV ETT VAL ÄR SÄKERT, ÄR DE MINDRE SANNOLIKHETEN ATT RÖSTA.

Enligt a nyligen genomförd studie , en överväldigande liberal publik lyssnade på dessa alltför säkra kvantitativa prognoser 2016. Tidigare publicerade studier tyder på att när människor tror att resultatet av ett val är säkert, är det mindre benäget att rösta, särskilt om vissheten är staplad till förmån för deras utvalda kandidat. Så i en vändning på vad som kallas observatörseffekten – där bara handlingen att titta på något förändrar resultatet – skulle det ha kunnat minska valdeltagandet avsevärt genom att mata en starkt demokratisk publik med en stadig diet av övermodig röstning som Wangs. Med tanke på att loppet i huvudsak avgjordes med endast 107 000 röster i tre stater, kunde varje minskning ha varit viktig.

Clinton förlorade med så få röster att det säkert är möjligt att probabilistiska prognoser fick tillräckligt många demokrater att stanna hemma att det påverkade utgången, skrev Lelkes. Clinton själv föreslog så mycket. Jag vet inte hur vi någonsin ska räkna ut hur många som trodde att det var i väskan, eftersom procentsatserna hela tiden kastades åt folk – 'Åh, hon har 88 procents chans att vinna!' sa hon i en intervju i New tidningen York.

Även om valprognosen inte förändrade resultatet 2016, kan det ha mer inverkan på framtida kampanjer.

Hästtävlingar tros öka den politiska cynismen, påverka valdeltagandet, öka polariseringen och sannolikt ersätta information om sakfrågor, skrev Lelkes. Det får människor att se politik som ett spel, där de går ut och rotar för sitt lag, snarare än att stödja kandidater baserat på deras politiska positioner. Och om dessa effekter är verkliga kommer de sannolikt att bli kraftfullare när fler prognoser inträffar.

Vissa prognosmakare, som Silver, har avfärdat denna oro. De hävdar att det inte är deras jobb att berätta för folk om de ska rösta eller inte – eller att berätta för media vad de ska ta upp. Andra tar dock Lelkes och hans kollegors råd på större allvar.

Vi experimenterar med sätt att förmedla osäkerhet som inte kommer att stänga av folk [från att rösta], säger The Economist's Morris. Men jag tror att det fortfarande är ett problem som prognosmakare kommer att ha ... jag vet inte hur vi kommer runt några av de samhälleliga konsekvenserna av vårt arbete.

Rob Arthur är en oberoende journalist och datavetenskapskonsult baserad i Chicago.

Dölj