211service.com
Hur Obama använde Big Data för att samla väljare, del 1
Två år efter Barack Obamas val till president led demokraterna sitt värsta nederlag på decennier. De kongressmajoriteter som hade gett Obama hans lagstiftningsframgångar, reformering av sjukförsäkrings- och finansmarknaderna, sopades bort i mellanårsvalet; kontrollen över kammaren vände och demokraternas ledning i senaten krympte till en ostyrligt liten marginal. Pundits kämpade för att förklara uppkomsten av Tea Party. Väljarnas besvikelse över Obama-agendan var uppenbar när oberoende bröt till höger och demokraterna stannade hemma. 2010 misslyckades den demokratiska nationella kommittén sitt första test av Obama-eran: den hade inte hållit samman Obama-koalitionen.
Men för demokraterna fanns det dyster tröst i allt detta: Dan Wagner hade sett det komma. När Wagner anställdes som DNC:s måldirektör, i januari 2009, blev han ansvarig för att samla in väljarinformation och analysera den för att hjälpa kommittén att närma sig enskilda väljare via direktreklam och telefon. Men han uppskattade att råmaterialet han matade in i sina statistiska modeller uppgick till en serie undersökningar om väljarnas attityder och preferenser. Han bad DNC:s teknologiavdelning att utveckla programvara som kunde förvandla den informationen till tabeller, och han kallade resultatet Survey Manager.
Den hösten, när ett särskilt val hölls för att fylla en öppen kongressplats i delstaten New York, förutspådde Wagner framgångsrikt den sista marginalen inom 150 röster – långt före valdagen. Månader senare förutspådde opinionsmätare att Martha Coakley var säker på att vinna ytterligare ett specialval, för att fylla Massachusetts senatsplats som lämnades tom efter Ted Kennedys död. Men Wagners undersökningschef förutspådde korrekt att republikanen Scott Brown sannolikt skulle segra i den starkt demokratiska staten. Det är en sak att ha rätt när du ska vinna, säger Jeremy Bird, som tjänstgjorde som nationell biträdande chef för Organizing for America, Obama-kampanjen i viloläge, inhyst på DNC. Det är en annan sak att ha rätt när du kommer att förlora.
Det är ännu en sak att ha rätt fem månader innan du förlorar. När halvårsperioden 2010 närmade sig byggde Wagner statistiska modeller för utvalda senatstävlingar och 74 kongressdistrikt. Från och med juni började han förutsäga valresultaten och förutsäga segermarginalerna med vad som visade sig vara osannolik noggrannhet. Men han hade inte kommit dit med traditionella omröstningar. Han hade räknat rösterna en efter en. Hans första ledtråd om att partiet var i trubbel kom från tusentals individuella undersökningssamtal matchade med rika statistiska profiler i DNC:s databaser. Demokratiska kärnväljare berättade för DNC:s uppringare att de var mycket mindre benägna att rösta än vad statistisk sannolikhet antydde. Wagner kunde också beräkna hur mycket demokraternas mobiliseringsprogram skulle göra för att öka valdeltagandet bland supportrar, och i de flesta lopp visste han att det inte skulle räcka för att täcka gapet som avslöjade sig i Survey Managers tabeller.
Hans kongressförutsägelser var i genomsnitt bara 2,5 procent lägre. Det var ett bevis för många människor som inte förstår matematiken bakom det men förstår värdet av vad den matten producerar, säger Mitch Stewart, Organisation for Americas direktör. När det första särskilda [valet] hände, var hans ord guldstandarden vid DNC.
Betydelsen av Wagners prestation gick långt utöver hans förmåga att utse vinnare månader före valdagen. Hans tillvägagångssätt innebar ett avgörande brott med 1900-talets verktyg för att spåra den allmänna opinionen, som kretsade kring att sätta små prover i karantän som kunde behandlas som representativa för helheten. Wagner hade vuxit fram ur en grupp analytiker som tänkte på väljarna som individer och arbetade för att samla prognoser om deras åsikter och beteende tills de avslöjade en sammansatt bild av alla. Hans tekniker markerade uppfyllelsen av ett nytt sätt att tänka, ett decennium på väg, där väljarna inte längre var instängda i gamla politiska geografier eller bundna till traditionella demografiska kategorier, såsom ålder eller kön, beroende på vilka attribut opinionsundersökningarna frågade om eller hur konsumentmarknadsförare klassificerade dem för kommersiella ändamål. Istället kunde väljarna ses som en samling enskilda medborgare som var och en kunde mätas och bedömas på sina egna villkor. Nu var det upp till en kandidat som ville leda dessa människor att bygga en kampanj som skulle interagera med dem på samma sätt.
Dan Wagner, chief analytics officer för Obama 2012, ledde kampanjens Cave of data scientists.
Efter att väljarna återfört Obama till ämbetet för en andra mandatperiod, blev hans kampanj hyllad för dess användning av teknik – mycket av den utvecklad av ett ovanligt team av kodare och ingenjörer – som omdefinierade hur individer kunde använda webben, sociala medier och smartphones för att delta i den politiska processen. En mobilapp gjorde det möjligt för en arbetstagare att ladda ner och lämna tillbaka vandringsark utan att någonsin gå in på ett kampanjkontor; en webbplattform som heter Dashboard spelade upp volontäraktivitet genom att rangordna de mest aktiva supportrarna; och riktade delningsprotokoll utvann en Obama-stödjares Facebook-nätverk på jakt efter vänner som kampanjen ville registrera, mobilisera eller övertala.
Men under allt detta fanns mängder som beskrev specifika väljare: en ny politisk valuta som förutspådde enskilda människors beteende. Kampanjen visste inte bara vem du var; den visste precis hur den kunde förvandla dig till den typ av person den ville att du skulle vara.
Poängen
Fyra år tidigare hade Dan Wagner arbetat på ett ekonomiskt konsultföretag i Chicago, med hjälp av prognostiseringsfärdigheter som utvecklats för att studera ekonometri vid University of Chicago, när han föll för Barack Obama och bestämde sig för att han ville arbeta med sin hemstatssenators presidentkampanj 2008. Wagner, då 24, var snart i Des Moines och hanterade datainmatning för den statliga väljarfilen som guidade Obama till hans avgörande seger i valmötena i Iowa. Han studsade från stat till stat genom den långa primärkalendern och blev bekant med väljardata och sätten att använda statistiska modeller för att intelligent sortera väljarna. För det allmänna valet utsågs han till huvudmålvakten för regionen Great Lakes/Ohio River Valley, den mest intensiva slagfältet i landet.
Efter Obamas seger åkte många av hans bästa rådgivare till Washington för att förbereda sig för att regera. Wagner blev tillsagd att stanna kvar och tjänstgöra i en arbetsgrupp efter valet som skulle granska en kampanj som hade sett ut, för omvärlden, tekniskt felfri.
I presidentvalet 2008 hade Obamas måltavlor tilldelat varje väljare i landet ett par poäng baserat på sannolikheten att individen skulle utföra två distinkta handlingar som var viktiga för kampanjen: att lägga en röst och att stödja Obama. Dessa poäng härleddes från en aldrig tidigare skådad mängd pågående undersökningsarbete. För varje slagfältsstat varje vecka genomförde kampanjens callcenter 5 000 till 10 000 så kallade kortformade intervjuer som snabbt mätte en väljares preferenser, och 1 000 intervjuer i en långversion som var mer som en traditionell undersökning. För att härleda förutsägelser på individuell nivå letade algoritmer efter mönster mellan dessa åsikter och de datapunkter som kampanjen hade samlat ihop för varje väljare – så många som tusen variabler vardera, hämtade från röstregistreringsregister, konsumentdatalager och tidigare kampanjkontakter.
Denna innovation var mest uppskattad inom området. Där ledde en nästan perfekt cykel av mikrotargeting-modeller volontärer till manuskonversationer med specifika väljare vid dörren eller via telefon. Var och en av dessa interaktioner producerade data som strömmade tillbaka till Obamas servrar för att förfina modellerna som pekade volontärer mot nästa dörr värda en knackning. Effektiviteten och omfattningen av den processen förde demokraterna långt framme när det gällde att profilera väljare. John McCains kampanj hade, i de flesta stater, kört sin statistiska modell bara en gång, och tilldelat varje väljare ett av dess mikromålsegment under sommaren. McCains rådgivare kunde inte räkna om sannolikheten för att dessa väljare skulle stödja sin kandidat när dynamiken i rasen förändrades. Obamas poäng, å andra sidan, justerades varje vecka och svarade på nya händelser som Sarah Palins vicepresidentsnominering eller Lehman Brothers kollaps.
Inom kampanjen ansågs dock Obamas dataoperationer ha brister. Som vanligt i politisk informationsinfrastruktur lagrades kunskap om människor separat från data om kampanjens interaktioner med dem, mest för att databaserna som byggts för dessa ändamål hade utvecklats av olika konsulter som inte hade något intresse av att få deras system att fungera tillsammans.
Men arbetsgruppen visste att nästa kampanj inte hade fastnat i den situationen. Obama skulle köra sitt sista lopp inte som en rebell mot ett partietablissemang, utan som själva etablissemanget. Under fyra år, visste arbetsgruppens medlemmar, skulle deras team kontrollera det demokratiska partiets apparat. Deras krav, inte erbjudanden från konsulter och leverantörer, skulle forma marknaden. Deras rapport rekommenderade att man skulle utveckla ett ingående relationshanteringssystem som skulle göra det möjligt för personal i hela kampanjen att söka upp individer inte bara som väljare eller volontärer eller givare eller webbplatsanvändare utan som medborgare i sin helhet. Vi insåg att det fanns ett problem med hur vår data och infrastruktur interagerade med resten av kampanjen, och vi borde kunna erbjuda det till alla delar av kampanjen, säger Chris Wegrzyn, en databasapplikationsutvecklare som tjänstgjorde i arbetsgruppen .
Wegrzyn blev DNC:s ledande målutvecklare och övervakade en rad kostsamma förvärv, alla avsedda att befria partiet från det traditionella beroendet av externa leverantörer. Kommittén installerade en Siemens Enterprise System-telefonuppringningsenhet som kunde ringa 1,2 miljoner samtal om dagen för att kartlägga väljarnas åsikter. Senare skrev partiledarna på en licens på 280 000 dollar för att använda Vertica-mjukvara från Hewlett-Packard som gjorde det möjligt för deras servrar att få tillgång till inte bara partiets 180 miljoner personers väljarfil utan all information om frivilliga, givare och de som hade interagerat med Obama online.
Många av dem som åkte till Washington efter valet 2008 för att främja presidentens politiska agenda återvände till Chicago våren 2011 för att arbeta med hans återval. De tuktande förlusterna de hade upplevt i Washington skilde dem från dem som bara hade känt till extaserna 2008. Människor som gjorde '08, men inte gjorde '10, och kom tillbaka i '11 eller '12 – de hade den svåraste kulturen sammandrabbning, säger Jeremy Bird, som blev nationell fältchef för återvalskampanjen. Men de som åkte till Washington och återvände till Chicago utvecklade en särskild uppskattning för Wagners metoder för att arbeta med väljarna på atomnivå. Det var ett sätt att tänka som perfekt överensstämde med deras enkla teori om vad som skulle krävas för att vinna presidentvalet: få alla som hade röstat på honom 2008 att göra det igen. Samtidigt visste de att de skulle behöva lyckas med att registrera och mobilisera nya väljare, särskilt i några av de snabbast växande demografiska kategorierna, för att kompensera för alla 2008 års väljare som hoppade av.
Obamas kampanj började valåret i övertygelse om att den visste namnet på var och en av de 69 456 897 amerikaner vars röster hade fått honom i Vita huset. De kan ha lagt dessa röster genom sluten omröstning, men Obamas analytiker kunde titta på demokraternas totala röster i varje distrikt och identifiera de personer som mest sannolikt har stött honom. Pundits talade abstrakt om att återupprätta Obamas koalition från 2008. Men inom kampanjen var målet bokstavligt. De skulle åter sammansätta koalitionen, en efter en, genom personliga kontakter.
Imorgon: Del 2 – Experimenten