Obamas datatekniker kommer att styra framtida val

Det här är del 3 av vår djupgående profil av big data-tekniker som gav Barack Obama en andra mandatperiod. Läs del 1 och del 2.

Marschen

Sommaren 2011 fick Carol Davidsen ett meddelande från Dan Wagner. Redan Obama-kampanjen var känd för sina obevekliga e-postmeddelanden som vädjade till supportrar att ge sina pengar eller tid, men den här erbjöd något som fascinerade Davidsen: ett jobb. Wagner hade sorterat kampanjens lista över donatorer, som sträcker sig tillbaka till 2008, för att hitta de som beskrev sitt yrke med termer som data och analys och skickat dem alla inbjudningar att söka arbete på hans nya analysavdelning.

Davidsen arbetade på Navic Networks, ett Microsoft-ägt företag som skrev kod för set-top-kabelboxar för att skapa ett register över en användares DVR- eller tunerhistorik, när hon lyssnade på Wagners samtal. Ett år före valdagen började hon arbeta på kampanjens teknologiavdelning för att fungera som produktchef för Narwhal. Det var kodnamnet, lånat från en tuskval, för ett ambitiöst försök att matcha uppgifter från tidigare oanslutna databaser så att en användares onlineinteraktioner med kampanjen kunde synkroniseras. Med Narwhal kan e-postsprängningar som ber människor att ställa upp som volontär ta hänsyn till deras tidigare donationshistorik, och algoritmerna som avgör hur mycket en supporter skulle bli ombedd att bidra med kunde formas av kunskap om hans eller hennes reaktion på tidigare uppmaningar. Denna integration berikade en teknik, vanlig inom webbplatsutveckling, som Obamas insamling av pengar online hade använt med god effekt 2008: A/B-testet, där användare slumpmässigt dirigeras till olika versioner av en sak och deras svar jämförs. Nu kunde analytiker utnyttja personlig information för att identifiera egenskaperna hos de som svarade, och använda den kunskapen för att förfina efterföljande överklaganden. Du kan citera människors andra typer av engagemang, säger Amelia Showalter, Obamas chef för digital analys. Vi upptäckte att det fanns många saker som skapade goodwill, som att signera presidentens födelsedagskort eller få en gratis bildekal, som ledde till att de blev mer engagerade i kampanjen på andra sätt.

Om onlinekommunikation hade varit den aspekt av 2008 års kampanj som utsattes för den mest rigorösa empiriska granskningen – det är lätt att slumpmässigt tilldela e-postmeddelanden i ett A/B-test och jämföra klickfrekvenser eller donationsnivåer – var massmediastrategi bland dessa som fick minst. TV- och radioannonser måste köpas per geografisk zon, och tillgänglig information om vem som tittar på vilka kanaler eller program, som samlats in av forskningsföretag som Nielsen och Scarborough, inkluderade ofta lite mer än tittarens ålder och kön. Det kan vara tillräckligt bra för att vägleda köp för Schick eller Foot Locker, men det är av begränsat värde för annonsörer som vill definiera publik i politiska termer.

När kampanjchefen Jim Messina förberedde sig på att spendera så mycket som en halv miljard dollar på massmedia för Obamas återval, satte han sig för att återuppfinna processen för att fördela resurser över sändnings-, kabel-, satellit- och onlinekanaler. Om du tänker på universum av möjliga platser för en annonsör är det nästan oändligt, säger Amy Gershkoff, som anställdes som kampanjens medieplaneringschef på grund av sina framgångsrika förhandlingar, medan hon var på sitt företag Changing Targets 2009, för att länka informationen från kabelsystem till individuella mikromålprofiler. Det finns tiotals miljoner möjligheter där en kampanj kan lägga sin nästa dollar. Du har all denna fantastiska, robusta väljardata som inte passar ihop med mediadata. Hur man knyter ihop det är en utmaning.

I början av 2012 hade Wagner på ett skickligt sätt överlämnat kommandot över medieplanering till sin egen avdelning. När han utökade analysomfånget, definierade han sitt uppdrag som att studera och praktisera resursoptimering i syfte att förbättra program och tjäna röster mer effektivt. Det innebar vanligtvis att man beräknade, för varje kampanjaktivitet, antalet röster som erhölls genom en given mängd kontakt till en given kostnad.

Men när det kom till att köpa media hade sådana beräkningar helt enkelt varit omöjliga, eftersom kampanjer inte kunde koppla vad de visste om väljare till vad kabelleverantörer visste om sina kunder. Obamas rådgivare beslutade att uppgifterna som gjorts tillgängliga i den privata sektorn länge hade fått politiska annonsörer att ställa fel frågor. Walsh säger om ansträngningen att ombilda processen för medieinriktning: Det var inte för att få en bättre förståelse för vad kvinnor över 35 tittar på på TV. Det var för att ta reda på hur många av våra övertygande väljare som tittade på de där dagarna.

Davidsen, vars tidigare arbete hade gjort henne intimt bekant med de rika datamängder som finns i set-top-boxar, förstod att mycket av denna data var tillgänglig i form av tuner- och DVR-historik som samlats in av kabelleverantörer och sedan aggregerats av forskningsföretag. Av integritetsskäl fanns dock inte informationen tillgänglig på individnivå. Det svåraste med medieköp just nu är bristen på information, säger hon.

Davidsen började förhandla om att få analysföretag att packa om sina data i en form som skulle tillåta kampanjen att få tillgång till de individuella historierna utan att bryta mot kabelleverantörernas sekretessstandarder. Under en affär på $350 000 som hon utarbetade med ett företag, Rentrak, gav kampanjen en lista över övertygande väljare och deras adresser, härledda från dess mikromålmodeller, och företaget letade efter dem i kabelleverantörernas faktureringsfiler. När en post matchade, skulle Rentrak utfärda ett unikt hushålls-ID som identifierade visningsdata från en enda set-top-box men maskerade all personligt identifierbar information.

Obamakampanjen hade skapat ett eget TV-betygssystem, ett slags Nielsen där de enda tittare som spelade någon roll var de som ännu inte var helt engagerade i en presidentkandidat. Men Davidsen var tvungen att få informationen i praktisk form i början av maj, när Obama-strateger planerade att börja visa sina anti-Romney-annonser. Hon övervakade utvecklingen av en mjukvaruplattform som Obamas personal kallade Optimizer, som delade in dagen i 96 kvartstimmarssegment och bedömde vilka tidsluckor över 60 kanaler som erbjöd det största antalet övertygande mål per dollar. (I september hade hon låst upp en ännu rikare mängd data: ett kabelsystem i Toledo, Ohio, som spårade tittarnas tunerhistorik med sekunden.) Revolutionen av medieköp i den här kampanjen, säger Terry Walsh, som koordinerade kampanjens opinionsundersökningar och reklamutgifter, var att förvandla det som var ett etermedium till något som ser mycket mer ut som ett narrowcast-medium.

När Obama-kampanjen använde tv som massmedium berodde det på att Optimizer hade kommit fram till att det skulle vara ett mer effektivt sätt att nå övertygbara mål. Ibland var en nationell kabelannons ett bättre fynd än ett stort antal lokala köp på de 66 mediemarknaderna som når slagfältsstater. Men det enstaka nationella köpet hade också andra fördelar. Det kan öka insamlingen av pengar och motivera volontärer i stater som inte var avgörande för Obamas valkollegiums aritmetik. Och, säger Davidsen, det hjälper till att dölja en del av strategin för ditt köp.

Även utan den taktiken förbryllade Obamas köp Romney-analytikerna i Boston. De hade investerat i sin egen mediaintelligensplattform, Centraforce. Den använde några av samma samlade datakällor som matades in i Optimizern, och ibland verkade båda skicka kampanjerna till samma osannolika annonsblock – till exempel i repriser på TV Land. Men det fanns mycket mer i vad Alex Lundry, som skapade Romneys datavetenskapsenhet, kallade Obamas mycket varierande mediestrategi. Många av demokraternas annonser placerades på utkantsmarknader, på marginella stationer och vid udda tider där få politiska kandidater någonsin hade sett värde. Romneys dataforskare kunde helt enkelt inte avkoda dessa beslut utan väljarmodeller eller övertalningsexperiment som hjälpte Obama att välja ut individuella mål. Vi kunde aldrig lista ut nivån på reklam och vad de försökte göra, säger Romneys dataanalytiker Brent McGoldrick. Det var inte värt reverse-engineering, för vad ska du göra?

Samhället

Även om väljarnas åsiktstabeller som kom från grottan liknade enkäter, var analytikerna som producerade dem inte benägna att kalla dem enkäter. Kampanjen hade gott om sådana, genererade av ett allmänt opinionsteam på åtta externa företag, och nyanlända till Chicagos huvudkontor blev chockade över den brokiga bredden av forskningen som anlände till deras skrivbord dagligen. Vi trodde på att kombinera kvalet, vilket vi gjorde mer än någon kampanj någonsin, med kvantiteten, vilket vi [också] gjorde mer än någon annan kampanj, för att säkerställa att all kommunikation för varje nivå i kampanjen var informerad av vad de hittade, säger David Simas, chef för opinionsforskning.

Simas ansåg sig vara flygledare för sådan forskning, som vägleddes av en serie väljardagböcker som Obamas team beställde när de förberedde för återvalskampanjen. Vi behövde göra något nästan skilt från politiken och komma till hur de ser på sina liv, säger han. Den ledande undersökningsledaren, Joel Benenson, lät respondenterna skriva om sina erfarenheter. Inläggen använde ofta ordet besvikelse, vilket hjälpte till att förklara attityder till Obamas administration men också talade till ett bredare missnöje med de ekonomiska förhållandena. Det blev grunden för hela vårt forskningsprogram, säger Simas.

Carol Davidsen matchade Obama 2012:s listor över övertygande väljare med kabelleverantörers faktureringsinformation.

Obamas rådgivare använde dessa dagböcker för att utveckla meddelanden som kontrasterade Obama med Romney som en kämpe för medelklassen. Benensons nationella undersökningar testade språket för att se vilka som påverkade väljarnas svar i undersökningsexperiment och direkta förhör. En kvartett opinionsundersökningsföretag tilldelades specifika stater och ombads ta reda på vilka nationella teman som passar bäst med lokala angelägenheter. Så småningom skapade Obamas medierådgivare mer än 500 annonser och testade dem inför ett urval online av tittare som valts ut av fokusgruppschefen David Binder.

Men kampanjen var tvungen att spela försvar också. När något potentiellt skadligt dök upp i nyheterna, som den demokratiska konsulten Hilary Rosens deklaration att Ann Romney aldrig hade arbetat en dag i sitt liv, checkade Simas in på Community, en privat onlineanslagstavla befolkad av 100 osäkra väljare som Binder hade rekryterat. Simas skulle övervaka samhällskonversationer för att se vilka nyhetshändelser som trängde igenom väljarnas medvetande. Ibland lät han Binder visa sina medlemmar kontroversiellt material – som ett videoklipp av Obamas Du byggde inte den kommentaren – och frågade om det ändrade deras syn på kandidaten. För mig var det ett väldigt snabbt sätt att dra tillbaka och avgöra om något var ett problem eller inte, säger Simas.

När Wagner började paketera sin avdelnings forskning till något som kampanjledarskap kunde läsa som en undersökning, blev ett mönster uppenbart. Obamas siffror i viktiga slagfältsstater var låga i de analytiska tabellerna, men Romneys var det också. Det fanns helt enkelt fler osäkra väljare i sådana stater – ibland nästan dubbelt så många som de traditionella opinionsmätarna fann. En grundläggande metodisk distinktion förklarade denna diskrepans: mikromålmodeller krävde att intervjua många osannolika väljare för att ge form åt en profil av hur en icke-väljare såg ut, medan opinionsmätare som spårade hästkapplöpningen ville undersöka mer noggrant efter de som sannolikt skulle rösta. Rivaliteten mellan de två enheterna som försökte mäta den allmänna opinionen blev intensiv: de analytiska undersökningarna var ett hot mot opinionsmätarnas företräde och, potentiellt, mot deras affärsmodell. Jag tillbringade mycket tid i kampanjen med att förklara för folk att siffrorna vi får från analyser och siffrorna vi får från externa opinionsmätare inte strikt behövde förenas, säger Walsh. De var olika.

Omfattningen av den analytiska forskningen gjorde det möjligt för den att ta upp rörelser för små för att traditionella undersökningar skulle kunna uppfatta. När Simas granskade Wagners analytiska tabeller i mitten av oktober blev han orolig över att se att det som hade varit en Romney-ledning på en till två poäng i Green Bay, Wisconsin, hade vuxit till en fördel på mellan sex och nio. Green Bay var den enda mediemarknaden i staten som upplevde en sådan förändring, och det fanns ingen uppenbar förklaring. Men det var svårt att rabattera. Medan en standardundersökning på 800 personer över hela landet kan ha nått 100 svarande i Green Bay-området, ringde analytics 5 000 samtal i Wisconsin under varje femdagarscykel – och drar nytta av tiotusentals andra fältkontakter – för att producera mikromålpoäng. Analytics pratade med lika många människor på Green Bays mediemarknad som traditionella opinionsmätare pratade med över hela Wisconsin varje vecka. Vi skulle kunna ha konfidensnivån för att säga: 'Det här är inte buller', säger Simas. Så kampanjens medieköpare sände en annons som attackerade Romney på outsourcing och bad Messina att skicka förre presidenten Bill Clinton och Obama själv till demonstrationer där. (Till slut tog Romney länet 50,3 till 48,5 procent.)

För det mesta visade dock de analytiska tabellerna hur stabila väljarna var och hur förutsägbara enskilda väljare kunde vara. Enkäter från media och akademiska institutioner kan ha fluktuerat per timme, men att använda hundratals datapunkter för att bedöma om någon var en trolig väljare visade sig vara mer tillförlitlig än att använda ett batteri med sju frågor som Gallups för att göra detsamma. När du ser den här Pogo-stickan hända med offentliga uppgifter – väljarna är helt enkelt inte så flyktiga, säger Mitch Stewart, chef för den demokratiska kampanjgruppen Organizing for America. Analysdata erbjöd en källa till lugn.

Romneys rådgivare var lika glada, men de förlorade. De trodde också att det var möjligt att projicera väljarkårens sammansättning, och förlitade sig på en metod som liknar Gallups: opinionsundersökningsledaren Neil Newhouse frågade respondenterna hur sannolikt de var att rösta. De som svarade på den frågan med sju eller lägre på en 10-gradig skala bortsågs från att de inte var benägna att rösta. Men det ignorerade de experimentella metoderna som gjorde det möjligt att mäta individuellt beteende och den inverkan som en kampanj i sig kan ha på en medborgares motivation. Som ett resultat misslyckades republikanerna att redogöra för väljarna att Obamakampanjen kunde mobilisera även om de såg till valdagen utan entusiasm eller intensitet.

På loppets sista dag lämnade Wagner och hans analyspersonal grottan och åkte hissen upp en våning i kampanjens skyskrapa i Chicago för att gå med medlemmar från andra avdelningar i ett pannrum som skapats för att hjälpa till att spåra röster när de kom in. i över en månad hade Obamas analytiker räknat röstsedlar från stater som tillät medborgare att rösta i förtid. Varje dag överlagrade kampanjen listorna över förtidsväljare som släppts av valmyndigheter med sina modellpoäng för att projicera hur många röster de kunde göra anspråk på som sina egna.

Vid valdagen förvandlades Wagners analytiska tabeller till förutsägelser. Innan vallokalerna öppnade i Ohio släppte myndigheterna i Hamilton County, delstatens tredje största och hem till Cincinnati, namnen på 103 508 väljare som hade avlagt förtidsröstning under föregående månad. Wagner sorterade dem efter mikromålprojektioner och fann att 58 379 hade individuella stödpoäng över 50,1 – det vill säga kampanjens modeller förutspådde att de var mer sannolikt än inte att ha röstat på Obama. Det uppgick till 56,4 procent av länets röster, eller en ledning på 13 249 röster över Romney. Tidiga valsedlar var de första som räknades efter att Ohios vallokaler stängts, och Obamas ledande personal samlades runt skärmar i pannrummet för att se den första siffran. Siffrorna slog sig nästan exakt där Wagner hade sagt att de skulle: Obama fick 56,6 procent av rösterna i Hamilton County. I Florida var han så nära målet; Obamas marginal var bara två tiondelar av en procent rabatt. Efter de två första numren visste vi, säger Bird. Det var dött.

När Obama återvaldes, och med en mycket större marginal från valkollegiet än de flesta utomstående hade räknat med, var hans personal upprymd men inte förvånad. Nästa morgon satt Mitch Stewart ensam i pannrummet och övervakade de eftersläpande rösterna när de kom till Obamas servrar från valmyndigheter i Florida, den sista delstaten att utse en vinnare. Presidentskapet stod inte längre på spel; det enda som fortfarande hängde i balans var exaktheten i analysavdelningens förutsägelser.

Arvet

Några dagar efter valet, när myndigheterna i Florida fortsatte att räkna provisoriska valsedlar, uppmanades några anställda, som fyra år tidigare, att stanna kvar i Chicago. Deras instruktioner var att ta fram ytterligare en obduktionsrapport som sammanfattar lärdomarna från det senaste och ett halvt året. Uppdraget kallades Legacy Project, en storslagen titel inspirerad av idén att innovationerna från Obama 2012 inte bara skulle översättas till nästa demokratiska presidentkandidats kampanj utan också till styrelseformer. Obama hade lyckats övertyga vissa medborgare om att en blygsam anpassning av deras beteende skulle påverka, hur marginellt än, resultatet av ett val. Kunde han få dem att känna på samma sätt om kongressen?

Simas, som hade tjänstgjort i Vita huset innan han gick med i laget, förundrades över kampanjens intimitet. Kanske mer än någon annan på högkvarteret uppskattade han den mänskliga aspekten av politik. Detta hade varit hans första presidentval, men innan han blev politisk operativ hade Simas själv varit politiker och suttit i kommunfullmäktige och skolstyrelsen i sin hemstad Taunton, Massachusetts. Han kandiderade genom att knacka dörr och interagera individuellt med väljare (eller de han hoppades skulle bli väljare), och försökte spåra deras humör och förväntningar.

I många avseenden hade analyser gjort det möjligt för Obama-kampanjen att återerövra den stilen av politik. Även om det gamla gardet kan ha sett sådana tekniker som en störande kraft i kampanjer, gjorde de det möjligt för en presidentkandidat att se väljarkåren på det sätt som lokala kandidater gör: som en samling människor som utgör en mer perfekt fackförening, var och en av dem tillgängliga på sitt eget sätt. eller hennes villkor, deras föränderliga nivåer av stöd och entusiasm öppna för mätning och därmed respekt. Det som gav oss var möjligheten att driva en nationell presidentkampanj på det sätt som du skulle göra en lokal församlingskampanj, säger Simas. Du känner människorna på ditt block. Människor har relationer med varandra, och du utnyttjar dem så att du vet hur de pratar om frågor, vad de diskuterar på kaféet.

Få händelser i det amerikanska livet förutom ett presidentval berör 126 miljoner vuxna, eller till och med en betydande bråkdel så många, på en enda dag. Det gör definitivt inget företag, ingen medborgerlig institution och väldigt få statliga myndigheter. Obama gjorde det genom att reducera varje amerikan till en serie siffror. Ändå fångade dessa siffror på något sätt varje väljares individualitet, och de var inte demografiska klassificeringar. Poängen mätte människors förmåga att förändra politik – och att förändras av den.

Den här historien uppdaterades den 18 december för att korrigera beskrivningen av Neil Newhouses undersökning för republikanerna.

Dölj