De nya fallgroparna med Nowcasting med Big Data

Tidigare i år höll Europeiska centralbanken en tvådagars workshop om big data och hur den kan användas för prognoser. Huvudtalare var Hal Varian, chefsekonom på Google och en siffra för rockstjärnestatus.

Varian beskrev kraften i Google Trends och Google Correlate, företagets big data-verktyg. Med Google Trender skriver du in en fråga och får tillbaka en dataserie av aktivitet. Med Google Correlate går du in i en dataserie och får tillbaka en lista över frågor vars dataserie följer ett liknande mönster, säger Google på sin Correlate-webbplats. Med andra ord är Google Correlate som Google Trends omvänt.

Varian visade alla möjliga intressanta trender och samband. Till exempel, sökningar efter ordet baksmälla ökar avsevärt på en lördag, toppar på en söndag och avtar markant på en måndag. Och mönstret liknar mönstret för sökningar efter ordet vodka, även om det släpar efter en dag (eller mer troligt, en natt och en morgon efter).

I ett annat exempel visade han hur inmatning av uppgifter om initiala ansökningar om arbetslöshetsersättning i USA returnerade en lista med 100 frågor som följde ett liknande mönster inklusive frasen registrera dig för arbetslöshet.

Det finns gränser såklart. Han visade en falsk korrelation mellan bilförsäljning i USA och sökfrågan indiska restauranger mellan 2004 och 2012. Varför dessa två datauppsättningar följer liknande trender är inte klart, men som alla statistiker kommer att berätta betyder korrelation inte orsakssamband.

Budskapet var tydligt. Sökfrågedata är oerhört kraftfull men måste behandlas med viss försiktighet och försiktighet.

Idag säger Paul Ormerod från University College London och ett par kompisar att det finns andra skäl att vara försiktig. De här killarna har studerat data från Googles influensatrender där Google använder antalet influensarelaterade sökningar för att nu visa förekomsten av influensa i olika delar av världen vid en viss tidpunkt.

Ormerod och co säger att det finns flera imponerande exempel där Google exakt har uppskattat antalet influensafall, till exempel i USA 2011/12, Schweiz 2007/8, Tyskland 2005/6 och Belgien 2007/8. Denna förmåga att övervaka influensa har fått stor uppmärksamhet i media.

Mindre kända är fallen där Google Trends avsevärt överskattade det faktiska antalet influensafall. Detta inträffade i USA under vintern 2012/13, i Schweiz 2008/9, Tyskland 2008/9 och Belgien 2008/9.

Varför skillnaden? Ormerod och co antar att personer som gör influensarelaterade sökningar delas in i två kategorier. Den första är de som lider av symtom på influensa och den andra gruppen söker bara för att andra också söker, kanske på grund av ett starkt mediaintresse för influensa till exempel.

Naturligtvis kommer de användbara uppgifterna från den första gruppen som lider av influensa. Deras anledning till att söka är internt genererad och oberoende av den yttre världen - de mår dåligt. Så deras sökmönster borde skilja sig från personer som söker på grund av yttre påverkan som tidningsrapporter. Denna process av socialt sökande tjänar helt enkelt till att blåsa upp siffrorna.

Så hur kan man skilja dessa två grupper åt? Ormerod och co antar att mönstret av oberoende sökningar över tid kommer att skilja sig väsentligt från sociala sökningar. I synnerhet säger de att oberoende sökningar borde öka snabbt när influensa sveper genom befolkningen och minska långsamt när sjukdomen dör ut. Däremot är sociala sökningar mer symmetriska.

Så symmetrin i datan är ett mått på nivån av socialt sökande. De visar faktiskt att denna symmetri är klart mer uppenbar under de år då Google Flu Trends avsevärt överskattade fall jämfört med år då den var mer exakt.

Det är ett intressant exempel på de typer av fallgropar som statistiker måste förhandla om när de analyserar big data. Google Trends är bara ett exempel – världen översköljs allt mer av stora datamängder och med statistiker som slickar sig om läpparna.

Det råder ingen tvekan om att viktig information om ekonomi, hälsa och annat kan extraheras från big data med rätt verktyg. Men exakt hur detta ska göras korrekt och tillförlitligt är fortfarande föremål för betydande debatt.

Det skiljer sig inte helt från situationen som finns med aktuella ekonomiska data, som i allmänhet släpar efter realekonomin med minst en månad och ofta revideras senare när siffrorna är tydligare. Otillförlitligheten i dessa siffror är en källa till stor oro för beslutsfattare.

Det verkar uppenbart att statliga myndigheter, företag och nästan alla som är villiga att leka med siffrorna kommer att kunna extrahera betydande värde från sökfrågedata i framtiden.

Men varnas, det krävs stor omsorg. Det är inte bara vodka som lämnar en otäck smak i munnen följande morgon. Många ekonomiska baksmälla har orsakats av överhängande av opålitliga data.

Ref: arxiv.org/abs/1408.0699 : Nowcasting av ekonomiska och sociala data: När och varför sökmotordata misslyckas, en illustration som använder Googles influensatrender

Dölj