Inspirerad av Wikipedia skapar samhällsvetare en revolution i onlineundersökningar

Att samla in data om mänskliga preferenser och aktiviteter är brödet för mycket forskning inom samhällsvetenskap. Men hur man bäst samlar in dessa data har länge varit föremål för hård debatt.

Samhällsvetare har i huvudsak två val. Å ena sidan finns opinionsundersökningar som bygger på en uppsättning flervalsfrågor, ett så kallat slutet förhållningssätt. Å andra sidan finns det öppna tillvägagångssätt i form av fria intervjuer där respondenterna är fria att säga sin mening. Det finns helt klart viktiga fördelar och nackdelar med varje metod.

Idag beskriver Matthew Salganik vid Princeton University i New Jersey och Karen Levy vid New York University ett helt nytt sätt att samla in data inspirerat av en ny generation av informationsaggregationssystem som Wikipedia. Precis som Wikipedia utvecklas över tid baserat på bidrag från deltagare, föreställer vi oss en utvecklande undersökning som drivs av bidrag från respondenter, säger de.

De säger att den nya metoden kan ge insikter som skulle vara svåra att få med andra metoder. Men det innebär också utmaningar för samhällsvetare, särskilt när det kommer till att analysera data som samlas in på detta sätt.

Projekt som Wikipedia är resultatet av användargenererat innehåll i stor skala. Frågan som Salganik och Levy ställer är om undersökningar också skulle kunna konstrueras av respondenterna själva, åtminstone delvis.

För att ta reda på det har dessa killar utvecklat en ny typ av datainsamlingsmekanism som de kallar en wiki-undersökning. Detta börjar med en uppsättning startfrågor men låter respondenterna lägga till sina egna frågor allteftersom undersökningen innebär.

Denna wiki-undersökning har en speciell form där respondenterna ombeds välja mellan två alternativ: föredrar de till exempel punkt A eller punkt B. Men avgörande är att de också kan lägga till ett nytt objekt som kommer att presenteras för framtida deltagare. Så med tiden ökar antalet objekt att välja mellan eftersom respondenterna föreslår sina egna idéer.

Denna typ av parvisa undersökningar har ett antal fördelar. Salganik och Levy påpekar att detta format tillåter deltagarna att svara på så många val som de vill. De kallar denna egenskap girighet.

Denna typ av undersökning tillåter också respondenterna att bidra med nya objekt när de vill och är därför unikt samarbetsvillig. Slutligen kan paren som presenteras för nya deltagare väljas ut på ett sätt som maximerar lärandet baserat på tidigare svar så att en wiki-undersökning kan anpassas efterhand som den utvecklas.

För att testa idén skapade Salganik och Levy en gratis webbplats som heter www.allourideas.org där vem som helst kan skapa en parvis wiki-undersökning och samla in respondenter från en målgrupp som uppmuntras att delta. Sedan 2010 har den här webbplatsen varit värd för cirka 5 000 parvisa wiki-undersökningar som har inkluderat 200 000 artiklar och fått 5 miljoner svar.

Salganik och Levy diskuterar i detalj exemplet på en undersökning från Office of Long-Term Planning and Sustainability som drivs av New York Citys borgmästare. Denna organisation ville förstå invånarnas idéer om stadens hållbarhetsplan och integrera eventuella nya tankar.

Borgmästarens kontor började med en lista med 25 fröartiklar som den bad folk att jämföra parvis, samtidigt som deltagarna uppmuntrades att lägga till sina egna idéer. Till exempel ombads människor att välja mellan Öppna skolgårdar över hela staden som offentliga lekplatser och Öka riktade trädplanteringar i stadsdelar med höga astmafrekvenser.

Under fyra månader bidrog 1 436 respondenter med över 30 000 svar och 464 nya idéer till undersökningen. I slutet av undersökningen hade de tillfrågade själva bidragit med åtta av de tio bästa idéerna.

Dessa inkluderade idéer som sannolikt inte skulle ha dykt upp genom andra datainsamlingsmetoder, som Håll NYC:s dricksvatten rent genom att förbjuda fracking i NYC:s vattendelare och Anslut fartyg till elnätet så att de inte går på tomgång i hamn – vilket minskar utsläppen motsvarande 12 000 bilar per fartyg.

Salganik och Levy är snabba med att påpeka att deras metod kräver betydande ytterligare forskning.

I synnerhet behöver de bättre förstå konsekvensen och giltigheten i de svar de genererar. Det skulle kunna göras genom att jämföra resultaten med de som samlats in av andra former av datainsamling.

Dessutom är att analysera data från parvisa wiki-undersökningar fortfarande något av ett statistiskt experiment. Och de erbjuder något av en utmaning för statistiksamfundet att hitta de mest effektiva sätten att extrahera information från denna typ av process.

Det är ett intressant nytt tillvägagångssätt som tillåter insamling av data som skulle vara svåra att få fram med andra metoder. I synnerhet gör det att data kan samlas in på ett sätt som återspeglar den välkända långsvansade fördelningen av bidragsgivare.

Till exempel på Wikipedia är det mesta av informationen intuierad av en liten del av redaktörerna. Om Wikipedia skulle tillåta 10 och endast 10 redigeringar per redaktör – i likhet med en undersökning som kräver att respondenterna fyller i ett och endast ett formulär – skulle det utesluta cirka 95 % av redigeringarna som bidragit, säger Salganik och Levy.

Naturligtvis måste denna typ av fördomar beaktas när det kommer till dataanalys. Och däri ligger en betydande utmaning. Dags för statistikerna att få fullt upp.

Ref: arxiv.org/abs/1202.0500 Wiki-undersökningar: öppen och kvantifierbar social datainsamling

Dölj