Hur Mechanical Turkers Crowdsourcede ett enormt lexikon av länkar mellan ord och känslor

En av buzzphrases som är förknippade med den sociala webben är sentimentanalys. Detta är förmågan att avgöra en persons åsikt eller sinnestillstånd genom att analysera orden de lägger upp på Twitter, Facebook eller något annat medium.

Mycket har utlovats med denna metod – förmågan att mäta nöjdhet med politiker, filmer och produkter; förmågan att bättre hantera kundrelationer; förmågan att skapa dialog för känslomedvetna spel; förmågan att mäta flödet av känslor i romaner; och så vidare.

Tanken är att helt automatisera denna process - att analysera brandslangen av ord som produceras av sociala webbplatser med hjälp av avancerade datautvinningstekniker för att mäta sentiment i stor skala.

Men allt detta beror på hur väl vi förstår känslorna och polariteten (oavsett om de är negativa eller positiva) som människor förknippar med varje ord eller kombinationer av ord.

Idag avslöjar Saif Mohammad och Peter Turney vid National Research Council Canada i Ottawa en enorm databas med ord och deras associerade känslor och polaritet, som de har satt ihop snabbt och billigt med hjälp av Amazons crowdsourcing Mechanical Turk-webbplats. De säger att denna crowdsourcing-mekanism gör det möjligt att snabbt och enkelt öka storleken och kvaliteten på databasen.

De flesta psykologer tror att det i huvudsak finns sex grundläggande känslor – glädje, sorg, ilska, rädsla, avsky och överraskning – eller högst åtta om du inkluderar tillit och förväntan. Så uppgiften för alla ord-emotionella lexikon är att bestämma hur starkt ett ord är förknippat med var och en av dessa känslor.

Ett sätt att göra detta är att använda en liten grupp experter för att associera känslor med en uppsättning ord. En av de mest kända databaserna, skapad på 1960-talet och känd som General Inquirer-databasen, har över 11 000 ord märkta med 182 olika taggar, inklusive några av de känslor som psykologer nu tycker är de mest grundläggande.

En modernare databas är WordNet Affect Lexicon, som har några hundra ord taggade på detta sätt. Detta använde en liten grupp experter för att manuellt tagga en uppsättning fröord med de grundläggande känslorna. Storleken på denna databas ökades sedan dramatiskt genom att automatiskt associera samma känslor med alla synonymer till dessa ord.

Ett av problemen med dessa tillvägagångssätt är den stora tid det tar att sammanställa en stor databas så Mohammad och Turney försökte ett annat tillvägagångssätt.

Dessa killar valde ut cirka 10 000 ord från en befintlig synonymordbok och de lexikon som beskrivs ovan och skapade sedan en uppsättning av fem frågor att ställa om varje ord som skulle avslöja känslorna och polariteten som är förknippade med det. Det är totalt över 50 000 frågor.

De ställde sedan dessa frågor till över 2000 personer, eller turkare, på Amazons Mechanical Turk-webbplats, och betalade 4 cent för varje uppsättning korrekt besvarade frågor.

Resultatet är ett omfattande ord-känslolexikon för över 10 000 ord eller tvåordsfraser som de kallar EmoLex.

En viktig faktor i denna forskning är kvaliteten på de svar som crowdsourcing ger. Till exempel kan vissa turkare svara slumpmässigt eller till och med avsiktligt skriva in fel svar.

Mohammad och Turney har tacklat detta genom att infoga testfrågor som de använder för att bedöma om turkaren svarar bra eller inte. Om inte, ignoreras all data från den personen.

De testade kvaliteten på sin databas genom att jämföra den med tidigare som skapats av experter och säger att den jämförs bra. Vi jämförde en delmängd av vårt lexikon med befintliga guldstandarddata för att visa att de erhållna annoteringarna verkligen är av hög kvalitet, säger de.

Detta tillvägagångssätt har betydande potential för framtiden. Mohammad och Turney säger att det borde vara enkelt att öka storleken på datumdatabasen och samtidigt enkelt anpassas för att skapa liknande lexikon på andra språk. Och allt detta kan göras mycket billigt - de spenderade $2100 på Mechanical Turk i detta arbete.

Summan av kardemumman är att sentimentanalys alltid kan vara lika bra som databasen som den förlitar sig på. Med EmoLex har analytiker ett nytt verktyg för sina tricks.

Ref: arxiv.org/abs/1308.6297 : Crowdsourcing av ett ord-känsla Association Lexicon

Dölj