Hur DARPA tog på Twitter Bot-hotet med en hand bakom ryggen

Ett av de mer oroande fenomenen på Twitter är spridningen av bots som genererar tweets automatiskt i ett försök att sprida spam, för att tjäna pengar olagligt genom klickbedrägerier, och, mest oroande, för att påverka diskussionen om ämnen som terrorism och politik.

Antalet Twitter-konton som är involverade i denna typ av aktivitet är inte litet. 2014 medgav Twitter att mer än 8 procent av dess konton var automatiserade – det är cirka 23 miljoner aktiva Twitter-användare.

Företaget påpekade att många av dessa var helt legitima - många av dessa konton publicerar öppet om eller visar tweets från andra användare. Ändå är ett betydande antal uppenbarligen dåligt, och inflytande bots är ett särskilt problem.

Till exempel använder gruppen som kallar sig Islamiska staten online sociala medier för att övertala unga människor att anamma deras sak. Vissa observatörer tror att Ryssland inledde en stor desinformationskampanj på sociala medier om annekteringen av Krim. Andra säger att bots spelade en betydande roll i att påverka resultatet av valet i Indien 2014.

Så ett sätt att på ett tillförlitligt sätt upptäcka inflytande bots på Twitter skulle vara oerhört användbart. Förra året satte Defense Advanced Research Projects Agency (DARPA) ut för att hitta en sådan metod genom att köra en fyra veckor lång tävling där team ombads att upptäcka bots i en ström av inlägg om ämnet vaccinationer. Ett team kom fram som en klar vinnare, och resultaten visade några betydande nya strategier för att identifiera bots i den verkliga världen.

Idag får vi en unik inblick i denna tävling och de strategier lagen använt tack vare ett papper av V.S. Subrahmanian vid University of Maryland i College Park och Sentimetrix och några kompisar.

Tävlingen var ungefär så realistisk som DARPA kunde göra den. Tweetarna var meddelanden som hämtats från Twitter-strömmen under en debatt om vaccinationer 2014. I den här debatten hade ett antal bots skapats som en del av en tävling för att se hur de kunde påverka diskussionerna. Så DARPA hade grundläggande sanningskunskap om vilka konton som var konstgjorda och vilka som var verkliga.

Totalt innehöll datasetet över fyra miljoner meddelanden från mer än 7 000 konton, varav 39 var bots i antingen lobbyn för pro- eller anti-vaccination. Varje meddelande innehöll ett unikt ID, en användarprofil inklusive en bild, en url och en bild, där dessa ingick. Uppgifterna inkluderade också en tids- och datumstämpel samt information om följare och när ett konto slutade följa ett annat. Allt detta spelades upp för konkurrenterna i en syntetisk Twitter-miljö under fyra veckor i februari och mars.

Teamen fick sedan analysera denna Twitter-ström och gissa vilka användare som var bots. Varje rätt gissning gav dem en enda poäng men ett lag förlorade 0,25 poäng för varje felaktig gissning. Ett lag som gissade alla bots d dagar före slutet av utmaningen fick också d poäng, eftersom DARPA är särskilt intresserad av tidig upptäckt av influensrobotar.

Det vinnande laget var från analysföretaget för sociala medier Sentimetrix, som gissade alla bots 12 dagar före deadline samtidigt som de bara gjorde en felaktig gissning. Det gav dem en poäng på 50,75 poäng. (Laget på andra plats, från University of Southern California, fick 45 poäng och hittade alla bots sex dagar före deadline utan felaktiga gissningar.)

De vinnande strategierna är avslöjande. Teamen började med att försöka identifiera en första uppsättning bots i datan. Intressant nog kunde inget av teamen automatisera detta steg och de mest använde betydande mänsklig input.

Sentimetrix använde en förtränad algoritm för att söka efter botliknande beteende. Teamet hade tränat denna algoritm på Twitter-data från det indiska valet 2014 som innehöll många bots. Den letade efter ovanlig grammatik, likheten mellan språkvetenskapen och chatbotar för naturliga språk som Eliza, och ovanliga beteenden som långa perioder av twittrande utan paus som en människa inte lätt kunde utföra.

Detta avslöjade fyra konton som helt klart var bots, och Sentimetrix använde sedan dessa för att hitta andra. Ett antagande var att bot-tillverkare tenderar att producera många liknande bots och länka dem till varandra för att öka deras popularitet. Så teamet kunde använda nätverks- och klusteranalys för att hitta andra troliga bots, som de sedan jämförde med kända bots.

Teamet använde också funktioner som kontonas tidsmässiga aktivitet under antagandet att ett automatiserat konto skulle visa ovanliga regelbundenheter. Sentimetrix letade också efter användare som ändrade lojalitet under debatten från pro- till anti-vaccination (eller vice versa). Detta antog de kunde vara en botstrategi för att infiltrera en sida av argumentet och sedan lägga upp motsatta argument.

En nyckelfunktion i Sentimetrix framgång var hur det visualiserade resultatet av sitt arbete på en online-instrumentpanel så att en mänsklig användare enkelt kunde se analysens status för varje användare.

I detta andra steg identifierade Sentimetrix ytterligare 25 bots. Det gav dem tillräckligt med data för att träna en maskininlärningsalgoritm för att leta igenom data för andra bots. Och detta tillvägagångssätt ledde dem till de återstående 10 botarna.

Teamen visste inte hur många botar som var på jobbet så ett stort problem var att veta när de skulle sluta söka. Sentimetrix, till exempel, slutade när den inte längre kunde hitta konton som såg ut som bots.

Det är ett imponerande arbete som kan ha ett viktigt inflytande på ansträngningarna att hitta bots som försöker påverka onlinediskussioner på olämpliga sätt. Att publicera strategierna som denna borde också hjälpa andra spelare att utveckla antibottaktik.

Men det kan också ha en negativ inverkan. Kampen mellan bots och bot-jägare är en som ständigt utvecklas. Med tidningar som detta avslöjar bot-jägarna sin hand på ett sätt som gör det möjligt för bot-tillverkare att utforma strategier för att specifikt besegra dessa algoritmer. På ett sätt är det som att slåss med en hand bunden bakom ryggen.

Frestelsen att hålla bot-jaktstrategier hemlig skulle dock vara farlig att främja. Denna typ av öppenhet är en del av vårt fria samhälle och säkerligen en av de viktigaste anledningarna till att det är värt att kämpa för att bevara.

Hur som helst, denna katt-och-råtta-strid kommer att fortsätta.

Ref: DARPA Twitter Bot Challenge: arxiv.org/abs/1601.05140

Dölj