211service.com
Hur en troll-spotting-algoritm lärde sig sin anti-antisociala handel
Troll är ett gissel för många webbplatser. Det här är människor som medvetet ägnar sig åt antisocialt beteende genom att posta inflammatoriska eller off-topic meddelanden. I bästa fall är de ett frustrerande irritationsmoment; i värsta fall kan de göra människors liv till ett elände.
Så ett sätt att upptäcka troll tidigt i sin onlinekarriär och förhindra deras värsta överdrifter skulle vara ett värdefullt verktyg.
Idag säger Justin Cheng vid Stanford University i Kalifornien och några kompisar att de har skapat just ett sådant verktyg genom att analysera beteendet hos troll på flera välkända webbplatser och skapa en algoritm som exakt kan upptäcka dem efter så få som 10 inlägg. De säger att deras teknik borde vara av stor praktisk betydelse för de människor som upprätthåller onlinegemenskaper.
Cheng och co studerar tre nyhetsgemenskaper online: den allmänna nyhetssajten CNN.com, den politiska nyhetssajten Breitbart.com och datorspelsajten IGN.com.
På var och en av dessa sajter har de en lista över användare som har blivit avstängda för asocialt beteende, över 10 000 av dem totalt. De har också alla meddelanden som postats av dessa användare under hela deras onlineaktivitet. Sådana individer är tydliga exempel på antisociala användare och utgör 'grundsanning' i våra analyser, säger Cheng och co.
Dessa killar satte sig för att svara på tre olika frågor om asociala användare. För det första, om de är asociala under hela sitt samhällsliv eller bara mot slutet. För det andra, om samhällets reaktion gör att deras beteende blir värre. Och slutligen, om antisociala användare kan identifieras korrekt tidigt.
Genom att jämföra meddelanden som postats av användare som i slutändan är förbjudna med meddelanden som postats av användare som aldrig är förbjudna, upptäcker Cheng och co några tydliga skillnader. Ett mått de använder är läsbarheten av inlägg, bedömd av ett mått som kallas Automated Readability Index.
Detta visar tydligt att användare som senare blir förbjudna tenderar att skriva inlägg av sämre kvalitet till att börja med. Och inte nog med det, kvaliteten på deras inlägg minskar med tiden.
Och medan samhällen från början verkar förlåtande och därför är långsamma med att förbjuda antisociala användare, blir de mindre toleranta med tiden. Detta resulterar i en ökad hastighet med vilken [inlägg från antisociala användare] raderas, säger de.
Intressant nog säger Cheng och co att skillnaderna mellan meddelanden som postats av personer som senare förbjuds och de som inte är det är så tydlig att det är relativt enkelt att upptäcka dem med hjälp av en maskininlärningsalgoritm. Faktum är att vi bara behöver observera fem till tio användarinlägg innan en klassificerare kan göra en tillförlitlig förutsägelse, skryter de.
Det kan visa sig vara användbart. Antisocialt beteende är ett allt allvarligare problem som kräver betydande mänsklig insats för att upptäcka och ta itu med. Denna process innebär ofta att antisociala användare tillåts arbeta mycket längre än nödvändigt. Våra metoder kan effektivt identifiera antisociala användare tidigt i deras samhällsliv och lindra en del av denna börda, säger Cheng och co.
Naturligtvis måste man vara försiktig med alla automatiserade tillvägagångssätt. En potentiell fara är att i onödan förbjuda användare som inte är asociala men som har identifierats som sådana av algoritmen. Denna falska positiva frekvens måste studeras mer noggrant.
Ändå kan moderatorernas arbete på sajter som tillåter meddelanden snart göras betydligt enklare tack vare Cheng och cos tillvägagångssätt.
Ref: arxiv.org/abs/1504.00680 : Antisocialt beteende i onlinediskussionsgemenskaper