211service.com
En videospelsalgoritm för att lösa onlinemissbruk
Liksom många onlineplatser är League of Legends, det mest spelade online-videospelet i världen idag, en grogrund för kränkande språk och beteende. Främjat av anonymitet och förstärkt i en tävlingsinriktad lagsports upphettade degel, har detta beteende varit ett sådant problem för dess tillverkare, Riot Games, att företaget nu anställer ett dedikerat team av forskare och designers för att hitta sätt att förbättra interaktionen mellan spelets spelare.
Under de senaste åren har teamet experimenterat med en mängd system och tekniker, uppbackade av maskininlärning, som är designade för att övervaka kommunikation mellan spelare, bestraffa negativt beteende och belöna positivt beteende. Resultaten har varit uppseendeväckande, säger Jeffrey Lin, huvuddesigner av sociala system på Riot Games. Programvaran har övervakat flera miljoner fall av misstänkt kränkande beteende. Nittiotvå procent av spelarna som har ertappats med att använda kränkande språk mot andra har inte begått brott igen. Lin, som är en kognitiv neuroforskare, tror att teamets tekniker kan tillämpas utanför tv-spelskontexten. Han tror att Riot kan ha skapat något av ett motgift mot onlinetoxicitet, oavsett var det inträffar.
Projektet började för flera år sedan när teamet introducerade ett styrningssystem som, i linje med spelets fantasitema, kallat Tribunal. Spelet skulle identifiera potentiella fall av kränkande språk och skapa en ärendefil över interaktionen. Dessa filer presenterades sedan för spelets community av spelare (uppskattningsvis 67 miljoner unika användare), som bjöds in att granska chattloggarna i spelet och rösta om huruvida de ansåg beteendet acceptabelt. Sammantaget var systemet mycket exakt, säger Lin. Faktum är att 98 procent av samhällets domar matchade dem från det interna teamet på Riot.
Flera miljoner ärenden hanterades på detta något arbetskrävande sätt. Snart började Lin och laget se mönster i språket som giftiga spelare använde. För att hjälpa till att optimera processen bestämde de sig för att tillämpa maskininlärningstekniker på data. Det visade sig vara extremt framgångsrikt med att segmentera negativt och positivt språk över de 15 officiella språk som League stöder, säger Lin.
Den nya versionen av systemet, som nu kontrolleras av teknik istället för av andra spelare, gjorde det mer effektivt att ge feedback och införa konsekvenser för giftigt beteende i spelet. Den kan nu leverera feedback till spelare inom fem minuter, där det tidigare kunde ta upp till en vecka.
Lin säger att systemet dramatiskt förbättrade vad företaget kallar reformtakten. En spelare som tidigare har fått ett straff, såsom avstängning från rankade matcher, anses reformerad om han eller hon undviker efterföljande straff under en period. När vi lade till bättre feedback till straffen och inkluderade bevis som chattloggar för straffet, hoppade reformtakten från 50 procent till 65 procent, säger han. Men när maskininlärningssystemet började leverera mycket snabbare feedback med bevisen, steg reformtakten till en rekordnivå på 92 procent.
En utmaning som systemet står inför är kräsna sammanhang. Som i alla lagsporter bygger spelare ofta kamratskap genom skämt eller sarkasm som i ett annat sammanhang kan anses vara ovänliga eller aggressiva. En maskin lyckas vanligtvis inte fånga sarkasmen. I själva verket är det kanske det viktigaste hindret för att bekämpa onlinemissbruk med maskininlärning. Det är ganska rättvist att säga att AI:er som förstår språk presterar bäst när minimal kontextuell information är nödvändig för att beräkna rätt svar, förklarar Chris Dyer, en biträdande professor vid Carnegie Mellon University som arbetar med naturlig språkbehandling. Problem som kräver att man integrerar mycket information från det sammanhang där ett yttrande görs är mycket svårare att lösa, och sarkasm är extremt kontextberoende.
För närvarande försöker Lin och hans team lösa problemet med ytterligare kontroller. Även när systemet identifierar en spelare som har visat giftigt beteende, kontrolleras andra system för att förstärka eller lägga in sitt veto mot domen. Till exempel kommer den att försöka validera varje enskild rapport som en spelare arkiverar för att fastställa hans eller hennes historiska rapportnoggrannhet. Eftersom flera system arbetar tillsammans för att ge konsekvenser till spelare, ser vi för närvarande en sund 1 på 5 000 falska positiva frekvenser, säger Lin.
För att verkligen stävja missbruk designade Riot bestraffningar och avskräckande åtgärder för att övertala spelare att ändra sitt beteende. Det kan till exempel begränsa chattresurser för spelare som uppträder kränkande, eller kräva att spelare slutför orankade spel utan incidenter innan de kan spela topprankade spel. Företaget belönar också respektfulla spelare med positiv förstärkning.
Lin är övertygad om att de lärdomar han och hans team har dragit av sitt arbete har en bredare betydelse. En av de avgörande insikterna från forskningen är att giftigt beteende inte nödvändigtvis kommer från hemska människor; det kommer från vanliga människor som har en dålig dag, säger Justin Reich, en forskare från Harvards Berkman Center, som har studerat Riots arbete. Det betyder att våra strategier för att ta itu med giftigt beteende online inte kan riktas bara mot förhärdade troll; de måste redogöra för vår kollektiva mänskliga tendens att låta det värsta av oss själva dyka upp under internets anonymitet.
Icke desto mindre anser Reich att Lins arbete visar att giftigt beteende inte är en del av webben, utan ett problem som kan lösas genom en kombination av ingenjörskonst, experiment och samhällsengagemang. Utmaningarna vi står inför i League of Legends kan ses på alla onlinespel, plattformar, gemenskaper eller forum, vilket är anledningen till att vi tror att vi befinner oss vid en avgörande punkt i tidslinjen för onlinegemenskaper och samhällen, säger Lin. På grund av detta har vi varit väldigt öppna med att dela vår data och bästa praxis med den bredare industrin och hoppas att andra studior och företag tar en titt på dessa resultat och inser att onlinetoxicitet trots allt inte är ett omöjligt problem.