En AI-allierad för att bekämpa mobbning i virtuella världar

Saiman Chow

I vilket fiktivt universum som helst kan skillnaden mellan lekfull motsättning och allvarliga trakasserier vara svår att urskilja. Namnrop mellan vänner som spelar ett tv-spel tillsammans är ofta en form av kamratskap. Mellan främlingar antar dock liknande ord en annan, mer besvärlig egenskap. Att kunna skilja mellan de två är avgörande för alla videospelstillverkare som vill främja en välkomnande gemenskap.

Spirit AI hoppas kunna hjälpa utvecklare att stödja spelare och motverka mobbningsbeteende med ett system för upptäckt och intervention för övergrepp som kallas Ally. Mjukvaran övervakar interaktioner mellan spelare – vad folk säger till varandra och hur de beter sig – genom tillgängliga åtgärder inom ett spel eller social plattform. Den kan upptäcka verbala trakasserier och även icke-verbal provokation – till exempel att en spelare förföljer en annans avatar eller missbrukar rapporteringsverktyg.

Vi tittar på interaktionsmönster, kombinerat med klassificerare för naturliga språk, snarare än att förlita oss på en lista med individuella sökord, förklarar Ruxandra Dariescu, en av Allys utvecklare. Trakasserier är ett nyanserat problem.

När Ally identifierar potentiellt kränkande beteende, kontrollerar den om den potentiella missbrukaren och den andra spelaren har haft tidigare interaktioner. Där Ally skiljer sig från befintlig modereringsprogramvara är att istället för att bara skicka en varning till spelets utvecklare kan den skicka en datorstyrd virtuell karaktär för att checka in med spelaren – en som genom Spirit AI:s verktyg för naturliga språk är kunna konversera i spelets ton och stil (se A Video-Game Algorithm to Solve Online Abuse ).

Relaterad berättelse

Läs Nästa Hur ett team av psykologer och forskare på Riot Games avslöjar hemligheten för att eliminera övergrepp i ett onlinespel.

Allys bot kanske säger: Jag märkte att du och Player 42 verkar vara främlingar. De kan ha sagt något olämpligt till dig, så jag ville bara kolla om du är okej? Spelaren kan då svara på boten, säger Dariescu. Om interaktionen avfärdas som vänligt skämt, registrerar systemet detta och uppdaterar sina regler så att det inte kommer att ingripa över liknande beteende i framtiden. Om användaren känner sig misshandlad ingriper systemet med den skyldige.

Ally är kompatibel med alla onlinespel, och Spirit AI arbetar med att lägga till möjligheter till polisens beteende i virtuella verklighetsspel (se The War on the Disturbingly Real Trolls in Virtual Reality). Verktyget kan konfigureras på en mängd olika sätt för att interagera med spelare och vidta olika typer av åtgärder. Spirit AI ser Ally som ett sätt att utöka ett spels community management team, som kan övervaka aktiviteten i en instrumentpanel.

Företaget, som officiellt bildades 2016 och för närvarande har 15 anställda, kommer inte att avslöja vilka spelutvecklare det för närvarande arbetar med, men mjukvaran har väckt uppmärksamhet i spelvärlden. På den enklaste nivån kan AI-stödda community management-verktyg utöka teamets räckvidd, säger Imre Jele, en veterandesigner av enorma online-multiplayer-spel som RuneScape. Men det jag är mest upphetsad över är AI-system som går längre än att identifiera och straffa regelöverträdande beteende. I slutändan borde målet för dessa AI-teammedlemmar vara att ta sig ur polisarbetet och forma positiva interaktioner och bygga hälsosammare samhällen.

Relaterad berättelse

Läs Nästa När du känner att du verkligen befinner dig i en virtuell kropp är det viktigt att skydda ditt personliga utrymme.

Spirit avser verkligen att programvaran ska erbjuda mer än bara en digitaliserad polisstyrka som kan kallas in i onlinespel. Vi har identifierat potentialen för denna teknik att inte bara förhindra dåligt beteende utan också uppmuntra bra, prosocialt beteende, säger Dariescu. Programvaran kan också använda omgivande avlyssning för att identifiera bredare problem som spelare kan ha med ett spels design, vilket ger insikter till utvecklaren om hur den övergripande spelarupplevelsen kan förbättras.

Det finns dock begränsningar när det kommer till AI-interventioner i fall av trakasserier, enligt Jele. Många interaktioner mellan community management och spelarsupportteam kräver djup empati och sympati, säger han: Spelarna stöttade utvecklarna med sina pengar och förtjänar bästa möjliga vård, som bara människor kan ge för tillfället.

Dölj