Om bara AI kunde rädda oss från oss själva

Människor har krossat internet. Cybermobbning, trakasserier, social skam och rent obehag plågar sajter som Twitter och Reddit, särskilt om du råkar dra till dig fel sorts uppmärksamhet. Tänk på vägen spökjagare stjärnan Leslie Jones och PR-chef Justine Sacco blev måltavlor för massövergrepp.

De företag som driver onlinetjänster är vanligtvis klämda mellan anklagelser om likgiltighet för trakasserier och undertryckande av yttrandefrihet. Men nu tror Google att det kan använda artificiell intelligens för att minska denna tragedi av den digitala allmänningen. (Upplysning: Jag arbetade för Google på 2000-talet.) En teknikinkubator i företaget, kallad Jigsaw – tidigare känd som Google Ideas – säger att den har för avsikt att upptäcka och ta bort digitala trakasserier med ett automatiserat program som heter Conversation AI. Som Jigsaws president, Jared Cohen, berättade Trådbunden , Jag vill använda den bästa tekniken vi har till vårt förfogande för att börja ta på mig trolling och andra skändliga taktiker som ger fientliga röster oproportionerlig vikt, [och] göra allt vi kan för att jämna ut spelplanen.

Den här historien var en del av vårt januarinummer 2017

• Se resten av frågan
• Prenumerera

Det är modigt för Google att ta på sig detta, och det skiljer sig från några av Jigsaws tidigare arbeten. Det har inkluderat Project Shield, som skyddar nyhetssajter och sajter som främjar yttrandefrihet mot denial-of-service-attacker. En annan pusselinsats, Password Alert, är en Chrome-tillägg som skyddar mot nätfiskeattacker. Det var främst tekniska utmaningar. Men att slåss mot troll och mobs på nätet är också ett sociologiskt problem.

Sak granskas

• AI Chat

  från Googles Jigsaw

Conversation AI är en utlöpare av ett av de mest framgångsrika av Googles moonshot-projekt, Google Brain. Det har hjälpt till att revolutionera området för maskininlärning genom storskaliga neurala nätverk och gett Google fördelar som programvara som är skickligare än människor på att känna igen bilder. Men Conversation AI kommer inte att kunna besegra onlinemissbruk. Även om Jigsaws uttalade mål är att bekämpa uppkomsten av mobbar online , programmet i sig är ett mycket mer blygsamt – och därför mer rimligt – projekt. Conversation AI kommer i första hand att effektivisera den communitymoderering som idag utförs av människor. Så även om det inte kan neutralisera det värsta beteendet på nätet, kan det främja mer och bättre diskurs på vissa webbplatser.

Anspelningsdetektering

Jigsaw startar Conversation AI på New York Times , där den kommer att rullas ut om några månader för att hjälpa företaget att hantera sina onlinekommentarer. Mänskliga moderatorer granskar för närvarande nästan alla kommentarer som publiceras på sajten. Just nu läser Conversation AI 18 miljoner av dem och lär sig att upptäcka varje enskild kategori av kommentarer som blir avvisade – oväsentliga, off-topic, spam, osammanhängande, inflammatoriska, obscena, attack mot kommentator, attack mot författare, attack mot utgivare.

De Tider Målet är inte nödvändigtvis att minska missbruk i sina kommentarer, ett problem som den redan anser är under kontroll. Istället hoppas man minska de mänskliga moderatorernas arbetsbörda. Vi förväntar oss aldrig att ha ett system som är helt automatiserat, Erica Greene, ingenjörschef på New York Times community team, berättade för mig. Tider community-redaktör Bassey Etim uppskattar att någonstans mellan 50 och 80 procent av kommentarerna så småningom kan modereras automatiskt, vilket gör att anställda kan ägna sina ansträngningar åt att skapa mer övertygande innehåll från tidningens kommentarsavsnitt.

De New York Times webbplatsen utgör mycket olika problem än Twitter och Reddits gratis-för-alla i realtid. Och med tanke på begränsningarna för maskininlärning – som den finns idag – kan Conversation AI omöjligen bekämpa missbruk på internets vidöppna utrymmen. Trots alla bländande prestationer av maskininlärning har den fortfarande inte knäckt det mänskliga språket, där mönster som de den kan hitta i Go eller bilder visar sig djävulskt svårfångade.

Illustrationer av Erik Carter

Det språkliga problemet vid upptäckt av missbruk är sammanhang. Konversations AI:s kommentarsanalys modellerar inte hela flödet av en diskussion; den matchar individuella kommentarer mot inlärda modeller av vad som är bra eller dåliga kommentarer. Till exempel kommentarer om New York Times webbplatsen kan anses vara acceptabel om de tenderar att innehålla vanliga ord, fraser och andra funktioner. Men Greene säger att Googles system ofta flaggade kommentarer på artiklar om Donald Trump som kränkande eftersom de citerade honom med ord som skulle få en kommentar avvisad om de kom från en läsare. För den här typen av artiklar Tider kommer helt enkelt att stänga av automatisk moderering.

Det är alltså omöjligt att se Conversation AI klara sig bra på en vidöppen webbplats som Twitter. Hur skulle det upptäcka förintelseanspelningarna i missbruk tweets skickade till den judiska journalisten Marc Daalder : Det här är du om Trump vinner, med en bild på en lampskärm, och Du hör hemma här, med en bild på en brödrost? Att upptäcka missbruket bygger på historisk kunskap och kulturell kontext som en maskininlärningsalgoritm endast skulle kunna upptäcka om den hade tränats på mycket liknande exempel. Även då, hur skulle det kunna skilja mellan missbruk och samma bild med This is what I'm buying if Trump vinner? Nivån på semantisk och praktisk kunskap som krävs är bortom vad maskininlärning för närvarande ens syftar till.

Följaktligen kommer ett dedikerat Twitter-troll utan tvekan att hitta ett nytt sätt att uttrycka övergrepp som undviker ett system som Conversation AI. Genom att blockera vissa kommentarer kan maskininlärning göra ett anständigt jobb för att få kommentatorer att sluta nonchalant kalla varandra för tönt och homos, om det är målet. Men maskininlärning kommer inte att kunna hindra en person som är sugen på att insinuera att någon är queer.

Med andra ord kommer Conversation AI att möjliggöra att modereringsuppgifter kan utföras mer effektivt i samhällen som redan tenderar att vara ganska väluppfostrade. Det är oförmöget att utrota det värsta av missbruket vi hör om, som ofta dyker upp på webbplatser med minimala modereringsstandarder. Polisövergrepp på Twitter och Reddit är omöjligt utan att i grunden ändra karaktären på dessa plattformar.

Stängda samhällen

Att polisa övergrepp på Twitter och Reddit är omöjligt utan att i grunden ändra karaktären på dessa plattformar.

Facebooks framgång är en påminnelse om att de flesta människor, och definitivt de flesta företag, föredrar en relativt skyddad och kontrollerad miljö framför en där främlingar kan tränga in i andras verksamhet och starta slagsmål. Så om Conversation AI eller liknande verktyg gör det enklare och mer effektivt att utöva sådan kontroll, är det en påminnelse om att för att lösa missbruksproblemet, oavsett om det sker genom mänskliga eller automatiserade medel, krävs att man går bort från maximal inkludering som det högsta idealet online. Även till synes öppna gemenskaper som StackExchange och MetaFilter kräver konstant moderatoringripande och samhällspolisiering. Verkligen anarkiska gemenskaper, som Twitter, 4chan och vissa kanaler på Reddit, visar sig vara undantagen online, inte regeln. Inte heller anarkiska samhällen tjänar pengar. Twitter har haft problem med att attrahera en köpare, delvis på grund av dess rykte för kränkande innehåll, medan Reddit har haft en hög grad av personalomsättning och svårigheter att tjäna pengar. Vilda västern-karaktären hos dessa sajter blir bara mer uppenbar om verktyg som Conversation AI får modererade sajter att fungera ännu bättre.

Det är värt att notera en stor potentiell nackdel. Eftersom Conversation AI utbildas för att godkänna innehåll som följer vissa lexikala, grammatiska och stilistiska riktlinjer, kommer det inte bara att filtrera bort kränkande innehåll. Det kan också tendera att slå till olika innehåll. Det väcker frågor om vad censursinnade regeringar skulle kunna göra med det. Precis som Tider kurerar sina samhällen, så också kan regeringarna i Turkiet och Kina kurera sina. Medan Jigsaw-insatser som Project Shield syftar till att tillhandahålla försvar för politiskt känsliga webbplatser, gör Conversation AI det lättare att filtrera bort oönskat tal – men frågan är, oönskat av vem? Det finns ingen etikett på kartongen som säger: Använd endast för att förhindra missbruk.

David Auerbach skriver en bok om mänskliga språk och datorspråk och deras konvergens, som ska publiceras av Pantheon. Han arbetade i 11 år som mjukvaruingenjör på Google och Microsoft, främst inom serverinfrastruktur.

Dölj