211service.com
Yahoo har ett verktyg som kan fånga onlinemissbruk förvånansvärt bra
Troll verkar lura i varje hörn av Internet, och de njuter av att förstöra din dag. Men om våra e-postkorgar kan hållas relativt skräppostfria, varför kan inte maskiner automatiskt rensa bort kränkande meddelanden från tweets eller kommentarer?
Det är en fråga som verkar relevant för själva strukturen i internetkulturen idag. Förra veckan, Twitter förbjudna en journalist som den anklagade för att ha orkestrerat en övergreppskampanj riktad mot en av stjärnorna i den helt kvinnliga spökjagare starta om. Twitter sa att de skulle införa nya riktlinjer och verktyg för att rapportera missbruk genom sin tjänst. Visst, otaliga andra incidenter på Twitter och på andra ställen går obemärkt förbi varje dag.
Forskare gör faktiskt vissa framsteg mot teknik som kan hjälpa till att stoppa övergreppen. Ett team på Yahoo utvecklades nyligen en algoritm kapabla att fånga kränkande meddelanden bättre än något annat automatiserat system hittills. Forskarna skapade en datauppsättning av missbruk genom att samla in meddelanden på Yahoo-artiklar som flaggades som stötande av företagets egna kommentarsredaktörer.
Yahoo-teamet använde ett antal konventionella tekniker, inklusive att leta efter kränkande nyckelord, skiljetecken som ofta tycktes åtfölja kränkande meddelanden och syntaktiska ledtrådar om meningen med en mening.
Men forskarna tillämpade också ett mer avancerat tillvägagångssätt för automatiserad språkförståelse, genom att använda ett sätt att representera betydelsen av ord som vektorer med många dimensioner. Detta tillvägagångssätt, känt som ordinbäddning, gör att semantik kan bearbetas på ett sofistikerat sätt. Till exempel, även om en kommentar innehåller en sträng med ord som inte har identifierats som kränkande, kan representationerna av den strängen i vektorutrymmet räcka för att identifiera den som sådan.
När allt kombinerades kunde teamet identifiera kränkande meddelanden (från sin egen datamängd) med ungefär 90 procents noggrannhet.
Att fånga de återstående 10 procenten kan visa sig vara knepigt. Även om AI-forskare gör betydande framsteg när det gäller att träna maskiner för att analysera språk, har artificiell intelligens ännu inte utrustat datorer med den hjärnkraft som behövs för att reda ut mening. Som en tävling som hölls vid en nyligen genomförd AI-konferens visar, kan datorer inte reda ut de enklaste tvetydigheterna i meningar.
Många teknikföretag, inklusive Twitter, har AI-forskare som är dedikerade till att utveckla det senaste inom områden som bildigenkänning och textförståelse. Men hittills verkar förvånansvärt lite ansträngning ha lagts på att systematiskt fånga övergrepp eller trakasserier. Twitter avböjde att säga om dess AI-team aktivt arbetar med problemet (även om det verkar troligt). Men det är osannolikt att företaget kommer att introducera en magisk kula för att filtrera bort skadliga meddelanden. Problemet med automatiserad hatfiltrering är att ord är fyllda med mening som bara kan packas upp med verklig intelligens.
Att automatiskt identifiera övergrepp är förvånansvärt svårt, säger Alex Krasodomski-Jones, som spårar övergrepp online som forskare med Storbritannien-baserade Centrum för analys av sociala medier . Övergreppsspråket är amorft – ändras ofta och används ofta på sätt som inte innebär övergrepp, som när rasistiska eller sexuellt laddade termer tillägnas av de grupper som de en gång förnedrade. Med 10 tweets kommer en grupp människor sällan alla att komma överens om vilka som ska klassas som kränkande, så du kan föreställa dig hur svårt det skulle vara för en dator.
Tills maskiner får verklig intelligens kommer det att vara omöjligt att filtrera bort hatiska meddelanden. Men Krasodomski-Jones erbjuder en annan, mer mänsklig anledning till varför vi kanske inte vill ha en automatiserad lösning: I en värld där det vi läser i allt högre grad dikteras av algoritmer och filter, borde vi vara försiktiga med att kräva mer datorinterferens.