211service.com
Det är lätt att glida giftigt språk förbi Alphabets giftigkommentardetektor
På torsdagen släppte Alphabet en maskininlärningsbaserad tjänst, kallad Perspective, avsedd att identifiera giftiga kommentarer på webbplatser. Det är från Jigsaw, en enhet som arbetar med teknik för att göra Internet till en säkrare och mer civiliserad plats. Men när jag lekte med Perspective var resultaten oberäkneliga.
Perspective graderar kommentarer på en skala från 1 till 100 för toxicitet, definierad som en oförskämd, respektlös eller orimlig kommentar som sannolikt får dig att lämna en diskussion. Tråkigt, Trump-anhängare bedöms vara mycket giftiga, medan jag ärligt talat stöder att båda inte är till exempel. Men Perspective har problem med att upptäcka känslan bakom en kommentar – ett problem som jag förutspådde skulle besvära Jigsaw när jag undersökte dess ambitioner i december (se If Only AI Could Save Us From Ourselves ).
Trump suger fick kolossala 96 procent, men det nynazistiska kodordet 14/88 fick bara 5 procent. Få muslimer är ett terroristhot var 79 procent giftigt, medan raskrig nu fick 24 procent. Hitler var en antisemit fick 70 procent, men Hitler var inte en antisemit fick bara 53 procent, och Förintelsen hände aldrig fick bara 21 procent. Och medan gas the joos fick 29 procent, omformulerade det till Please gas the joos. Tack. sänkte poängen till bara 7 procent. (Judar är människor, men får 72 procent. Judar är inte människor? 64 procent.)
Enligt Jigsaw tränades Perspective för att upptäcka toxicitet med hjälp av hundratusentals kommentarer rankade av mänskliga granskare. Resultatet verkar vara ett system som är känsligt för särskilda ord och fraser – men inte för betydelser.
Ordet våldtäkt, till exempel, får 77 procent på egen hand – kanske förklarar varför våldtäkt är ett hemskt brott får 81 procent. (Ett liknande mönster ses med svordomar: jag älskar det här får 94 procent.)
På samma sätt orsakar negationer och andra nyanser av språket paradoxala resultat. Lägga till en inte att skapa Få muslimer är inte ett terroristhot sänker toxiciteten från 79 procent till 60 procent eftersom inte ett terrorhot framstår som mer ofarligt för Perspektiv, även om den avsedda innebörden blir Mer toxisk.
Som jag noterade i mitt tidigare stycke om Jigsaw tillåter det nuvarande tillståndet för maskininlärning inte programvara att förstå meningen och sammanhanget med kommentarer. Genom att göra mönstermatchning på ytnivå kan Conversation AI kanske filtrera stilistiskt— men inte semantiskt .
Det gör inte tekniken värdelös. Ett system som Perspective skulle kunna påskynda moderatorernas arbete genom att flagga extremfall. Det är vettigt att New York Times samarbetar med Jigsaw för att ge sina moderatorer hjälp med att bevaka kommentarer till artiklar. De New York Times har dock inget missbruksproblem; den försöker identifiera högkvalitativa kommentarer, där stilistisk matchning sannolikt är mer effektiv. När det kommer till avsiktligt missbruk kommer Jigsaws programvara inte att kunna ersätta mänskligt omdöme i tvetydiga fall.
Vi kan säga att troll är dumma (toxicitetspoäng 96 procent), men språket för toxicitet och trakasserier är ofta rikt på sätt som maskininlärningssystem inte kan hantera. Kommentaren Du borde göras till en lampa, en anspelning på påståenden om att hud från koncentrationslägers offer användes till lampskärmar, har de senaste månaderna kastats mot ett antal journalister och andra offentliga personer. Den får bara 4 procent i Perspective. Men det är bäst att inte svara med att du är nazist, för det är 87 procent.