Hemska människor har lärt sig att utnyttja internet. Yasmin Green slår tillbaka.

Jigsaw-teamet på Alphabet tar tillbaka människor som radikaliserats online från randen, en video i taget. Förbi

• Martin Giles arkivsida

19 februari 2018

Landon Speers

Hatretorik, radikalisering online, självstudier för bombtillverkning, statligt sponsrade falska nyheter, webbcensur – internet är en fruktansvärd plats.

En del av det är i alla fall. Att hjälpa till att hålla den delen så liten som möjligt är jobbet för Yasmin Green, chef för forskning och utveckling på Jigsaw, en del av Googles moderbolag, Alphabet. Hon tar sig an både terrorister och troll med en multinationell grupp på cirka 60 specialister, inklusive mjukvaruingenjörer, forskare och produktchefer. De kan också utnyttja Googles enorma resurser. Men Green och hennes kollegor lägger inte all sin tid på att koda och bygga; många av dem reser också till geopolitiska hot spots för att studera radikalisering på nära håll. Hon pratade med MIT Technology Review om några av gruppens metoder.

Den här berättelsen var en del av vårt marsnummer 2018

• Se resten av frågan
• Prenumerera

Vad lockade dig till rollen på Jigsaw?

Jag lämnade Iran, där jag föddes, i mycket ung ålder och växte upp i Storbritannien. Jag minns att jag gick tillbaka vid 19 års ålder och kände mig häpen över nivån av censur som fanns i landet, både offline och online. Termer som world wide web tenderar att låta ironiska för människor som inte bor i länder där informationen är gratis. Så jag lockades att jobba på ett företag som försöker göra information tillgänglig för alla.

Landon Speers

Jigsaw hanterar onlinehot, men teammedlemmar besöker också konfliktzoner som en del av sitt arbete. Vad är målet med dessa resor?

Vi vill se till att vi designar teknik som är baserad på en förståelse för mänskliga erfarenheter. En stor del av vår metodik är att skicka teammedlemmar ut på fältet för att intervjua människor som står i frontlinjen för de utmaningar vi försöker ta itu med, oavsett om det är förtryck eller konflikt. En av våra studieresor var till Irak, där vi satt öga mot öga med människor som hade anslutit sig och sedan lämnat terroristgruppen som kallas ISIS. Vi ville förstå radikaliseringsprocessen, både de mänskliga elementen men också den roll som tekniken spelade. Vi hörde om hur människor upptäckte ISIS, hur människor rekryterades och hur tekniken var användbar för logistiken för deras resor [för att gå med i gruppen].

Vilken är den viktigaste lärdomen vi har lärt oss om ISIS förmåga att utnyttja internet för rekrytering?

ISIS behärskar i stort sett många medier, från radio till flygblad. När det kommer till internet har de verkligen förstått kraften med mikroinriktning. De skapar innehåll på en lång rad språk, inklusive arabiska och engelska, men det fortsätter och fortsätter och går till och med till kinesiska och hebreiska. Språket som verkligen fick mig att se en video på var teckenspråk. Så de skapar väldigt lokalt rekryteringsmaterial och använder de algoritmer som är tillgängliga via sociala medier för att distribuera detta material och nå människor i världens alla hörn.

En del av innehållet som terroristnätverk publicerar på nätet måste helt klart tas bort. Men hur hanterar vi mer subtila former av propaganda?

Det finns definitivt kategorier av innehåll som du vill se till att inte ser dagens ljus, som halshuggning och självstudier för bombtillverkning. Sedan finns det en hel mängd annat innehåll som verkligen inte förespråkar våld, men som kan hjälpa människor att gå vidare på vägen mot det. Vår forskning syftade till att förstå vilka rekryteringsteman var som fick människor att registrera sig för ISIS. Det visar sig att de i allmänhet inte drogs till halshuggning; istället var de övertygade om att denna grupp var religiöst legitim och att orsaken till jihad var deras religiösa plikt. ISIS formade konversationen och ställde frågor som [den] hade till synes övertygande svar på.

Jag tror inte att någon föreställde sig att vi skulle ha den nivå av hot och hatretorik på nätet som vi gör för närvarande, och vi måste verkligen anstränga oss för att se till att vi kommer före det.

Hur har du försökt motverka denna radikalisering på nätet?

En av takeaways för oss var att timing är avgörande. När potentiella rekryter säljs på ideologin är det för sent att påverka dem; du måste komma till dem när de är sympatiska men ännu inte sålda. Så vi övergick till riktad onlineannonsering. Vi har designat något som kallas omdirigeringsmetoden, som använder riktade annonser för att nå människor som är sympatiska med ISIS men som ännu inte är engagerade i det, och omdirigerar dem till onlinevideor från moderata präster, avhoppare och medborgarjournalister som kan avvärja deras radikalisering.

Vilka resultat har denna metod gett?

Piloten, som var åtta veckor lång och gick på arabiska och engelska, nådde 320 000 personer. Den hade en exceptionellt hög klickfrekvens på annonserna och körde en halv miljon minuters videovisningstid. Med tanke på att människor inte spenderar mer än några sekunder på en video de inte är intresserade av är det uppmuntrande. Efter vår pilot integrerade YouTube metoden i sina sökresultat. Metodiken med öppen källkod har också replikerats av andra som Gen Next Foundation, och vi fortsätter att stödja några nya implementeringar.

Jigsaw försöker också ta itu med onlinecensur. Hur illa är detta problem?

Om man tittar på Freedom Houses index på detta säger de att situationen förvärras varje år. Det är verkligen nedslående, eftersom det är motsatsen till vad människor som utvecklar internet vill ha för det. Situationen är så flyktig. När du har civila oroligheter, som det var nyligen i Iran, ser du de repressiva regeringarnas dilemmat kring huruvida de ska stänga av internet eller inte, eftersom [censurering] det hetsar upp befolkningen och väcker allmänhetens uppmärksamhet och upprördhet. Men om de som sitter vid makten känner sig hotade kommer de att censurera.

Vad kan företag som Alphabet göra för att motverka detta?

Vi känner ett riktigt stort ansvar att hjälpa människor att få tillgång till information, särskilt när det finns konflikter och förtryck. En av våra produkter fokuserar på att skydda oberoende media runt om i världen från en typ av censurattack som kallas distribuerad denial of service, eller DDoS, som slår ner webbplatser offline genom att översvämma dem med trafik. Det kallas Project Shield. Idén till detta kom från vårt fältarbete. Vårt team pratade med den kenyanska valövervakningsgruppen och deras sida hade stängts på dagen för ett nyckelval. Google har en enorm infrastruktur och DDoS-reducerande funktioner i världsklass, som Project Shield drar nytta av. Utan att webbplatser behöver vara värdar för Google eller Jigsaw, erbjuder den att vetera trafik innan den kommer till en server så att vi kan upptäcka trafiken som är skadlig och filtrera bort den.

Låt oss gå över till problemet med falska nyheter. Hur kan vi bättre identifiera statligt sponsrade desinformationsinsatser?

Relaterad berättelse

Relaterad historia Yasmin Green, chef för FoU för Alphabets Jigsaw, använder teknik i hopp om att göra världen till en bättre plats. Det är inte lätt.

Målet med dessa kampanjer är att plantera idéer och berättelser via falska personas och nyhetssajter, och sedan få dessa frön befruktade av massorna så att samtalen ser ut som om de är organiska. Forskningsfrågan vi har ställt oss är om det finns tekniska markörer för samordnad, hemlig aktivitet kontra den mer organiska aktiviteten vi förväntar oss att se online. Om det finns, kan vi använda dessa i automatisk upptäckt.

Vi tittar på flera dimensioner här. Samordnade kampanjer tenderar att vara längre än de ekologiska, och de inblandade tenderar att vänta på att få instruktioner från sina mästare, så det är ibland en liten fördröjning innan de plötsligt agerar tillsammans. Dessa aktörer tenderar också att vara sammanlänkade i extremt täta nätverk eller kluster som ser anomala ut. Det finns också en semantisk dimension. Dessa kampanjer använder ofta liknande ord och fraser som kan vara en signal om centraliserad kontroll.

Webbföretag har kritiserats för att inte göra tillräckligt för att ta itu med hatretorik och trakasserier på nätet. Är den kritiken rättvis?

Jag tror inte att någon föreställde sig att vi skulle ha den nivå av hot och hatretorik på nätet som vi gör för närvarande, och vi måste verkligen anstränga oss för att se till att vi kommer före det.

Vad gör Jigsaw för att frustrera onlinetroll?

Vi har ett team dedikerat till att se hur bearbetning av naturliga språk och maskininlärning kan användas för att identifiera onlinetoxicitet och hjälpa moderatorer och samhällen att hantera det. Det finns en modell som vi har utvecklat som är allmänt tillgänglig, kallad Perspective, och du kan hitta den på www.perspectiveapi.com . Detta hjälper dig att betygsätta kommentarer för deras nivå av toxicitet. Forskarteamet tittar på sätt att komma till en annan nivå av granularitet för att hjälpa oss att bättre identifiera vad som händer och hur moderatorer kan kontrollera det.

Det har funnits mycket oro för att fördomar i algoritmer kan skada vissa grupper i samhället. Är detta något du också fokuserar på?

Ja. Vi spenderar mycket tid på att fundera på hur vi kan säkerställa att vi inte har fördomar i vår AI i perspektiv som kan vara skadliga för målen för det projektet, som är att skapa inkluderande och empatiska samtal.

Du spenderar mycket av ditt liv fokuserat på den mörka sidan av internet. Är du fortfarande optimistisk om dess potential?

Det är jag, men vi måste fortsätta att utveckla innovativa teknologier som kan hjälpa till att hantera dessa riktigt svåra utmaningar.

Dölj