En deepfake bot används för att klä av minderåriga flickor

Savka Jankovic / EyeEm

Uppdatering 28/10: Sedan publiceringen av denna artikel har den djupfalska boten på Telegram blockerats på iOS för att bryta mot App Stores riktlinjer, enligt forskarna . Den huvudsakliga Telegram-kanalen som var värd för boten och en ansluten kanal för att dela dess skapelser har också tagits bort.

I juni 2019, Vice avslöjade existensen av en störande app som använde AI för att klä av kvinnor. Kallas DeepNude, det gjorde det möjligt för användare att ladda upp ett foto av en klädd kvinna för $50 och få tillbaka ett foto av henne till synes naken. I själva verket använde programvaran generativa motstridiga nätverk, algoritmen bakom deepfakes, för att byta ut kvinnors kläder mot mycket realistiska nakna kroppar. Ju mer lättklädd offret är, desto bättre. Det fungerade inte på män.

Inom 24 timmar hade Vice-artikeln inspirerat till en sådan motreaktion att skaparna av appen snabbt tog ner den . DeepNude Twitter-kontot meddelade att inga andra versioner skulle släppas, och ingen annan skulle få tillgång till tekniken.

Men a ny utredning från Sensity AI (tidigare Deeptrace Labs), ett cybersäkerhetsföretag fokuserat på att upptäcka missbruk av manipulerade medier, har nu hittat mycket liknande teknik som används av en allmänt tillgänglig bot på meddelandeappen Telegram. Den här gången har det ett ännu enklare användargränssnitt: vem som helst kan skicka boten ett foto via Telegrams mobil- eller webbapp och få en naken tillbaka inom några minuter. Tjänsten är också helt gratis, även om användare kan betala en bas på 100 rubel (cirka $1,50) för förmåner som att ta bort vattenstämpeln på de avskalade fotona eller hoppa över bearbetningskön.

Från och med juli 2020 hade boten redan använts för att rikta in sig på och ta bort minst 100 000 kvinnor, av vilka majoriteten troligen inte hade någon aning. Vanligtvis är det unga flickor, säger Giorgio Patrini, VD och chefsforskare för Sensity, som var medförfattare till rapporten. Tyvärr är det ibland också ganska uppenbart att vissa av dessa människor är minderåriga.

Trakasseringens gamification

Deepfake-boten, som lanserades den 11 juli 2019, är ansluten till sju Telegram-kanaler med totalt över 100 000 medlemmar. (Detta nummer tar inte hänsyn till dubbletter av medlemskap över kanaler, men huvudgruppen har bara mer än 45 000 unika medlemmar.)

Den centrala kanalen är dedikerad till att vara värd för själva boten, medan de andra används för funktioner som teknisk support och bilddelning. Bilddelningskanalerna inkluderar gränssnitt som människor kan använda för att lägga upp och bedöma sina nakenskapelser. Ju mer ett foto blir omtyckt, desto mer belönas dess skapare med tokens för att få tillgång till botens premiumfunktioner. Skaparen kommer att få ett incitament som om han spelar ett spel, säger Patrini.

Gemenskapen, som är lätt att upptäcka via sökning och sociala medier, har stadigt ökat antalet medlemmar under det senaste året. En undersökning med 7 200 användare visade att ungefär 70 % av dem är från Ryssland eller andra rysktalande länder. Offren verkar dock komma från ett bredare antal länder, inklusive Argentina, Italien, Ryssland och USA. Majoriteten av dem är privatpersoner som botens användare säger att de känner i verkligheten eller som de hittat på Instagram. Forskarna kunde bara identifiera en liten handfull av kvinnorna och försökte kontakta dem för att förstå deras erfarenheter. Ingen av kvinnorna svarade, säger Patrini.

Forskarna nådde också ut till Telegram och till relevanta brottsbekämpande myndigheter, inklusive FBI. Telegram svarade inte på vare sig deras anteckning eller MIT Technology Reviews uppföljningsbegäran om kommentar. Patrini säger att de inte heller har sett någon påtaglig effekt på dessa samhällen sedan de kontaktade myndigheterna.

Deepfake hämndporr

Missbrukare har använt pornografiska bilder för att trakassera kvinnor under en tid. Under 2019, en studie från American Psychological Association fann att en av 12 kvinnor hamnar offer för hämndporr någon gång i livet. En studie från den australiska regeringen, som tittade på Australien, Storbritannien och Nya Zeeland, fann att förhållandet var så högt som en av tre. Deepfake hämndporr ger en helt ny dimension till trakasserierna, eftersom offren inte inser att sådana bilder finns.

Det finns också många fall där deepfakes har använts för att rikta in sig på kändisar och andra högprofilerade individer. Tekniken blev först populär i internets djupa fördjupningar som ett sätt att byta ut kändisar mot porrfilmer, och den har använts som en del av trakasseringskampanjer för att tysta kvinnliga journalister . Patrini säger att han har pratat med influencers och YouTubers, som har fått djupförfalskade pornografiska bilder av dem skickade direkt till sina sponsorer, vilket har kostat dem enorma känslomässiga och ekonomiska påfrestningar.

Patrini misstänker att dessa riktade attacker kan bli mycket värre. Han och hans forskarkollegor har redan sett tekniken utvecklas och spridas. Till exempel upptäckte de ännu ett ekosystem på över 380 sidor dedikerade till att skapa och dela explicita deepfakes på den ryska sociala medieplattformen VK. (Efter publiceringen av den här artikeln skickade en talesperson från VK ett uttalande till MIT Technology Review: 'VK tolererar inte sådant innehåll eller länkar på plattformen och blockerar gemenskaper som distribuerar dem. Vi kommer att köra en ytterligare kontroll och blockera olämpligt innehåll och samhällen.') Forskarna fann också att avklädningsalgoritmen börjar tillämpas på videor, till exempel bilder på bikinimodeller som går längs en landningsbana. Just nu måste algoritmen tillämpas bildruta för bildruta - den är väldigt rudimentär för tillfället, säger Patrini. Men jag är säker på att folk kommer att fullända det och även sätta upp en licenstjänst för det.

Tyvärr finns det fortfarande få sätt att stoppa den här typen av verksamhet – men medvetenheten om problemen växer. Företag som Facebook och Google, och forskare som producerar verktyg för skapande av deepfake, har börjat investera mer på allvar i motåtgärder som automatisk deepfake-detektering. Förra året införde också den amerikanska kongressen en ny räkning som skulle skapa en mekanism för offren att söka rättslig prövning för skada på rykte.

Under tiden, säger Patrini, kommer Sensity att fortsätta att spåra och rapportera dessa typer av skadliga deepfakes och försöka förstå mer om motivationen hos dem som skapar dem och effekterna på offrens liv. 'De uppgifter vi delar i den här rapporten är faktiskt bara toppen av isberget', säger han.

Uppdatering: Ett officiellt uttalande från den ryska sociala medieplattformen VK har lagts till i artikeln.

Dölj