En AI-app som klädde av kvinnor visar hur deepfakes skadar de mest utsatta

En bild av en kvinna med suddig kropp Ms. Tech/ Originalbild: Getty

Uppmärksamheten kring deepfakes och syntetiska medier har vuxit de senaste månaderna. Men medan samtalet i första hand har fokuserat på dess potentiella inverkan på politiken, har flera experter inom mänskliga rättigheter och teknisk etik varnat för att en annan potentiell skada har förbisetts: de möjligen förödande konsekvenserna för kvinnor och andra utsatta befolkningsgrupper som är föremål för tekniken men inte kan skydda sig själva.

Nu spelar det senaste deepfake-experimentet – en app som heter DeepNude som klädde av bilder på kvinnor – ut de där mardrömmarna. Först rapporterad av Vice , använde den generativa motståndsnätverk, eller GAN, för att byta ut kvinnors kläder mot mycket realistiska nakna kroppar. Artikeln inspirerade snabbt till en viral motreaktion och appens skapare stängde av den.

DeepNude-appen bevisar vår värsta rädsla för det unika sättet att beväpna audiovisuella verktyg mot kvinnor, säger Mutale Nkonde, en stipendiat vid Data & Society Research Institute, som gav råd om ett lagförslag som lades fram i kongressen av representanten Yvette Clarke som skulle skapa mekanismer för offer. av sådana skadliga deepfakes för att söka rättslig prövning för skada på rykte.

Appen riktade sig specifikt till kvinnor. Vice fann att programvaran bara genererade bilder av den kvinnliga kroppen, även när den fick en bild av en man. Den anonyme skaparen bekräftade att han endast hade tränat GAN-algoritmen på nakenbilder av kvinnor – i det här fallet mer än 10 000 av dem – eftersom de var lättare att hitta online. Han hade dock också för avsikt att så småningom göra en manlig version.

Även om deepfakes inte avbildade kvinnornas faktiska kroppar – de är helt syntetiserade av algoritmen – hade de fortfarande potential att orsaka betydande känslomässig skada och anseende. Bilderna kan lätt förväxlas med verkligheten och användas som hämndporr eller ett kraftfullt verktyg för att tysta kvinnor. Detta har faktiskt hänt tidigare: a kvinnlig journalist i Indien fick sitt ansikte ympat på en porrfilm efter att hon började avslöja statlig korruption. Det blev omedelbart viralt och utsatte henne för intensiva trakasserier och våldtäktshot, och hon var tvungen att gå offline i flera månader.

Deepfakes är inte ett nytt hot; manipulerad media har funnits sedan långt innan AI. Men tekniken har accelererat och breddat befintliga trender, säger Sam Gregory, programchef för människorättsorganisationen Witness. Algoritmer har gjort det mycket lättare för många fler att skapa allt mer övertygande falska medier. Allt som folk använde manipulerad media för att göra tidigare, som att attackera journalister, antyda korruption eller fördunkla bevis, kommer alltså att bli allt vanligare och farligare att upptäcka.

Appen är inte annorlunda, säger han. De bildbaserade sexuella övergreppen mot kvinnor fanns redan som ett problem. Nu lägger deepfakes bränsle till lågorna.

Med samma logik oroar sig Nkonde för att kvinnor inte kommer att vara de enda utsatta målen för deepfakes. Minoriteter, hbtq-personer och andra grupper som ofta utsätts för de mest allvarliga trakasserierna på nätet kommer sannolikt också att bli offer – om än kanske på olika sätt. Under den amerikanska presidentkampanjen 2016, till exempel, ryska agenter använde falska afroamerikanska personas och relaterade bilder som en del av en desinformationskampanj på Facebook för att öka rasspänningarna bland amerikaner.

Detta var ett nytt sätt för väljarundertryckning, och det var genom att förskingra människors identiteter online, säger Nkonde. Deepfake-teknik skulle vara ett annat naturligt verktyg för illvilliga aktörer som utger sig för att vara människor de inte är för att störa samhällen och på annat sätt orsaka skada.

Så vart går vi härifrån? Både Nkonde och Gregory har delat liknande rekommendationer med MIT Technology Review tidigare: företag och forskare som producerar verktyg för deepfakes måste också investera i motåtgärder, och sociala medier och sökföretag bör integrera dessa motåtgärder direkt i sina plattformar. Nkonde uppmanar också tillsynsmyndigheter att agera snabbt. Om inte regeringen hittar ett sätt att skydda konsumenternas rättigheter kommer appar som denna att spridas, säger hon.

Tekniken är inte neutral, säger Gregory. Denna [DeepNude]-app har inte dubbel användning. Det är engångsbruk för ett skadligt syfte, och det skapas amoraliskt.

Vi måste verkligen fokusera på etiken i att skapa och dela generativa medieverktyg, tillägger han. Vi bör upprepade gånger påpeka detta.

Dölj