Deepfake Amazon-arbetare sår förvirring på Twitter. Det är inte problemet.

En banderoll som uppmuntrar arbetare att rösta i arbetsomröstning visas på ett lager i Amazonas i Bessemer, Alabama. AP

Nyheterna: Inför en omröstning som kan leda till bildandet av den första fackföreningen någonsin på ett USA-baserat Amazon-lager, började nya Twitter-konton som påstods vara Amazon-anställda att dyka upp. Profilerna använde deepfake-foton som profilbilder och twittrade några ganska skrattretande, överdrivna försvar av Amazons arbetsmetoder. De verkade inte verkliga, men de ledde ändå till förvirring bland allmänheten. Var Amazon verkligen bakom dem? Var detta någon fruktansvärd ny antifacklig strategi för sociala medier? Svaret är nästan säkert inte – men användningen av deepfakes i detta sammanhang pekar på en mer oroande trend överlag.

Bakgrundshistorien: Det finns en anledning till att dessa nya deepfake-profiler verkade bekanta. 2018 började Amazon ett väldigt verkligt program för att övertyga allmänheten om att den behandlade sina lagerarbetare bra. Den satte upp datorstationer i dessa lager och skapade Twitter-konton för en liten grupp anställda, känd som Amazon FC Ambassadors, som kunde twittra under betalda timmar om hur mycket de älskade sitt jobb. Planen slog tillbaka och ledde till skapandet av många parodi på ambassadörskonton på Twitter. Amazon minskade programmet kort efter, och många av de ursprungliga riktiga kontona stängdes av eller stängdes av, säger Aric Toler, chef för utbildnings- och forskningsinsatser för den undersökande journalistiksajten Bellingcat.

Det senaste: På måndagen dök det nya partiet av ambassadörskonton upp - eller åtminstone, så verkade det. Men när folk började undersöka var det många spetsig ut att vissa hade profilbilder med tecken på djupt falska ansikten, som skeva örhängen och suddig bakgrund. Det var då saker och ting blev förvirrande.

Folk fastnade snabbt för tanken att Amazon själv låg bakom de nya deepfake-kontona som en del av en antifacklig social mediakampanj. Företaget berättade senare New York Times reporter Karen Wise att det inte var det. Toler, som spårade de ursprungliga kontona, tror att Amazon talar sanning. De ursprungliga ambassadörskontona registrerades alla under Amazons e-postadresser och publicerades med Sprinklr. De nya deepfake-kontona, som sedan dess har stängts av, var registrerad med Gmail och publiceras via Twitters webbapp. Dessutom var innehållet i tweetarna tydligt avsett att vara humoristiskt. Dessa konton var förmodligen bara mer parodier skapade för att håna Amazon.

Spelar detta någon roll? I det här speciella fallet förmodligen inte. Det är förstås ganska ofarligt, säger Toler. Det är Amazon. De mår bra. Men det avslöjar ett mer angeläget problem: att deepfake-konton kan distribueras på ett samordnat sätt på sociala medier eller någon annanstans för mycket mer olycksbådande syften. Den mest skadliga versionen av detta skulle vara statliga aktörer, varnar Toler.

Relaterad berättelse

Den tvååriga kampen för att stoppa Amazon från att sälja ansiktsigenkänning till polisen Veckans drag från Amazon, Microsoft och IBM markerar en viktig milstolpe för forskare och medborgarrättsförespråkare i en lång och pågående kamp om ansiktsigenkänning inom brottsbekämpning.

Faktum är att det redan har funnits flera högprofilerade fall där djupfalska bilder har använts i skadliga desinformationskampanjer. I december 2019 identifierade och tog Facebook ned ett nätverk av över 900 sidor, grupper och konton , inklusive några med djupförfalskade profilbilder, associerade med det högerextrema magasinet Epoch Times, som är känt för att engagera sig i desinformationstaktik. I oktober 2020 skrevs ett falskt underrättelsedokument som distribuerades bland president Trumps kretsar, som blev grunden för många konspirationsteorier kring Hunter Biden, också av en falsk säkerhetsanalytiker med en djupförfalskad profilbild .

Toler säger att djupfalska ansikten har blivit en trend i hans arbete som en öppen källkodsutredare av misstänkt onlineaktivitet, särskilt sedan lanseringen av ThisPersonDoesNotExist.com, en webbplats som serverar ett nytt AI-genererat ansikte vid varje uppdatering. Det finns alltid en mental checklista som du går igenom när du hittar något, säger han. Den första frågan är ’Är den här personen verklig eller inte?’ Vilket var en fråga vi egentligen inte hade för fem år sedan.

Hur stort hot är detta? För tillfället, säger Toler, har användningen av deepfake ansikten inte haft någon stor inverkan på hans arbete. Det är fortfarande relativt lätt för honom att identifiera när en profilbild är en deepfake, precis som det är när bilden är en stockbild. Det svåraste scenariot är när bilden är av en riktig person hämtad från ett privat socialt mediekonto som inte är indexerat på bildsökmotorer.

En växande medvetenhet om djupförfalskningar har också fått människor att granska media de ser mer noggrant, säger Toler, vilket framgår av hur snabbt människor fångade på falska Amazon-konton.

Men Sam Gregory, programchef för människorättsorganisationen Witness, säger att detta inte borde invagga oss i en falsk känsla av säkerhet. Deepfakes blir ständigt bättre, säger han: Jag tror att folk har lite för mycket förtroende för att det alltid kommer att vara möjligt att upptäcka dem.

En hypermedvetenhet om deepfakes kan också leda människor till sluta tro på riktig media , vilket kan få lika fruktansvärda konsekvenser, som att undergräva dokumentationen av kränkningar av mänskliga rättigheter.

Vad ska vi göra? Gregory uppmuntrar användare av sociala medier att undvika att fixera om en bild är en deepfake eller inte. Ofta är det bara en liten del av pusslet, säger han. Givet är inte att du på något sätt har förhört bilden. Det är att du tittar på kontot och det skapades för en vecka sedan, eller så är det en journalist som påstår sig vara journalist, men de har aldrig skrivit något annat som du kunde hitta på en Google-sökning.

Dessa undersökande taktiker är mycket mer robusta mot framsteg inom deepfake-teknik. Råden gäller även för Amazon-fallet. Det var genom att kontrollera kontonas e-postmeddelanden och tweetdetaljer som Toler slutligen fastställde att de var falska – inte genom att granska profilbilderna.

Dölj