211service.com
Deepfakes har fått kongressen i panik. Detta är vad den behöver göra.
En fotoillustration av president Trump, ena hälften i svartvitt och den andra hälften mycket mättad Ms. Tech; Originalfoto av WIN MCNAMEE; GETTY BILDER
Den senaste tidens snabba spridning av en manipulerad video av Nancy Pelosi har skrämt lagstiftare i Washington. Videon – redigerad för att få henne att framstå som berusad – är bara ett av ett antal exempel under det senaste året av manipulerad media som gjort det till mainstream offentlig diskurs. I januari, en annan manipulerad video riktad mot president Donald Trump slutade sändas på Seattle TV. Den här veckan laddades en AI-genererad video av Mark Zuckerberg upp på Instagram. (Facebook har lovat att inte ta ner det.)
När det amerikanska valet 2020 står för dörren, har den amerikanska kongressen blivit allt mer oroad över att den snabba och enkla förmågan att skapa media kan göra valkampanjer sårbara för utländska agenter och äventyra väljarnas förtroende.
Som svar kommer representanthuset att hålla sin första dedikerade utfrågning i morgon om deepfakes, klassen av syntetiska medier som genereras av AI. Parallellt kommer representanten Yvette Clarke att lägga fram en proposition i samma ämne. En ny forskningsrapport som släpptes av en ideell organisation denna vecka belyser också en strategi för att hantera när deepfakes och andra manipulerade medier sprider sig.
Det är inte första gången amerikanska politiker har försökt vidta åtgärder i denna fråga. I december 2018 introducerade senator Ben Sasse en annan räkning försöker förbjuda skadliga deepfakes. Senator Marco Rubio har också upprepade gånger slog larm på tekniken genom åren. Men det är första gången vi har sett en sådan samlad insats från amerikanska lagstiftare.
Den deepfake räkningen
Lagförslaget, en produkt av flera månaders diskussion med datavetare, desinformationsexperter och människorättsförespråkare, kommer att innehålla tre bestämmelser. Den första skulle kräva att företag och forskare som skapar verktyg som kan användas för att göra deepfakes automatiskt lägger till vattenstämplar till förfalskade skapelser.
Det andra skulle kräva att företag inom sociala medier bygger bättre manipulationsdetektering direkt i sina plattformar. Slutligen skulle den tredje bestämmelsen skapa sanktioner, som böter eller till och med fängelse, för att straffa förövare för att ha skapat skadliga deepfakes som skadar individer eller hotar den nationella säkerheten. I synnerhet skulle man försöka införa en ny mekanism för rättslig prövning om människors rykte skadas av syntetiska medier.
Den här frågan påverkar inte bara politiker, säger Mutale Nkonde, en stipendiat vid Data & Society Research Institute och en rådgivare för lagförslaget. Deepfake-videor är mycket mer benägna att distribueras mot kvinnor, minoriteter, människor från HBT-gemenskapen, fattiga människor. Och dessa människor kommer inte att ha resurserna att slå tillbaka mot ryktesrisker.
Målet med att införa lagförslaget är inte att passera det genom kongressen som det är, säger Nkonde. Istället är det tänkt att väcka ett mer nyanserat samtal om hur man ska hantera frågan i juridik genom att föreslå specifika rekommendationer som kan kritiseras och förfinas. Vad vi verkligen vill göra är att skriva in i kongressprotokollet tanken på att audiovisuell manipulation är oacceptabel, säger hon.
Det nuvarande tillståndet för deepfakes
Av en slump släppte den icke-vinstdrivande organisationen Witness för mänskliga rättigheter en ny forskningsrapport denna vecka dokumenterar det nuvarande tillståndet för deepfake-teknik. Deepfakes är för närvarande inte mainstream: de kräver fortfarande specialiserade färdigheter för att producera, och de lämnar ofta artefakter i videon, som glitches och pixelering, som gör förfalskningen uppenbar.
Men tekniken har avancerat i snabb takt, och mängden data som krävs för att fejka en video har minskat dramatiskt. För två veckor sedan, Samsung demonstrerade att det var möjligt att skapa en hel video av ett enda foto; denna vecka universitets- och industriforskare demonstrerade ett nytt verktyg som tillåter användare att redigera någons ord genom att skriva vad de vill att ämnet ska säga.
Det är alltså bara en tidsfråga innan deepfakes sprider sig, säger Sam Gregory, programchef för Witness. Många av de sätt som folk skulle överväga att använda djupförfalskningar – att attackera journalister, att antyda korruption av politiker, att manipulera bevis – är helt klart utvecklingar av befintliga problem, så vi bör förvänta oss att folk provar de senaste sätten att göra dessa effektivt, säger han .
Rapporten skisserar en strategi för hur man ska förbereda sig för en sådan förestående framtid. Många av rekommendationerna och mycket av de stödjande bevisen stämmer också överens med förslagen som kommer att visas i kammarens proposition.
Rapporten fann att nuvarande investeringar av forskare och teknikföretag i deepfake-generering vida överväger de i deepfake-detektering. Adobe har till exempel tagit fram många verktyg för att göra mediaändringar enklare, inklusive en ny funktion för att ta bort objekt i videor; den har dock inte gett dem en folie.
Resultatet är en bristande överensstämmelse mellan den verkliga karaktären av mediamanipulation och de tillgängliga verktygen för att bekämpa den. Om du skapar ett verktyg för syntes eller förfalskning som är sömlöst för det mänskliga ögat eller det mänskliga örat, bör du skapa verktyg som är specifikt utformade för att upptäcka den förfalskningen, säger Gregory. Frågan är hur man får verktygsmakare att rätta till den obalansen.
Liksom parlamentets lagförslag rekommenderar rapporten också att sociala medier och sökföretag gör ett bättre jobb med att integrera manipulationsdetekteringsfunktioner i sina plattformar. Facebook skulle kunna investera i detektering av objektborttagning, till exempel för att motverka Adobes funktion såväl som andra oseriösa redigeringstekniker.
Det bör sedan tydligt märka videor och bilder i användarnas nyhetsflöden för att ropa ut när de har redigerats på sätt som är osynliga för det mänskliga ögat. Google, som ett annat exempel, borde investera i omvänd videosökning för att hjälpa journalister och tittare att snabbt hitta den ursprungliga källan till ett klipp.
Bortom kongressen
Trots den nära anpassningen av rapporten till lagförslaget, varnar Gregory för att den amerikanska kongressen bör tänka två gånger om att anta lagar om deepfakes när som helst snart. Det är tidigt att reglera deepfakes och syntetiska medier, säger han, även om han gör undantag för mycket snäva tillämpningar, som att de används för att producera sexuella bilder utan samtycke. Jag tror inte att vi har en tillräckligt bra uppfattning om hur samhällen och plattformar kommer att hantera deepfakes och syntetiska medier för att sätta regler på plats, tillägger han.
Gregory oroar sig för att den aktuella diskussionen i Washington kan leda till beslut som senare får negativa återverkningar. Amerikanska regleringar kan i hög grad påverka vad andra länder gör, till exempel. Och det är lätt att se hur politikerskyddande regleringar i länder med mer auktoritära regeringar kan användas för att motivera borttagandet av allt innehåll som är kontroversiellt eller som kritiserar politiska ledare.
Nkonde håller med om att kongressen bör ta ett mätt och genomtänkt förhållningssätt till frågan, och överväga än bara dess inverkan på politiken. Jag hoppas verkligen att de kommer att prata [under utfrågningen] om hur många människor den här tekniken påverkar, säger hon, och den psykologiska effekten av att inte kunna tro på vad du kan se och höra.