Facebook gör sina egna AI deepfakes för att avvärja en desinformationskatastrof

Sida vid sida bilder av originalvideo och deepfake. Facebook

Facebook fruktar att AI-genererade deepfake-videor kan bli nästa stora källa till viral desinformation – spridning bland dess användare med potentiellt katastrofala konsekvenser för nästa amerikanska presidentval.

Dess lösning? Att göra massor av egna djupförfalskningar för att hjälpa forskare att bygga och förfina detekteringsverktyg.

Facebook har gett sitt team av AI-forskare i uppdrag att producera ett antal mycket realistiska falska videor med skådespelare som gör och säger rutinmässiga saker. Dessa klipp kommer att fungera som en datamängd för testning och benchmarking av verktyg för deepfake-detektion. Facebook deepfakes kommer att släppas vid en stor AI-konferens i slutet av året.

Ökningen av deepfakes har drivits av de senaste framstegen inom maskininlärning. Det har länge varit möjligt för filmstudior att manipulera bilder och video med programvara och datorer, och algoritmer som kan fånga och återskapa en persons likhet har redan använts för att göra peka-och-klicka-verktyg för att klistra in en persons ansikte på någon annan .

Det finns metoder för att upptäcka förfalskade medier, men de involverar ofta noggranna expertanalyser. Verktyg för att automatiskt fånga deepfakes har precis dykt upp.

Facebooks CTO, Mike Schroepfer, säger att djupförfalskningar går snabbt framåt, så det är viktigt att ta fram mycket bättre sätt att flagga eller blockera potentiella förfalskningar.

Vi har inte sett detta som ett stort problem på våra plattformar än, men mitt antagande är att om du ökar åtkomsten – gör det billigare, enklare, snabbare att bygga dessa saker – ökar det helt klart risken att folk kommer att använda detta på något skadligt sätt, Schroepfer , som står i spetsen för initiativet, sa i går kväll. Jag vill inte vara i en situation där detta är ett enormt problem och vi har inte investerat stora belopp i FoU.

När man jämför ansträngningen med kampen mot skräppost, sa Schroepfer att Facebook kanske inte kan fånga de mest sofistikerade förfalskningarna. Vi ska fånga de uppenbara, sa han. Men han sa att Facebook inte använder några metoder ännu eftersom förfalskningarna förbättras så snabbt.

Det sociala nätverket kommer att dedikera 10 miljoner dollar för att finansiera detektionstekniken genom bidrag och utmaningspriser. Tillsammans med Microsoft Partnerskap om AI , och akademiker från institutioner inklusive MIT, UC Berkeley och Oxford University, lanserar företaget Deepfake Detection Challenge , som kommer att erbjuda ospecificerade kontantbelöningar för de bästa upptäcktsmetoderna.

Att göra en deepfake kräver vanligtvis två videoklipp. Algoritmer lär sig utseendet på varje ansikte för att klistra in det ena på det andra samtidigt som de behåller varje leende, blinkning och nick. Olika AI-tekniker kan också användas för att återskapa en specifik persons röst. Termen deepfake är hämtad från en Reddit-användare som släppte ett sådant verktyg 2017. Det syftar på deep learning, AI-tekniken som används.

En av de stora bekymmerna är att deepfakes kan användas för att sprida mycket smittsam desinformation under nästa års amerikanska val, kanske till och med påverka resultatet. Flera amerikanska senatorer har slagit larm om hotet och Ben Sasse (R–Nebraska) lade fram ett lagförslag för att göra det olagligt att skapa eller distribuera deepfakes med uppsåt. En nyligen rapportera om valdesinformation från NYU identifierar deepfakes som en av flera viktiga utmaningar för valet 2020.

Manipulerade videor sprids redan på sociala plattformar, faktiskt. Tidigare i år spreds ett klipp som såg ut att visa Nancy Pelosi sluddriga sitt tal (som helt enkelt gjordes genom att sakta ner inspelningen) snabbt över Facebook. Företaget vägrade att ta bort det inlägget eller en djupförfalskning av Mark Zuckerberg, och valde istället att flagga klippen som falska med faktakontrollerande organisationer.

Det är vettigt för Facebook att försöka komma ur frågan, särskilt efter nedfallet från det senaste presidentvalet. När detaljer om politiska desinformationskampanjer dök upp, mötte Facebook intensiv kritik för att tillåta sådan propaganda att spridas.

Att främja deepfake-utmaningen kan dock få oavsiktliga konsekvenser. Henry Ajder, analytiker på Deeptrace, ett holländskt företag som arbetar med verktyg för att upptäcka förfalskade klipp, noterar att berättelsen kring deepfakes kan erbjuda ett sätt för politiker att undvika ansvar genom att hävda att verklig information har förfalskats (se Fake America great igen ). Bara tanken på deepfakes skapar redan många problem, säger Ajder. Det är ett virus i den politiska sfären som har infekterat medvetandet hos politiker och medborgare.

Dessutom, trots larmet, tvivlar Ajder, som spårar deepfakes i det vilda, på att tekniken kommer att vara beväpnad för politiska syften under en tid. Han tror att det mer omedelbart kommer att bli ett kraftfullt verktyg för cyberstalking och mobbning.

Det finns redan några få metoder för att upptäcka deepfakes. Enkla tekniker involverar att analysera data i en videofil eller leta efter tydliga munrörelser och blinkande, vilket är svårare för en algoritm att fånga och återskapa.

En metod som nyligen utvecklats av en grupp ledande experter innebär att man tränar en algoritm för djupinlärning för att känna igen det specifika sättet en persons huvud rör sig på, eftersom detta inte är något som algoritmer vanligtvis lär sig.

Detta tillvägagångssätt kom till genom ytterligare ett försök att utveckla detektionsverktyg, som finansieras av Defense Advanced Research Projects Agency (DARPA).

Många experter har blivit förvånade och oroade över den hastighet med vilken AI-förfalskningar fortskrider. Bara den här veckan väckte en kinesisk app som heter Zao debatt genom att publicera djupfalska videor som förmodligen skapats från en stillbild. Hao Li , en konstnär för visuella effekter och en docent vid University of Southern California, har varnat för att det kan vara möjligt att massproducera oupptäckbara deepfakes inom kort (se Världens främsta deepfake-artist brottas med monstret han skapade).

Dölj