Denna algoritm upptäcker automatiskt ansiktsbyten i videor

Möjligheten att ta en persons ansikte eller uttryck och lägga över det på en video av en annan person har nyligen blivit möjlig. I synnerhet har pornografiska videor som kallas deepfakes dykt upp på webbplatser som Reddit och 4Chan som visar kända personers ansikten överlagrade på skådespelarnas kroppar.

Detta fenomen har betydande konsekvenser. Åtminstone har det potential att undergräva ryktet för människor som är offer för denna typ av förfalskning. Det ställer till problem för biometriska ID-system. Och det hotar att undergräva allmänhetens förtroende för videor av alla slag.

Så ett snabbt och korrekt sätt att upptäcka dessa videor är ett desperat behov.

Vilka av dessa bildpar är förfalskningar? Svara nedan.

Ange Andreas Rossler vid Tekniska universitetet i München i Tyskland och kollegor, som har utvecklat ett djupinlärningssystem som automatiskt kan se videor med ansiktsbyte. Den nya tekniken kan hjälpa till att identifiera förfalskade videor när de läggs upp på webben.

Men verket har också sting i svansen. Samma djupinlärningsteknik som kan upptäcka videor med ansiktsbyte kan också användas för att förbättra kvaliteten på ansiktsbyten i första hand – och det kan göra dem svårare att upptäcka.

Den nya tekniken bygger på en djupinlärningsalgoritm som Rossler och co har tränat för att upptäcka ansiktsbyten. Dessa algoritmer kan bara lära sig av enorma kommenterade datamängder med bra exempel, som helt enkelt inte har funnits förrän nu.

Så teamet började med att skapa en stor datamängd med videor med ansiktsbyte och deras original. De använder två typer av ansiktsbyten som enkelt kan göras med programvara som heter Face2Face. (Denna programvara skapades av några medlemmar i detta team.)

Den första typen av ansiktsbyte lägger en persons ansikte ovanpå en annans kropp så att den tar på sig deras uttryck. Den andra tar uttrycken från ett ansikte och modifierar ett andra ansikte för att visa dem.

Teamet har gjort detta med över 1 000 videor och skapat en databas med cirka en halv miljon bilder där ansiktena har manipulerats med toppmodern ansiktsredigeringsprogram. De kallade detta FaceForensics-databasen.

Storleken på denna databas är en betydande förbättring jämfört med vad som tidigare varit tillgängligt. Vi introducerar en ny datamängd av manipulerade videor som överstiger alla befintliga allmänt tillgängliga kriminaltekniska datauppsättningar i storleksordningar, säger Rossler och co.

Därefter använder teamet databasen för att träna en djupinlärningsalgoritm för att känna igen skillnaden mellan ansiktsbyten och deras oförfalskade original. De kallar den resulterande algoritmen XceptionNet.

Slutligen jämför de det nya tillvägagångssättet med andra förfalskningsdetekteringstekniker.

Resultaten är imponerande. XceptionNet överträffar klart andra tekniker för att upptäcka videor som har manipulerats, även när videorna har komprimerats, vilket gör uppgiften betydligt svårare. Vi sätter en stark baslinje för resultat för att upptäcka en ansiktsmanipulation med moderna djupinlärningsarkitekturer, säger Rossler och co.

Det borde göra det lättare att upptäcka förfalskade videor när de laddas upp på webben. Men teamet är väl medvetna om katt-och-råtta-karaktären av förfalskningsdetektering: så fort en ny upptäcktsteknik dyker upp börjar loppet hitta ett sätt att lura den.

Rossler och co har ett naturligt försprång sedan de utvecklade XceptionNet. Så de använder den för att upptäcka tecken på att en video har manipulerats och använder sedan denna information för att förfina förfalskningen, vilket gör det ännu svårare att upptäcka.

Det visar sig att denna process förbättrar den visuella kvaliteten på förfalskningen men inte har någon större effekt på XceptionNets förmåga att upptäcka den. Vår raffinör förbättrar huvudsakligen den visuella kvaliteten, men det hindrar bara något förfalskningsdetektering för djupinlärningsmetod som tränas exakt på de förfalskade utdata, säger de.

Det är intressant arbete eftersom det introducerar ett helt nytt sätt att förbättra processen för bildmanipulation. Vi tror att detta samspel mellan manipulering och upptäckt är en oerhört spännande väg för uppföljningsarbete, säger de.

Ref: arxiv.org/abs/1803.09179 : FaceForensics: En storskalig videodatauppsättning för förfalskningsdetektering i mänskliga ansikten

Svar: Den övre bilden i varje par är verklig.

Dölj