Världens främsta deepfake-artist brottas med monstret han skapade

Det är juni i Dalian, Kina, en stad på en halvö som sticker ut i Gula havet några hundra mil från Peking i ena riktningen och från den nordkoreanska gränsen i den andra. Hao Li står inne i en hålig, kantig byggnad som lätt kan vara en Bondskurks lya. Utanför är vädret blåsigt och säkerheten är hårt. World Economic Forums årliga konferens är i stan.

Nära Li turas politiker och vd:ar från hela världen om att kliva in i en monter. Inuti skrattar de när deras ansikte förvandlas till en känd persons ansikte: Bruce Lee, Neil Armstrong eller Audrey Hepburn. Tricket sker i realtid, och det fungerar nästan felfritt.

Den anmärkningsvärda ansiktsbytemaskinen sattes inte bara upp för att avleda och roa världens rika och mäktiga. Li vill att dessa mäktiga människor ska överväga konsekvenserna som videor bearbetade med AI – djupförfalskningar – kan få för dem och för oss andra.

Desinformation har länge varit ett populärt verktyg för geopolitiskt sabotage, men sociala medier har injicerat raketbränsle i spridningen av falska nyheter. När falska videofilmer är lika lätta att göra som falska nyhetsartiklar, är det en virtuell garanti för att det kommer att vapeniseras. Vill du påverka ett val, förstöra en fiendes karriär och rykte eller utlösa etniskt våld? Det är svårt att föreställa sig ett mer effektivt fordon än ett klipp som utseende autentiska, sprider sig som en löpeld via Facebook, WhatsApp eller Twitter, snabbare än folk kan komma på att de har blivit lurade.

Som en pionjär inom digital fejk oroar Li att deepfakes bara är början. Trots att han hjälpt till att inleda en tid då man inte alltid kan lita på våra ögon, vill han använda sina färdigheter för att göra något åt ​​det hotande problemet med allestädes närvarande, nästan perfekt videobedrägeri.

Frågan är om det redan är för sent?

Att skriva om verkligheten

Li är inte din typiska deepfaker. Han lurar inte på Reddit postar falsk porr eller ominspelningar av kända filmer modifierad till stjärnan Nicolas Cage . Han har ägnat sin karriär åt att utveckla banbrytande tekniker för att skapa ansikten lättare och mer övertygande. Han har också bråkat med några av de mest kända ansiktena i världen för moderna storfilmer, och lurat miljontals människor att tro på ett leende eller en blinkning som faktiskt aldrig fanns där. När han pratade över Skype från sitt kontor i Los Angeles en eftermiddag nämner han nonchalant att Will Smith nyligen stannade till för en film han jobbar på.

Skådespelare kommer ofta till Lis labb vid University of Southern California (USC) för att få sin likhet digitalt skannad. De är placerade inuti en sfärisk uppsättning av ljus och maskinseende kameror för att fånga formen på deras ansikte, ansiktsuttryck och hudton och textur ner till nivån för individuella porer. Ett specialeffektteam som arbetar på en film kan sedan manipulera scener som redan har spelats in, eller till och med lägga till en skådespelare till en ny i efterproduktion.

Med tillstånd av Hao Li

Sådant digitalt bedrägeri är nu vanligt i filmer med stor budget. Bakgrunder renderas ofta digitalt, och det är vanligt att en skådespelares ansikte klistras på en stuntpersons i en actionscen. Det har lett till några hisnande ögonblick för biobesökare, som när en tonårsprinsessan Leia kort dök upp i slutet av Rogue One: A Star Wars Story , även om skådespelerskan som hade spelat Leia, Carrie Fisher, var nästan 60 när filmen spelades in.

Att få dessa effekter att se bra ut kräver normalt betydande expertis och miljontals dollar. Men tack vare framstegen inom artificiell intelligens är det nu nästan trivialt att byta två ansikten i en video, utan att använda något kraftfullare än en bärbar dator. Med lite extra kunskap kan du få en politiker, en VD eller en personlig fiende att säga eller göra vad du vill (som i videon högst upp i historien, där Li kartlade Elon Musks likhet på mitt ansikte).

En historia av knep

Personligen ser Li mer cyberpunk ut än Sunset Strip. Hans hår är rakat till en Mohawk som faller ner på ena sidan, och han bär ofta en svart T-shirt och skinnjacka. När han pratar har han en udda vana att blinka på ett sätt som avslöjar sena nätter tillbringade i det varma skenet från en datorskärm. Han är inte blyg för att nämna briljansen i sin teknik, eller vad han har på gång. Under samtalen gillar han att piska fram en smartphone för att visa dig något nytt.

Med tillstånd av Hao Li

Li växte upp i Saarbrücken, Tyskland, son till taiwanesiska invandrare. Han gick på en fransk-tysk gymnasieskola och lärde sig tala fyra språk flytande (franska, tyska, engelska och mandarin). Han minns ögonblicket då han bestämde sig för att ägna sin tid åt att sudda ut gränsen mellan verklighet och fantasi. Det var 1993, när han såg ett enormt dinosaurievirke i sikte i Steven Spielbergs Jurassic park . När skådespelarna stirrade på den datorgenererade besten, fattade Li, då 12, vad teknologin just hade gjort möjligt. Jag insåg att man nu i princip kan skapa vad som helst, även saker som inte ens existerar, minns han.

Li tog sin doktorsexamen vid ETH Zürich, ett prestigefyllt tekniskt universitet i Schweiz, där en av hans rådgivare minns honom som både en lysande student och en oförbätterlig skojare. Videor som åtföljde akademiska uppsatser innehöll ibland mindre än smickrande karikatyrer av hans lärare.

Paul Walkers bröder gav en mall för hans digitala likhet i Furious 7. Weta Digital

Kort efter att han gick med i USC skapade Li ansiktsspårningsteknik som användes för att göra en digital version av den bortgångne skådespelaren Paul Walker för actionfilmen Furious 7 . Det var en stor bedrift, eftersom Walker, som dog i en bilolycka halvvägs genom fotograferingen, inte hade skannats i förväg och hans karaktär behövde dyka upp i så många scener. Lis teknologi användes för att klistra in Walkers ansikte på hans två bröders kroppar, som turades om att agera i hans ställe i mer än 200 scener.

Filmen, som samlade in 1,5 miljarder dollar i biljettkassan, var den första som var så starkt beroende av en digitalt återskapad stjärna. Li nämner Walkers virtuella roll när han pratar om hur bra videoknep håller på att bli. Inte ens jag kan säga vilka som är falska, säger han med en skakning på huvudet.

Praktiskt taget du

År 2009, mindre än ett decennium innan deepfakes dök upp, utvecklade Li ett sätt att fånga en persons ansikte i realtid och använda det för att styra en virtuell docka. Detta innebar att man använde de senaste djupsensorerna och ny programvara för att kartlägga det ansiktet och dess uttryck till en mask gjord av deformerbart virtuellt material.

Ett exempel på markörbaserad ansiktsspårning. Faceware-teknik

Det viktigaste är att tillvägagångssättet fungerade utan att behöva lägga till dussintals rörelsespårningsmarkörer i en persons ansikte, en standardteknik för att spåra ansiktsrörelser. Li bidrog till utvecklingen av mjukvara kallad Faceshift, som senare skulle kommersialiseras som en universitetsspinoff. Företaget köptes upp av Apple 2015, och dess teknologi användes för att skapa Animoji-mjukvaran som låter dig förvandla dig själv till en enhörning eller en talande hög med bajs på de senaste iPhones.

Li och hans elever har publicerat dussintals artiklar om sådana ämnen som avatarer som speglar hela kroppens rörelser, mycket realistiskt virtuellt hår och simulerad hud som sträcker sig som verklig hud gör. Under de senaste åren har hans grupp dragit nytta av framsteg inom maskininlärning och särskilt djupinlärning, ett sätt att träna datorer att göra saker med hjälp av ett stort simulerat neuralt nätverk. Hans forskning har också tillämpats på medicin, hjälpt till att utveckla sätt att spåra tumörer inuti kroppen och modellera egenskaperna hos ben och vävnad.

Idag delar Li sin tid mellan att undervisa, konsultera för filmstudior och driva en ny startup, Pinscreen. Företaget använder mer avancerad AI än vad som ligger bakom deepfakes för att skapa virtuella avatarer. Dess app förvandlar ett enda foto till en fotorealistisk 3D-avatar på några sekunder. Den använder maskininlärningsalgoritmer som har tränats för att kartlägga utseendet på ett ansikte på en 3D-modell med hjälp av tusentals stillbilder och motsvarande 3D-skanningar. Processen förbättras med hjälp av så kallade generativa kontradiktoriska nätverk, eller GAN (som inte används för de flesta deepfakes). Detta innebär att en algoritm producerar falska bilder medan en annan bedömer om de är falska, en process som gradvis förbättrar falskheten. Du kan låta din avatar utföra fåniga danser och prova olika outfits, och du kan styra avatarens ansiktsuttryck i realtid med ditt eget ansikte via kameran på din smartphone.

En före detta anställd, Iman Sadeghi, stämmer Pinscreen och påstår att den förfalskade en presentation av tekniken vid SIGGRAPH-konferensen 2017. MIT Technology Review har sett brev från flera experter och SIGGRAPH-arrangörer som avvisar dessa påståenden.

Pinscreen samarbetar med flera stora klädhandlare som ser dess teknologi som ett sätt att låta människor prova plagg utan att behöva besöka en fysisk butik. Tekniken kan också vara stor för videokonferenser, virtuell verklighet och spel. Föreställ dig bara en Fortnite-karaktär som inte bara ser ut som dig, utan också skrattar och dansar på samma sätt.

Avatarer skapade med Pin Screen-appen. Med tillstånd av Hao Li

Under den digitala enfalden finns dock en viktig trend: AI gör snabbt avancerad bildmanipulation till smarttelefonens provins snarare än skrivbordet. FaceApp , utvecklat av ett företag i Sankt Petersburg, Ryssland, har dragit miljontals användare, och nyligen kontroverser, genom att erbjuda ett ett-klicks sätt att ändra ett ansikte på din telefon. Du kan lägga till ett leende på ett foto, ta bort fläckar eller bråka med din ålder eller kön (eller någon annans). Dussintals fler appar erbjuder liknande manipulationer genom att klicka på en knapp.

Alla är inte entusiastiska över möjligheten att denna teknik kommer att bli allestädes närvarande. Li och andra försöker i princip göra enbilds-, mobil- och realtidsdeepfakes, säger Sam Gregory, chef för Witness, en ideell organisation fokuserad på video och mänskliga rättigheter. Det är den hotnivå som oroar mig när det [blir] något som är mindre lätt att kontrollera och mer tillgängligt för en rad aktörer.

Lyckligtvis ser de flesta deepfakes fortfarande lite off. Ett flimrande ansikte, ett knasigt öga eller en udda hudton gör dem lätta nog att upptäcka. Men precis som en expert kan ta bort sådana brister, lovar framsteg inom AI att jämna ut dem automatiskt, vilket gör de falska videorna både enklare att skapa och svårare att upptäcka.

Även när Li tävlar framåt med digitala fejk, är han också bekymrad över risken för skada. Vi sitter framför ett problem, säger han.

Fånga bedragare

Amerikanska politiker är särskilt oroade över hur deepfakes kan användas för att sprida mer övertygande falska nyheter och desinformation inför nästa års presidentval. Tidigare denna månad frågade House Intelligence Committee Facebook, Google och Twitter hur de planerade att hantera hotet om deepfakes. Varje företag sa att de arbetade med problemet, men inget erbjöd en lösning.

DARPA, den amerikanska militärens välfinansierade forskningsbyrå, är också orolig över ökningen av digital manipulation. 2016, innan deepfakes blev en sak, lanserade DARPA ett program som heter Media Forensics, eller MediFor, för att uppmuntra digitala forensicsexperter att utveckla automatiserade verktyg för att fånga manipulerade bilder. En mänsklig expert kan använda en rad olika metoder för att upptäcka fotografiska förfalskningar, från att analysera inkonsekvenser i en fils data eller egenskaperna hos specifika pixlar till att leta efter fysiska inkonsekvenser som en felplacerad skugga eller en osannolik vinkel.

MediFor är nu till stor del inriktat på att upptäcka deepfakes. Detektering är i grunden svårare än att skapa eftersom AI-algoritmer kan lära sig att dölja saker som ger bort förfalskningar. Tidiga deepfake-detekteringsmetoder inkluderar spårning av onaturliga blinkningar och konstiga läpprörelser. Men de senaste deepfakes har redan lärt sig att automatiskt jämna ut sådana fel.

Tidigare i år bad Matt Turek, DARPA-programledare för MediFor, Li att visa sina förfalskningar för MediFor-forskarna. Detta ledde till ett samarbete med Hany Farid, professor vid UC Berkeley och en av världens främsta myndigheter inom digital forensics. Paret är nu engagerade i ett digitalt katt-och-mus-spel, där Li utvecklar djupa förfalskningar som Farid kan fånga och sedan förfinar dem för att undvika upptäckt.

Farid, Li och andra nyligen släppt ett papper beskriver ett nytt, kraftfullare sätt att upptäcka deepfakes. Det handlar om att träna en maskininlärningsalgoritm för att känna igen egenskaperna hos en specifik individs ansiktsuttryck och huvudrörelser. Om du helt enkelt klistrar in någons likhet på ett annat ansikte, kommer dessa funktioner inte att överföras. Det skulle kräva mycket datorkraft och träningsdata – det vill säga bilder eller video av personen – för att göra en deepfake som innehåller dessa egenskaper. Men en dag kommer det att vara möjligt. Tekniska lösningar kommer att fortsätta att förbättras på den defensiva sidan, säger Turek. Men blir det perfekt? Jag tvivlar på det.

Pixel perfekt

Tillbaka i Dalian är det tydligt att folk börjar vakna upp till faran med deepfakes. Morgonen innan jag träffade Li hade en europeisk politiker klev in i båset för att byta ansikten, bara för att hans skötare skulle stoppa honom. De var oroliga att systemet kunde fånga hans likhet i detalj, vilket gör det lättare för någon att skapa falska klipp av honom.

En Pinscreen-anställd demonstrerar ett live-face-swap-system vid World Economic Forums konferens i Dalian, Kina i juli. Med tillstånd av Hao Li

När han tittar på människor som använder montern säger Li till mig att det inte finns någon teknisk anledning till att djupförfalskningar ska kunna upptäckas. Videor är bara pixlar med ett visst färgvärde, säger han.

Att göra dem perfekta är bara en fråga om tid och resurser, och som hans samarbete med Farid visar, blir det enklare hela tiden. Vi bevittnar en kapprustning mellan digitala manipulationer och förmågan att upptäcka dem, säger han, med framsteg av AI-baserade algoritmer som katalyserar båda sidor.

De dåliga nyheterna, tror Li, är att han så småningom kommer att vinna. Om några år, tror han, skulle oupptäckbara deepfakes kunna skapas med ett klick. När den punkten kommer, säger han, måste vi vara medvetna om att inte varje video vi ser är sann.

Dölj