Inuti den märkliga nya världen av att vara en deepfake skådespelare

Panetta och Bourgogne

2019 började två multimediakonstnärer, Francesca Panetta och Halsey Burgund, att driva en provocerande idé. Deepfake video och ljud hade utvecklats parallellt men hade ännu inte integrerats i en komplett upplevelse. Kunde de göra det på ett sätt som visade teknikens fulla potential samtidigt som de utbildade människor om hur den kan missbrukas?

För att väcka experimentet till liv valde de ett lika provocerande ämne: de skulle skapa ett alternativ historia av Apollo-månlandningen 1969 . Före lanseringen hade USA:s president Richard Nixons talskrivare förberett två versioner av hans nationella tal – en utsedd I händelse av månkatastrof , om saker och ting inte skulle gå som planerat. Den riktiga Nixon behövde lyckligtvis aldrig leverera den. Men en deepfake Nixon kunde.

Så Panetta, den kreativa chefen vid MIT:s Center for Virtuality, och Burgund, en stipendiat vid MIT Open Documentary Lab, samarbetade med två AI-företag. Canny AI skulle hantera deepfake-videon, och Respeecher skulle förbereda deepfake-ljudet. Med alla tekniska komponenter på plats behövde de bara en sista sak: en skådespelare som skulle stå för föreställningen.

Vi behövde hitta någon som var villig att göra det här, för det är lite konstigt att fråga, säger Burgund. Någon som var mer flexibel i sina tankar om vad en skådespelare är och gör.

Medan deepfakes nu har funnits i ett antal år, är deepfake casting och skådespeleri relativt nytt. Tidiga deepfake-teknologier var inte särskilt bra, användes främst i mörka hörn av internet för att byta ut kändisar till porrfilmer utan deras medgivande. Men eftersom deepfakes har blivit allt mer realistiska, har fler och fler artister och filmskapare börjat använda dem i sändningskvalitetsproduktioner och TV-reklam. Det innebär att anställa riktiga skådespelare för en eller annan aspekt av föreställningen. Vissa jobb kräver att en skådespelare tillhandahåller basfilmer; andra behöver en röst.

För skådespelare öppnar det upp för spännande kreativa och professionella möjligheter. Men det väcker också en mängd etiska frågor. Det här är så nytt att det inte finns någon riktig process eller något liknande, säger Burgund. Jag menar, vi bara hittade på saker och tjafsade omkring.

Vill du bli Nixon?

Det första Panetta och Burgund gjorde var att fråga båda företagen vilken typ av skådespelare de behövde för att få deepfakes att fungera. Det var intressant inte bara vad som var de viktiga kriterierna utan också vad var det inte , säger Burgundy.

För det visuella är Canny AI specialiserad på videodialogersättning, som använder en skådespelares munrörelser för att manipulera någon annans mun i befintliga filmer. Skådespelaren fungerar med andra ord som en dockspelare, som aldrig syns i slutprodukten. Personens utseende, kön, ålder och etnicitet spelar egentligen ingen roll.

Men för ljudet sa Respeecher, som omvandlar en röst till en annan, att det skulle vara lättare att arbeta med en skådespelare som hade liknande register och accent som Nixons. Beväpnade med den kunskapen började Panetta och Burgund skriva inlägg på olika skådespelarforum och mejla lokala skådespelargrupper. Deras pitch: Vill du bli Nixon?

Skådespelaren Lewis D. Wheeler tillbringade dagar i studion och tränade de djupfalska algoritmerna för att kartlägga hans röst och ansikte till Nixons.

PANETTA OCH BURGUNDY

Så här befann sig Lewis D. Wheeler, en vit manlig skådespelare från Boston, instängd i en studio i flera dagar och lyssnade på och upprepade utdrag av Nixons ljud. Det fanns hundratals utdrag, var och en bara några sekunder långa, av vilka några inte ens var fullständiga ord, säger han.

Snuttarna hade hämtats från olika Nixon-tal, mycket av det från hans avgång. Med tanke på månkatastrofens allvarliga karaktär behövde Respeecher utbildningsmaterial som fångade samma dystra ton.

Wheelers jobb var att spela in varje utdrag med sin egen röst, matchande den exakta rytmen och intonationen. Dessa små bitar matades sedan in i Respeechers algoritm för att mappa hans röst till Nixons. Det var ganska ansträngande och ganska mödosamt, säger han, men riktigt intressant också att bygga sten för sten.

Den sista deepfake av Nixon som håller talet 'In Event of Moon Disaster.'

PANETTA OCH BURGUNDY

Den visuella delen av deepfake var mycket mer okomplicerad. I arkivfilmerna som skulle manipuleras hade Nixon levererat den riktiga månlandningsadressen rakt vänd mot kameran. Wheeler behövde bara leverera sitt alternativ, från början till slut, på samma sätt, för att produktionsteamet skulle fånga hans munrörelser i rätt vinkel.

Det var här han som skådespelare började hitta saker mer bekanta. I slutändan skulle hans framträdande vara den del av honom som skulle ta sig in i den sista deepfake. Det var det mest utmanande och mest givande, säger han. För det var jag tvungen att verkligen komma in i tankesättet, okej, vad handlar det här talet om? Hur berättar du för det amerikanska folket att denna tragedi har hänt?

Hur känner vi?

På första sidan, Zach Math, a filmproducent och regissör , arbetade med ett liknande projekt. Han hade anlitats av Mischief USA, en kreativ byrå, för att regissera ett par annonser för en rösträttskampanj. Annonserna skulle innehålla djupförfalskade versioner av Nordkoreas ledare Kim Jong-un och Rysslands president Vladimir Putin. Men han hamnade mitt i något helt annat än Panetta och Burgunds experiment.

I samråd med en deepfake artist, John Lee, hade teamet valt att gå vägen för att byta ansikten med programvaran DeepFaceLab med öppen källkod . Det innebar att den sista annonsen skulle innehålla skådespelarnas kroppar, så de behövde göra trovärdiga kroppsdubbel.

Annonsen skulle också inkludera skådespelarnas riktiga röster och lägga till en extra rollbesättning. Teamet ville att de deepfake ledarna skulle tala på engelska, men med autentiska nordkoreanska och ryska accenter. Så castingchefen gick på jakt efter manliga skådespelare som liknade varje ledare i byggnad och ansiktsstruktur, matchade deras etnicitet och kunde göra övertygande röstimitationer.

Processen att träna DeepFaceLab för att skapa Kim Jong-uns ansikte.

SKÖD USA

För Putin var gjutningsprocessen relativt enkel. Det finns ett överflöd av tillgängliga bilder av Putin som håller olika tal, och förser algoritmen med massor av träningsdata för att djupförfalska hans ansikte och göra en rad olika uttryck. Följaktligen fanns det mer flexibilitet i hur skådespelaren kunde se ut, eftersom deepfake kunde göra det mesta av jobbet.

Men för Kim visade de flesta tillgängliga videor honom med glasögon, vilket skymmer hans ansikte och fick algoritmen att gå sönder. Begränsningen av träningsfilmerna till enbart videor utan glasögon gav mycket färre träningsprover att lära av. Den resulterande deepfake såg fortfarande ut som Kim, men hans ansiktsrörelser såg mindre naturliga ut. Ansiktet byttes mot en skådespelare och dämpade skådespelarens uttryck.

För att motverka det började teamet köra alla skådespelarnas castingband genom DeepFaceLab för att se vilken som såg mest övertygande ut. Till deras förvåning såg vinnaren minst ut som Kim fysiskt men hade den mest uttrycksfulla prestationen.

Skådespelaren som valdes att spela Kim Jong-un hade minst fysisk likhet med diktatorn men den mest uttrycksfulla prestationen.

För att ta itu med aspekterna av Kims utseende som deepfake inte kunde replikera, förlitade teamet sig på smink, kostymer och efterproduktionsarbete. Skådespelaren var till exempel smalare än Kim, så de fick honom att bära en fet kostym.

När det kom till att bedöma kvaliteten på deepfake, säger Math, handlade det mindre om de visuella detaljerna och mer om upplevelsen. Det var aldrig ’Ser det där örat konstigt ut?’ Jag menar, det var de där diskussionerna, säger han. Men det var alltid som 'Luta dig tillbaka - hur känner vi oss?'

De fungerade effektivt som en mänsklig sköld

På vissa sätt är det liten skillnad mellan deepfake-skådespeleri och CGI-skådespeleri, eller kanske röstskådespeleri för en tecknad film. Din likhet kommer inte in i den slutliga produktionen, men resultatet har fortfarande din signatur och tolkning. Men deepfake-casting kan också gå åt andra hållet, med en persons ansikte utbytt mot någon annans prestation.

Att göra den här typen av falska övertygande var Ryan Laneys uppgift, en artist för visuella effekter som arbetade på 2020 års HBO-dokumentär. Välkommen till Tjetjenien . Filmen följer aktivister som riskerar sina liv för att bekämpa förföljelsen av hbtq-individer i den ryska republiken. Många av dem lever i hemlighet av rädsla för tortyr och avrättning.

För att berätta deras historier lovade regissören David France att skydda deras identiteter, men han ville göra det utan att förlora deras mänsklighet. Efter att ha testat många lösningar landade hans team äntligen på deepfakes. Han samarbetade med Laney, som utvecklade en algoritm som överlagrade ett ansikte på ett annat samtidigt som den senares uttryck bibehölls.

Till vänster: Maxim Lapunov, huvudkaraktären i dokumentären som blir offentlig halvvägs genom filmen. Till höger: en latino hbtq-aktivist som frivilligt anmälde sig till att vara Maxims sköld.

DINA MEDIER

Castingprocessen var alltså inte ett sökande efter artister utan efter 23 personer som skulle vara villiga att låna ut sina ansikten. Frankrike bad till sist hbtq-aktivister att frivilligt ställa upp som täckmantel. Han kom fram till det inte från vem som är den bästa skådespelaren, utan vem som är de personer som är intresserade av saken, säger Laney, eftersom de effektivt fungerade som en mänsklig sköld.

Teamet spanade in aktivisterna genom evenemang och Instagram-inlägg, baserat på deras utseende. Varje täckansikte behövde se tillräckligt annorlunda ut än den som maskerades samtidigt som de anpassade sig till vissa egenskaper. Ansiktshår, käklinjer och näslängd behövde ungefär matcha, till exempel, och varje par måste vara ungefär lika gamla för att täckpersonens ansikte skulle se naturligt ut på originalpersonens kropp.

Till vänster: Maxims omaskerade ansikte. Höger: Maxim med sitt deepfake-omslag.

DINA MEDIER

Laget matchade dock inte alltid etnicitet eller kön. Huvudkaraktären, Maxim Lapunov, som är vit, skyddades av en latinoaktivist, och en kvinnlig karaktär skyddades av en aktivist som inte är genuskonform.

Under hela processen såg Frankrike och Laney till att få fullt informerat samtycke från alla parter. Filmens motiv fick faktiskt titta på verket innan David släppte det, säger Laney. Alla fick skriva av sig på sitt eget omslag för att se till att de kände sig bekväma.

Det får bara folk att tänka

Medan professionaliserade deepfakes har flyttat gränserna för konst och kreativitet, väcker deras existens också knepiga etiska frågor. Det finns för närvarande inga riktiga riktlinjer för hur man till exempel ska märka deepfakes, eller var gränsen går mellan satir och desinformation.

För närvarande förlitar sig konstnärer och filmskapare på en personlig känsla av rätt och fel. France och Laney, till exempel, lade till en ansvarsfriskrivning i början av dokumentären om att vissa karaktärer hade blivit digitalt förklädda för att skydda dem. De lade också till mjuka kanter till de maskerade individerna för att skilja dem åt. Vi ville inte gömma någon utan att berätta för publiken, säger Laney.

Stephanie Lepp, en artist och producent som skapar deepfakes för politiska kommentarer, markerar på samma sätt sina videor i förväg för att tydliggöra att de är falska. I hennes serie Djupa räkningar , som föreställer mäktiga figurer som Mark Zuckerberg som ber om ursäkt för sina handlingar, använde hon också röstskådespelare snarare än deepfake ljud för att ytterligare särskilja projektet som satiriskt och inte bedrägligt.

Andra projekt har varit mer behagliga, som Barnaby Francis, en konstnärsaktivist som arbetar under pseudonymen Bill Posters. Francis har genom åren förfalskat politiker som Boris Johnson och kändisar gillar Kim Kardashian , allt i utbildningens och satirens namn. Vissa av videorna är dock bara märkta externt – till exempel i bildtexten när Francis lägger upp dem på Instagram. Utdragna ur det sammanhanget riskerar de att sudda ut konst och verklighet, vilket ibland har lett honom in i tråkigt territorium .

Se detta inlägg på Instagram

'När det finns så många haters...' (2019) Detta djupfalska rörliga bildverk är från 'Big Dada'-serien, en del av 'Spectre'-projektet. Där big data, AI, dada och konceptuell konst kombineras. .Konstverk av Bill Posters & @danyelhau #spectreknows #deepfake #deepfakes #contemporaryartwork #digitalart #generativeart #newmediaart #codeart #contemporaryart

Ett inlägg som delas av Billaffischer (@bill_posters_uk) den 1 juni 2019 kl. 03:47 PDT

Se detta inlägg på Instagram

Idag har jag släppt en ny serie #deepfake-konstverk med @futureadvocacy för att öka medvetenheten om bristen på reglering rörande desinformation online. Dessa 'delvis politiska' sändningar ser Storbritanniens premiärminister Boris Johnson och oppositionsledaren Jeremy Corbyn djupt fejkade för att skicka en varning till alla regeringar angående desinformation online. För detta ingripande har vi använt biometriska data från kända brittiska politiker för att utmana det faktum att utan större kontroller och skydd beträffande personuppgifter och kraftfull ny teknik, utgör desinformation en direkt risk för allas mänskliga rättigheter, inklusive rättigheterna för dem i positioner som kraft. Det är häpnadsväckande att efter 3 år har rekommendationerna från DCMS Select Committee-utredningen om falska nyheter eller Information Commissioner's Office-utredningen om Cambridge Analytica-skandalerna inte tillämpats för att ändra brittiska lagar för att skydda vår frihet och demokrati. Som ett resultat av detta är förutsättningarna för beräkningsformer av propaganda och desinformationskampanjer att förstärkas av sociala medieplattformar fortfarande i kraft idag. Vi uppmanar alla brittiska politiska partier att tillämpa parlamentets egna resultat och säkra framtida val. Trots oändliga varningar under de senaste åren har politikerna kollektivt misslyckats med att ta itu med frågan om desinformation på nätet. Istället har svaret varit att skjuta upp teknikföretagen att göra mer. Ansvaret för att skydda vår demokrati ligger i Westminsters korridorer, inte i styrelserummen i Silicon Valley. Se hela videorna på min hemsida! [LÄNK I BIO] #deepfakes #newmediaart #ukelection #felinformation

Ett inlägg som delas av Billaffischer (@bill_posters_uk) den 11 november 2019 kl. 23:55 PST

Det finns också få regler kring vars bilder och tal kan manipuleras — och få skydd för skådespelare bakom kulisserna. Hittills har de flesta professionaliserade deepfakes baserats på kända personer och gjorts med tydliga, konstruktiva mål, så de är juridiskt skyddade i USA enligt satirlagar. I fallet med Mischiefs Putin och Kim deepfakes har dock skådespelarna förblivit anonyma av personliga säkerhetsskäl, sade teamet, på grund av den kontroversiella karaktären av att manipulera bilderna av diktatorer.

Eftersom vissa kreatörer vet hur deepfakes har använts för att misshandla, manipulera och trakassera kvinnor, är vissa kreatörer också oroliga över riktningen saker kan gå. Det finns många människor som går på tåget som inte är riktigt etiskt eller moraliskt bekymrade över vilka deras klienter är, var detta kan dyka upp och i vilken form, säger Francis.

Trots dessa svåra frågor, men många artister och filmskapare är övertygade om att deepfakes borde vara här för att stanna. Etiskt använt utökar tekniken möjligheterna för konst och kritik, provokation och övertalning. Det får bara folk att tänka till, säger Francis. Det är den perfekta konstformen för dessa typer av absurdistiska, nästan surrealistiska tider som vi upplever.

Dölj