AI-generatorer för falska ansikten kan spolas tillbaka för att avslöja de riktiga ansiktena de tränade på

Ms Tech | Pexels, thispersondoesnotexist.com

Ladda upp hemsidan Denna person finns inte och det kommer att visa dig ett mänskligt ansikte, nästan perfekt i sin realism men ändå helt falskt. Uppdatera och det neurala nätverket bakom webbplatsen kommer att generera en till, och en till och en till. Den oändliga sekvensen av AI-tillverkade ansikten produceras av ett generativt motståndsnätverk (GAN) – en typ av AI som lär sig att producera realistiska men falska exempel på data den tränas på.

Men sådana genererade ansikten – som börjar bli det används i CGI-filmer och annonser – kanske inte är så unika som de verkar. I en tidning med titeln Denna person existerar (förmodligen). , visar forskare att många ansikten som produceras av GAN:er har en slående likhet med faktiska personer som förekommer i träningsdata. De falska ansiktena kan effektivt avslöja de verkliga ansikten som GAN tränades på, vilket gör det möjligt att avslöja dessa individers identitet. Verket är det senaste i en rad studier som tvivlar på den populära idén att neurala nätverk är svarta lådor som inte avslöjar något om vad som händer inuti.

Relaterad berättelse

Människor hyr ut sina ansikten för att bli deepfake-stil marknadsföringskloner

AI-drivna karaktärer baserade på riktiga människor kan spela i tusentals videor och säga vad som helst, på vilket språk som helst.

För att avslöja den dolda träningsdatan använde Ryan Webster och hans kollegor vid universitetet i Caen Normandie i Frankrike en typ av attack som kallas medlemsattack, som kan användas för att ta reda på om viss data användes för att träna en neural nätverksmodell. Dessa attacker drar vanligtvis fördel av subtila skillnader mellan hur en modell behandlar data som den tränats på – och har alltså sett tusentals gånger tidigare – och osynliga data.

Till exempel kan en modell identifiera en tidigare osynlig bild exakt, men med något mindre självförtroende än en den tränades på. En andra, attackerande modell kan lära sig att upptäcka sådana signaler i den första modellens beteende och använda dem för att förutsäga när viss data, till exempel ett foto, finns i träningsuppsättningen eller inte.

Sådana attacker kan leda till allvarliga säkerhetsläckor. Att till exempel ta reda på att någons medicinska data användes för att träna en modell förknippad med en sjukdom kan avslöja att denna person har den sjukdomen.

Websters team utökade denna idé så att istället för att identifiera de exakta bilderna som användes för att träna ett GAN, identifierade de foton i GAN:s träningsuppsättning som inte var identiska utan verkade porträttera samma individ – med andra ord ansikten med samma identitet. För att göra detta genererade forskarna först ansikten med GAN och använde sedan en separat AI för ansiktsigenkänning för att upptäcka om identiteten för dessa genererade ansikten matchade identiteten för något av ansiktena som ses i träningsdatan.

Resultaten är slående. I många fall hittade teamet flera foton av riktiga människor i träningsdatan som verkade matcha de falska ansikten som genererades av GAN, vilket avslöjade identiteten på individer som AI hade tränats på.

Den vänstra kolumnen i varje block visar ansikten genererade av ett GAN. Dessa falska ansikten följs av tre bilder på riktiga personer som identifieras i träningsdatan

UNIVERSITETET I CAEN NORMANDY

Arbetet väcker några allvarliga integritetsproblem. AI-gemenskapen har en missvisande känsla av säkerhet när de delar utbildade djupa neurala nätverksmodeller, säger Jan Kautz, vice vd för lärande och perceptionsforskning på Nvidia.

I teorin kan denna typ av attack gälla andra data kopplade till en individ, såsom biometriska eller medicinska data. Å andra sidan påpekar Webster att människor också kan använda tekniken för att kontrollera om deras data har använts för att träna en AI utan deras samtycke.

Konstnärer kunde ta reda på om deras verk hade använts för att träna en GAN i ett kommersiellt verktyg, säger han: Man skulle kunna använda en metod som vår för bevis på upphovsrättsintrång.

Processen kan också användas för att se till att GAN:er inte exponerar privata data i första hand. GAN kunde kontrollera om dess skapelser liknade verkliga exempel i sina träningsdata, med samma teknik som utvecklats av forskarna, innan de släpptes.

Relaterad berättelse

Året deepfakes blev mainstream År 2020 började AI-syntetiska medier röra sig bort från de mörkare hörnen av internet.

Ändå förutsätter detta att du kan få tag på den träningsdatan, säger Kautz. Han och hans kollegor på Nvidia har kommit på ett annat sätt att exponera privata data, inklusive bilder av ansikten och andra föremål, medicinska data med mera, som inte alls kräver tillgång till träningsdata.

Istället utvecklade de en algoritm som kan återskapa den data som en tränad modell har utsatts för av vända på stegen som modellen går igenom när du behandlar dessa uppgifter. Ta ett utbildat nätverk för bildigenkänning: för att identifiera vad som finns i en bild skickar nätverket det genom en serie lager av artificiella neuroner. Varje lager extraherar olika nivåer av information, från kanter till former till mer igenkännliga funktioner.

Kautzs team fann att de kunde avbryta en modell mitt i dessa steg och vända dess riktning och återskapa ingångsbilden från modellens interna data. De testade tekniken på en mängd vanliga bildigenkänningsmodeller och GAN:er. I ett test visade de att de kunde återskapa bilder från ImageNet, en av de mest kända datauppsättningarna för bildigenkänning.

Bilder från ImageNet (överst) tillsammans med återskapningar av dessa bilder gjorda genom att spola tillbaka en modell tränad på ImageNet (nederst)

NVIDIA

Liksom i Websters verk liknar de återskapade bilderna mycket de verkliga. Vi blev överraskade av slutkvaliteten, säger Kautz.

Forskarna hävdar att denna typ av attack inte bara är hypotetisk. Smartphones och andra små enheter börjar använda mer AI. På grund av batteri- och minnesbegränsningar, bearbetas modeller ibland bara till hälften på själva enheten och skickas till molnet för den sista beräkningskritan, en metod som kallas split computing. De flesta forskare antar att split computing inte kommer att avslöja några privata data från en persons telefon eftersom bara modellen delas, säger Kautz. Men hans attack visar att så inte är fallet.

Kautz och hans kollegor arbetar nu med att komma på sätt att förhindra att modeller läcker privat data. Vi ville förstå riskerna så att vi kan minimera sårbarheter, säger han.

Även om de använder väldigt olika tekniker, tycker han att hans arbete och Websters kompletterar varandra väl. Websters team visade att privata data kunde hittas i utdata från en modell; Kautz team visade att privata data kunde avslöjas genom att gå omvänd, återskapa indata. Att utforska båda riktningarna är viktigt för att få en bättre förståelse för hur man förhindrar attacker, säger Kautz.

Dölj