Hollywoods nya ansikte

På toppen av ett högt tåg som kör genom Downtown är den maskerade mannen i den röda och blå kostymen i trubbel.

Han slåss inte bara mot en galen vetenskapsman som försöker döda honom med robottentakler, utan han måste också rädda passagerarna på tåget. Det är allt i en dags arbete för superhjälten Peter Parker, även känd som Spider-Man – men det innebär månader av arbete för ett elitteam av grafikguruer.

Den här historien var en del av vårt septembernummer 2004

• Se resten av frågan
• Prenumerera

Denna actionsekvens från megahiten Spider-Man 2 har bländat miljontals biobesökare i sommar. Titta noga på skurken, Doctor Octopus (spelad av skådespelaren Alfred Molina), och du kommer att se honom grina galet och skrika medan han ambulerar längs toppen och sidorna av tåget. Senare i scenen tappar Spider-Man (Tobey Maguire) sin mask när han spänner sig mot tågets främre del, vilket får det att stanna. Hans frenetiska ansiktsuttryck framstår som övertygande naturliga.

Med all den snabba skärningen mellan bilder av superhjälte och skurk, misstänker publiken förmodligen inte att ansiktena och figurerna som dyker upp på skärmen mycket av tiden inte är den äkta varan. Snarare är de digitala hopkok skapade inuti en dator på Sony Pictures Imageworks i Culver City, CA.

Vi har nått en punkt där vi kan göra varenda sak datorgenererad. Allt från det krossade glaset i tåget till alla byggnader, spår och människor, säger Mark Sagar, en grafisk handledare på Spider-Man 2 och Imageworks expert på digitala mänskliga ansikten. Han pekar på tågsekvensen när den spelas upp på hans datorskärm. Se vad kameran gör. Här går det fort längs tåget, sedan under artisterna, sedan framför dem, sedan ett bredskott. Hur kunde du göra det med en riktig kamera? Men de digitala ansiktena på människorna är den sista, avgörande biten i detta pussel. Tidigare krävde det riktiga kameror, svårt stuntarbete och justeringar för att skarva bilder av riktiga skådespelare till en digital scen för att få utseendet på de verkliga och digitala bilderna att matcha; förmågan att göra datorgenererat allt, inklusive mänskliga ansikten, öppnar en mängd kreativa möjligheter.

Fotorealistiska digitala ansikten – sådana som kan passera på riktigt i stillbilder eller på den stora skärmen – är bland de sista gränserna för datorgrafik. Tills nyligen har digitala ansikten sett falska ut när de granskats noggrant och har därför förpassats till snabba klipp och bakgrundsbilder. Problemet är att vi är utomordentligt känsliga för hur mänskliga ansikten ska se ut; det är mycket lättare att lura människor med en datorgenererad T. rex än med en digital människa. Men framsteg när det gäller rendering av hud, ljussättning av digitala scener och analys av filmer av riktiga skådespelare för referens gör det nu möjligt för artister och programmerare att kontrollera strukturen och rörelsen för varje liten fläck av pixlar i ett datoriserat ansikte. Sony-teamet hoppas att publiken inte kommer att kunna se skillnaden mellan Tobey Maguire och hans digitala dubbelgång – kanske första gången en sådan sanning har uppnåtts.

Insatserna är enorma. Digitala effekter är en miljardaffär och växer snabbt; Nuförtiden kan en typisk storfilms budget vara 150 miljoner dollar, varav hälften går till effektföretag. Spider-Man 2 är faktiskt bara ett exempel på Hollywoods ökande användning av avancerad grafikforskning för att skapa bättre digitala skådespelare, från stuntdubblar av Neo och mängden Agent Smiths i Matrix-filmerna till Gollum i Sagan om ringen-serien . Det har nått den punkt där branschen skämtar om att ersätta skådespelare med datorer (förutsättningen för filmen S1m0ne från 2002). Och Sony Pictures Imageworks, grundat 1992 och med mer än 40 långfilmer på sin kredit, ligger i spetsen för effekthus som tävlar om stora studios verksamhet (se Making Faces,).

Men den verkliga fördelen med digitala skådespelare är inte att ersätta live: de levererar scener som tar tittarna till platser som ingen riktig skådespelare eller kamerauppsättning skulle kunna ta sig till. Det ger regissörer mer flexibilitet, och det låter dem göra handlingar de inte kan göra med riktiga stuntmänniskor, säger Scott Stokdyk, handledare för visuella effekter på Imageworks som ansvarar för Spider-Man-serien. Tidigare har regissörer och redaktörer i princip masserat snittet kring olika snabba handlingar och kameravinklar för att förmedla en historia, säger Stokdyk. Nu har de inte den typen av gränser. På så sätt frigjorda kan regissörer följa syntetiska skådespelare när de sveper runt skyskrapor och undviker kulor i svepande slow motion. Dessutom kan skådespelare åldras digitalt, eller avåldras, utan att behöva spendera timmar med smink. Sedan länge avlidna filmstjärnor kunde till och med återuppstå digitalt.

Och filmer är bara början. Tekniker för att skapa digitala människor tänjer på den bredare gränsen för datorgrafik och gränssnitt. Dessa ansträngningar skulle kunna möjliggöra slående realistiska medicinska träningssimuleringar, verklighetstrogna avatarer för e-post och chattrum på internet och snart mycket mer övertygande karaktärer i spel och interaktiva filmer. Tekniken, säger Sagar, är helt redo för bästa sändningstid.

Virtuell syn

Mark Sagar har alltid slitits mellan konst och vetenskap. Efter college tillbringade han tre år med att resa runt i världen och skissa porträtt för att leva. Men tekniken fick honom att återvända till forskarskolan i sitt hemland Nya Zeeland för att studera ingenjör. Jag trodde aldrig att jag skulle ägna år av mitt liv åt att studera det mänskliga ansiktet, erkänner han, sittande på sitt kontor på Imageworks, omgiven av böcker och tidningar om visuell perception.

Att höra Sagar beskriva det mänskliga ansiktet som en flerkanalig signalanordning tyder på att den vetenskapliga och ingenjörsmässiga sidan av honom har vunnit. Att förstå vetenskapen bakom ansikten, säger han, gör det möjligt för honom att få en digital karaktärs budskap att komma fram mer effektivt på skärmen. Uttryck som nedslagna ögon, en rynkad panna eller en krusad läpp anger en persons känslomässiga tillstånd och ger ledtrådar till hans eller hennes avsikt.

Sagars väg till Hollywood öppnades nästan av en slump. I mitten av 1990-talet, som doktorand vid University of Auckland och som postdoktor vid MIT, utvecklade han datorsimuleringar av det mänskliga ögat och ansiktet som kunde hjälpa läkare under utbildning att lära sig kirurgiska tekniker. Hans simuleringar såg så verkliga ut att ett team av dot-com-entreprenörer övertygade honom om att vara med och grunda en grafisk startup som heter LifeFX i Newton, MA. Dess uppdrag: kommersialisera programvara som alla från filmskapare till webbföretag och e-postleverantörer kan använda för att producera fotorealistiska bilder av människor.

Sagar blev snart en ledande auktoritet på digitala ansikten för underhållning. 1999 kom han till Los Angeles för att arbeta vidare

datorgenererade ansiktsanimationer för filmer, inklusive en av skådespelaren Jim Carrey. Paul Debevec, en grafikforskare som gjorde sitt namn genom att skapa virtuella miljöer och utveckla digitala ljustekniker, såg Sagars filmer på en konferens och var fascinerad: han hade aldrig sett falska ansikten som såg så övertygande ut på nära håll. Det var ögonblicket som fick mig att korsa tröskeln till att verkligen tro att ett fotorealistiskt datorgrafikansikte skulle hända under de kommande fem åren, säger Debevec, som nu är vid Institute for Creative Technologies vid University of Southern California (se Hollywoods Master of Light, TR mars 2004).

De två forskarna inledde ett samarbete och använde Debevecs ljusteknik för att återge Sagars digitala ansikten – en kombination som snabbt slungade dem till framkanten av fältet. Det visar sig att om du försöker simulera ett ansikte är det en stor sak att få rätt belysning. Till skillnad från tidigare datorsimuleringar som såg udda ut i olika sammanhang och som måste justeras med försök och misstag, kunde Sagar och Debevecs ansikten skräddarsys för att matcha belysningen i vilken scen som helst. Det beror på att de byggdes med hjälp av en rik databas med verkliga ansikten fotograferade från olika vinklar och upplysta av många olika kombinationer av ljus. När LifeFX vek sig 2002, ryckte Imageworks till sig Sagar specifikt för hans expertis inom ansikten.

Han började genast arbeta på det första långfilmstestet av dessa tekniker: Spider-Man 2. Actionscenerna i filmen krävde detaljerade och uttrycksfulla simuleringar av välkända skådespelares ansikten – ett särskilt tufft problem, säger Sagar. Inte bara är publiken snabba att avvisa ersatz mänskliga ansikten i allmänhet, utan de är särskilt känsliga för ansikten de känner igen; alla avvikelser mellan digitala och verkliga kan uppfattas som falska. För att få simuleringarna att fungera behövde forskarna massor av referensbilder av de verkliga aktörerna under olika ljusförhållanden.

Så Maguire och Molina tillbringade varsin dag i Debevecs labb. Under överinseende av forskningsprogrammeraren Tim Hawkins satt de i en speciell apparat som kallas ljusscen medan fyra stillbildskameror tog hundratals bilder av deras huvuden och ansikten som gjorde en mängd olika uttryck och upplysta av blixtljus från alla möjliga vinklar. Skådespelarna lät också göra laserskanningar och gipsavgjutningar av sina huvuden och ansikten, så att högupplösta digitala 3D-modeller av deras likheter kunde byggas på datorer.

På Imageworks skrev Sagar och hans team användarvänlig programvara så att dussintals artister kunde använda gigabyte med bilddata utan att fastna i tekniska detaljer. För att få tågsekvensen att se rätt ut, kombinerade Sagars mjukvara till exempel bilder från Debevecs installation till kompositer som matchade den verkliga belysningen på filmuppsättningen, och mappade sedan kompositerna på 3D-datormodeller av skådespelarna. För att få ansiktena att röra sig manipulerade animatörer modellerna ruta för ruta, med hjälp av befintliga bilder och video av skådespelarna som en grov guide. Programvaran beräknade ljusförändringar baserat på hur ansiktsmodellerna deformerades – och belyste den digitala huden därefter. Resultatet: syntetiska skådespelare som ser ut som Maguire och Molina (intercut med de av kött och blod) zoomar genom luften, runt skyskrapor, över tåg och under vattnet, och känner känslor hela tiden.

Imageworks är ett utmärkt exempel på hur effekthus integrerar ny forskning i sina produktionspipelines snabbare än de gjorde för bara några år sedan. (Medan publiken kan bli imponerad av vad som har dykt upp på multiplexen på sistone, förändrades inte den grundläggande grafikteknologin i filmer mycket på 1990-talet.) Förut var det en mycket lång eftersläpning. Något skulle utvecklas, och sedan skulle du vänta tio år på att ett mjukvaruföretag skulle kommersialisera det, säger J.P. Lewis, expert på grafik och animation vid University of Southern Californias datorgrafik- och uppslukande teknologilabb. Nu tror jag att företag är mycket mer medvetna om forskning, och de tenderar att hoppa på det mycket snabbare.

En promenad genom de mörka korridorerna i Imageworks i vår får laget att sätta sista handen på de mer än 800 effektbilderna för Spider-Man 2. Det är en ung, hip folkmassa som har fashionabla glasögon och visar minnen från filmen på sina skrivbord – foton, actionfigurer, en rollbesättning av Tobey Maguires ansikte. Den dagen han skickar sin sista bild för filmen, beklagar Stokdyks handledare för visuella effekter att det inte finns mer tid. Den största utmaningen, säger han, var att blanda Molinas ibland verkliga, ibland digitala, ansikte med hans Doc Ock-kostym och omgivningar i serietidning. Att matcha verkligheten, suckar han, är nästan omöjligt.

Sätt ditt spel ansikte på

Faktum är att, trots de miljontals dollar som kastas på problemet, har digitala mänskliga ansikten fortfarande en väg att gå. Det som återstår att göra kan tyckas vara stegvisa steg – att göra ögonrörelserna mindre robotiserade, fånga förändringar i blodflödet så att kinderna rodnar, få huden att rynka sig precis på rätt sätt under ett leende – men de läggs ihop. De sista 20 procenten kan ta 80 procent av vår tid att komma rätt – men vi är definitivt i de sista 20 procenten, säger Darin Grant, teknikchef på Digital Domain i Venedig, Kalifornien, som gjorde karaktärsanimationer för sommarens I, Robot.

I slutändan kommer den kommersiella publiken att avgöra värdet av dessa digitala dubbelgångar. Det ultimata testet av vad vi gör är hur det ser ut på skärmen och hur det översätts till produktion, säger Grant. Hans kollega Brad Parker, handledare för visuella effekter och regissör på Digital Domain, hävdar att digitala människor kommer att ge allt större utdelning för filmskapare – och för grafikern. Det är en stor sak, säger han. Den kombinerar allt som är svårt med datorgrafik.

Varför det är ett så svårt problem – exakt vad våra ögon upptäcker som fel hos en digital människa – är ännu inte väl förstått. Men University of Southern Californias grafikforskare Lewis och Ulrich Neumann försöker ta reda på det. I de senaste experimenten visade deras grupp glimtar av verkliga och digitala ansikten för frivilliga för att se om de kunde se skillnad. Resultaten var slående – och frustrerande. Vi tillbringade ett år med att arbeta med dessa ansikten, men vi kunde inte lura folk för en kvarts sekund, säger Lewis. Han förutspår att detta arbete kommer att leda till statistiska modeller av hur verkliga mänskliga ansikten beter sig, vilket i sin tur kommer att ge mjukvaruverktyg som artister kan använda för att få karaktärer att röra ögonen precis så eller ändra uttryck på andra subtila sätt som kan vara avgörande för trovärdigheten.

Sådana framsteg bör ha en dramatisk effekt. Säger Steve Sullivan, chef för forskning och utveckling vid Industrial Light and Magic i San Rafael, CA, Vi kommer förmodligen att se tillbaka om 10 år och tycka att dagens digitala dubbelspel ser fruktansvärt primitiva ut.

Och det blir inte bara filmer som får ett ansiktslyft. Samma grafiska simuleringsverktyg som filmskapare börjar behärska kommer också att bidra till nästa stora marknad för digitala ansikten: videospel. Dagens spel har bländande varelser och landskap, men deras mänskliga karaktärer är inte ens i närheten av att vara fotorealistiska. Det är helt enkelt inte praktiskt att programmera i alla betraktningsvinklar och uttryck som kan uppstå under loppet av ett interaktivt spel på flera nivåer.

Det är där George Borshukov kommer in. Borshukov, en datavetare som designade toppmoderna digitala människor för Matrix-filmerna (alla de där Smiths i Reloaded och Revolutions är hans teams), tillämpar nu ansiktsteknik på spel. Borshukov, en före detta teknisk handledare på ESC Entertainment i Alameda, CA, flyttade nyligen till videospelskraftverket Electronic Arts i Redwood City, CA. Han säger att nästa generations spelhårdvara kommer att vara nära att demonstrera tekniker för fotorealistiska ansikten i realtid, men att avvägningar, uppskattningar och datakomprimering kommer att behövas för att få det att hända.

Problemet är att med spel måste allt hända i farten. Ändå tar det fortfarande några timmar att rendera en enda bildruta med dagens bästa digitala ansikten. Det är genomförbart om du har månader på dig att producera scenerna, som i en film. I ett spel eller en interaktiv film kanske den speciella bilden som efterfrågas inte existerar förrän användaren beställer den med ett snärt med en joystick. För att göra detta praktiskt krävs programvara som är tusentals gånger snabbare.

Fem år på vägen, säger experter, kan en hybrid mellan ett spel och en film tillåta tittare/spelare att designa och regissera sina egna filmer och till och med sätta sig in i handlingen. Du kan först casta filmen genom att skanna bilder av riktiga människor – du och dina vänner, till exempel – och köra programvara som skulle skapa fotorealistiska 3D-modeller av dessa människor. Sedan, i realtid, kan du regissera filmens handling via en handhållen kontroller eller tangentbord – allt från att zooma kameran runt karaktärerna till att få huvudrollsinnehavaren att springa i en viss riktning. Interaktiv underhållning, säger Borshukov, är där den verkliga framtiden är.

Att möta framtiden

Tillbaka på Imageworks virvlar en storm av aktivitet runt Mark Sagar. Artister är i krisläge för ett annat digitalt skådespelarprojekt, höstens The Polar Express, baserat på den populära barnboken. Men Sagar, som inte är direkt involverad i den ansträngningen, är hänförd av det som finns längre fram - en mer elegant inställning till digitala ansikten baserat på underliggande vetenskapliga principer. Jag ser dagens arbete som ett mellanstadium där vi fortfarande måste fånga in mycket data, säger han. Så småningom kommer allt att använda matematiska modeller för hur saker rör sig och hur de reflekterar ljus.

Sagar ser också mycket bredare tillämpningar av digitala människor i medicinsk grafik, kooperativa träningssimuleringar för räddningsarbetare och människa-datorgränssnitt som kan hjälpa användare att kommunicera mer effektivt med både maskiner och andra människor. Utanför underhållningsindustrin bedriver stora organisationer som Microsoft och Honda forskning om avancerad grafik och mänsklig modellering, inklusive programvara som kan göra det möjligt för dig att skapa realistiska virtuella karaktärer och digitala avatarer baserade på bara ett foto. Relaterade algoritmer kan också hjälpa datorer att känna igen ansikten och tolka uttryck, antingen i säkerhetssyfte eller för att förutsäga en användares behov.

Vi är i en intressant ålder när vi börjar kunna simulera människor in i minsta detalj, säger Sagar. Det finns en viss ironi i hans uttalande. För när digitala människor väl har gjorts rätt, kommer de inte att kunna skiljas från den verkliga varan; publiken kommer inte ens att inse att artister och forskare som Sagar har förändrat underhållningens – och samhällets ansikte.

Gregory T. Huang är associerad redaktör för TR.

Dölj