Vi sköljs av digitalt ljus

I en bok av Pixars medgrundare Alvy Ray Smith får den ödmjuka pixeln den uppmärksamhet den förtjänar.

Förbi

• Chris Turner arkivsida

27 oktober 2021

Andrea Daquino

Datavetaren Alvy Ray Smith var med och grundade både Lucasfilms datorgrafikavdelning och Pixar Animation Studios. Bara för dessa prestationer är han en av de viktigaste tekniska innovatörerna inom film sedan åtminstone slutet av andra världskriget. Men Smith är inte en Hollywood-kille, och hans spännande, grundläggande nya bok En biografi om Pixel är inte en Tinseltown-bok. Det finns bara det minsta skvaller (Steve Jobs var en svår man att arbeta med— bekräftad! ), och den enda kändisen som dyker upp i Smiths berättelse med någon frekvens är George Lucas. Smith är inte intresserad av berömmelse. Han jagar djupare teman och hävdar i själva verket att det stora projekt han var en del av - uppfinningen och utvecklingen av datorgrafik - är mycket viktigare än något som någonsin hänt i Hollywood.

Smith är vad som brukade kallas ett gråskägg i datorprogrammeringskretsar. Han är från den generationen av ingenjörer och kodare som såg den digitala tidsåldern stiga upp ur träsken av hemliga militära projekt och rymdprogrammet för att erövra världen. Han har talat maskinspråk. Han förundrades över den första råa grafiken som visade rörelse på gröna och svarta skärmar. Och han var bland de första som visade den nyfunna förmågan hos en penna att spåra en jämn kurva av digital färg.

Den här historien var en del av vårt novembernummer 2021

• Se resten av frågan
• Prenumerera

I En biografi om Pixel Smiths mål är att tydligt beskriva banan för två viktiga, sammanflätade berättelser. Den första berättelsen är utvecklingen av datorbilder, från ursprung till digital överallt. Smith säger att det saknas många namn, platser och genombrott i skivan, och han har tagit på sig jobbet att lägga till dem igen med en ingenjörs öga för precision. Den andra berättelsen, som utspelar sig parallellt, handlar om effekterna av dessa bilder – en transformativ kraft som Smith kallar Digital Light. Det omfattar i princip allt vi upplever genom skärmar, och han hävdar övertygande att det är bland de viktigaste innovationerna inom mänsklig kommunikation sedan de första enkla skildringarna av det dagliga livet etsades in på grottornas väggar.

Den ödmjuka pixeln

Som Smith upprepade gånger visar, har alldeles för mycket kredit tillåtits att glida åt enskilda geniers förmodade trolldom. Verkligheten är en lerig, överlappande historia av grupper av uppfinnare, som arbetar turvis i konkurrens och i samarbete, ofta ad hoc och under betydande kommersiellt eller politiskt tryck.

Thomas Edison och Frankrikes bröder Lumière var till exempel stora främjare och exploatörer av tidig filmteknologi. Båda visade fullständiga system omkring 1895 och var glada över att göra anspråk på full kredit, men ingen av dem byggde det första kompletta systemet med kamera, film och projektor helt (eller till och med mestadels) på egen hand. Det verkliga svaret på frågan om vem som uppfann filmer, skriver Smith, är en bris av konkurrerande linjer, med delar av systemet som utvecklats av tidigare partners till Edison och liknande delar av en handfull franska uppfinnare som arbetade med Lumières.

Bland de avgörande figurerna som förvisades till historiens soptunna var William Kennedy Laurie Dickson (en udda europeisk aristokrat som designade och byggde den första filmkameran för Edison) och Georges Demenÿ (vars design kopierades utan kredit av familjen Lumières). Smith visar kanske för mycket av sitt uttömmande arbete med att rädda dessa invecklade ursprungsberättelser – det finns på samma sätt trassliga förvirringar i varje större skede av utvecklingen av datorer och grafik – men hans ansträngning att ställa det historiska rekordet är beundransvärt.

Den största nackdelen med allt detta bråk med egon och girighet hos flera generationer av kraftfulla män (de är tyvärr nästan alla män) är att det ibland distraherar Smiths fokus från hans större tema, vilket är att det digitala ljusets gryning representerar sådana en sällsynt förändring i hur människor lever som den förtjänar att beskrivas som epokal.

Digital Light, i Smiths enklaste definition, är vilken bild som helst som består av pixlar. Men den tekniska frasen underskattar den fulla betydelsen av det stora nya fantasiriket som har skapats genom dess uppgång. Den sfären omfattar Pixar-filmer, ja, men också videospel, smartphone-appar, operativsystem för bärbara datorer, fåniga GIF-bilder som handlas via sociala medier, dödligt allvarliga MRI-bilder som granskats av onkologer, pekskärmarna i den lokala livsmedelsbutiken och de digitala modellerna som används för att planera Mars-uppdrag som sedan skickar tillbaka ännu mer digitalt ljus i form av häpnadsväckande bilder av den röda planetens yta.

Och det börjar knappt täcka allt. En slående aspekt av Smiths bok är att den inbjuder oss att gå tillräckligt långt tillbaka från det konstanta flödet av pixlar som många av oss tillbringar större delen av våra vakna timmar med att stirra på för att se vilken imponerande teknisk bedrift och vilken kraftfull kulturell kraft allt detta digitala ljus. representerar.

Fourier bidrog med insikten att allt vi ser kunde beskrivas som summan av en serie vågor. Eller, som Smith mer poetiskt formulerar det, The world is music. Det är alla vågor.

Det tekniska genombrottet som gjorde allt detta möjligt är, som Smiths titel antyder, den ödmjuka pixeln. Ordet i sig är en portmanteau av bildelement. Enkelt nog. Men pixeln har felkarakteriserats i populär användning för att hänvisa till den suddiga, blockiga förmodade underlägsenheten hos dåligt renderade digitala bilder. Smith vill att vi ska förstå att det snarare är byggstenen i allt digitalt ljus – ett mirakulöst, omöjligt varierat, oändligt replikerbart stycke informationsteknologi som bokstavligen har förändrat hur vi ser på världen.

Missförståndet börjar, förklarar Smith, med det faktum att en pixel inte är en kvadrat, och den är inte arrangerad bredvid andra pixlar på ett snyggt rutnät. Pixlar kan renderas på skärmar som sådana, men själva pixeln är ett exempel på ett synfält ... som har digitaliserats till bitar. Distinktionen kan låta esoterisk, men den är avgörande för Smiths argument för pixelns revolutionerande inverkan. Pixeln är lagrad information som alla enheter kan visa som Digital Light. Och digitala enheter kan göra detta eftersom pixlar inte är approximationer utan noggrant kalibrerade prover av ett synfält, som har översatts för digitalt bruk till en samling överlappande vågor. Dessa pixlar, skriver Smith, är inte reduceringar av synfältet så mycket som en extremt smart ompackning av oändligheten.

Den nya vågen

Processen genom vilken en pixel genererar digitalt ljus – oavsett om det är i form av ord på en skärm eller en ikon på en smartphone eller en Pixar-film på den stora skärmen – bygger på tre matematiska genombrott som föregick den moderna datorn. Den första av dessa uppnåddes av Jean Joseph Fourier, en fransk aristokrat och regional guvernör under Napoleon i början av 1800-talet. Fourier bidrog med den grundläggande insikten att inte bara ljud utan värme och allt vi ser och mycket annat kunde beskrivas som summan av en serie vågor, representerande olika frekvenser och amplituder. Eller, som Smith mer poetiskt formulerar det, The world is music. Det är alla vågor.

Relaterad berättelse

Pixars datorgrafikpionjärer har vunnit Turing-priset på 1 miljon dollar

Mer än ett sekel senare byggde en sovjetisk ingenjör vid namn Vladimir Kotelnikov på Fouriers vågprincip med det andra avgörande elementet för att skapa digitalt ljus - Sampling Theorem. Kotelnikov visade att en signal – vare sig det är ett musikstycke eller en visuell scen – kan fångas genom att ta ögonblicksbilder (prover) med vissa intervall. Ta tillräckligt många prover av någon aspekt av ett synfält – dess färggradering, till exempel, eller skiftningar från förgrund till bakgrund – och det är möjligt att rekonstruera hela informationen. Smith erkänner att amerikanska datavetare får lära sig att samplingssatsen har sitt ursprung i Harry Nyquist och Claude Shannon, men den stora idén ... uttalades först klart, rent och fullständigt av Kotelnikov 1933.

Det tredje elementet som möjliggjorde Digital Light är det mest kända och senast utvecklade: Alan Turings papper från 1936 som beskriver den universella datormaskinen, vars stora innovation var förmågan att utföra vilken systematisk process som helst så länge den har rätt åtföljande uppsättning instruktioner ( som vi nu kallar mjukvara). En Turing-maskin, grunden för den moderna datorn, kan programmeras för att förstå processen genom vilken Fouriers vågor samplades av Kotelnikovs teorem, och att återskapa dem på vilken annan Turing-maskin som helst. Dessa tre element tillsammans skapade Digital Light.

Digitalt ljus i sig var dock en begränsad kraft. Dess tidigaste manifestationer var enkla piktogram på den digitala grottväggen på en TV-skärm. I december 1951, till exempel, visade MIT:s Whirlwind-dator en rad vita prickar på en svart skärm för CBS-programmet Se det nu , med Edward R. Murrow som värd. Prickarna stavade Hej Mr Murrow, sakta bleknar för att sedan bli ljusare igen , som en Lite-Brite på en dimmer. Smart, till och med underbart för sin tid, men inte omvälvningen i kärnan i Smiths bok. För det behövde Digital Light ytterligare ett element: ofattbar hastighet.

Datorgrafik, förklarar Smith, är bara galet långa listor av siffror som motsvarar grafiska koordinater – pixlar, nuförtiden, men tusentals och åter tusentals små sammankopplade trianglar i de tidigaste manifestationerna – sammansatta i digitala rymden till den tredimensionella formen av en Pixar-tecknad serie. karaktär eller något annat. (Den första 3D-datorgrafiken som satts ihop av dessa trianglar var, känt, en tekanna.)

Den stora digitala konvergensen

Sådana underverk som 3D-animation var dock inte möjliga förrän datorns processorkraft exploderade. Smith berättar om den efterföljande förvandlingen med en engagerande blandning av tekniska detaljer, djup forskning och personliga minnen. Flera generationer av matematiker, kodare och labbråttor bidrog till utvecklingen av datorgrafik, byggde nya verktyg och maskiner eftersom Moores lag snabbt gjorde det lättare att förvandla Fouriers vågor och Kotelnikovs prover till geometriska former, enkla bilder och grundläggande rörelser på en skärm . Disney och Lucasfilm och Stanford University skymtar så klart, men det gör också NASA och General Motors och Boeing (som var banbrytande för datorstödd industriell design), såväl som mindre kända bikupor av datorgrafikgenier som University of Utah och New York Institute of Technology (NYIT).

Smiths egen övergång från enkla pixlar till digitala filmer började på NYIT i början av 1970-talet. Där hjälpte han till att etablera ett av världens första datorgrafiklabb, tillsammans med flera av Pixars andra medgrundare, innan han gick vidare med att introducera tekniken för Lucasfilm. (Han arbetade på den allra första datoranimerade sekvensen som Lucasfilm producerade, en specialeffektsekvens för filmen Star Trek II: The Wrath of Khan .)

Under hela resan förblev Smith fokuserad på det ultimata priset att producera en digital film i fullängd. Han ville att dessa verktyg skulle användas för att skapa stor konst, för att ge form åt sinnens kreativa geni över hela världen. Pixar uppnådde det målet med 1995 års release av Toy Story , den första långfilmen som är helt datoranimerad. Och inte långt efter det nåddes en ännu mer betydelsefull prestation – det avgörande ögonblicket som Smith kallar den stora digitala konvergensen.

Det som hände är både lätt att förklara och svårt att helt förstå. Det som hände var att folk började bråka med det.

Detta är punkten, någon gång runt år 2000, då alla bilder (rörliga och på annat sätt) kunde representeras universellt av pixlar. Tyst och obemärkt, skriver han, konvergerade alla medietyper till ett – det universella digitala mediet, bitar.

När jag läste Smiths redogörelse för denna konvergens, kom jag på att jag tänkte på ett berömt citat som tillskrivs den franske författaren och filmskaparen Jean Cocteau. Film kommer bara att bli en konst, sa Cocteau, när dess material är lika billigt som en penna och papper. Detta, delvis, är vad Smith driver på när han ber oss att se i vördnad på kraften i pixeln. Och det minnet fick mig – obönhörligen, egentligen – att tänka på Steamed Hams-memen.

För den oinvigde föddes Steamed Hams som en kort vinjett i ett avsnitt från den sjunde säsongen av Simpsons , 22 kortfilmer om Springfield, som sändes första gången 1996: Springfield Elementary Schools tråkiga rektor Skinner är värd för sin chef, Superintendent Chalmers, för en lunch hemma hos honom. De två minuterna och 42 sekunderna av vinjetten utvecklas som en eskalerande serie av mindre katastrofer, vilket leder till att Skinner smyger iväg till Krusty Burger och sedan hävdar snabbmatsmåltiden som sin egen. Efter att ha lovat föreståndaren ångade musslor, täcker Skinner för sin list genom att hävda att han faktiskt hade sagt att han gjorde ångad skinka, vilket han föreslår är regional slang för hamburgare i delstaten New York.

Det är ett fånigt litet utdrag från en offbeat simpsons avsnitt, och det fick ingen särskild uppmärksamhet förrän den stora digitala konvergensen lade verktygen för digital filmskapande i händerna på praktiskt taget vem som helst med en dator och en internetanslutning. Och sedan är det som hände både lätt att förklara och svårt att helt förstå. Det som hände var att folk började bråka med det.

Den kreativa kraften släppte lös

Födelsen av Steamed Hams meme verkar ha varit en kort klipp från vinjetten, reproducerad med hjälp av en text-till-film-app och publicerad på YouTube i mars 2010. Under åren sedan dess, när de digitala verktygen för att producera och sprida korta videor förbättrades i den rasande hastigheten av Moores lag, spred sig memet vilt. . Klippet har lagts på hög, YouTube-skärmen delad i 10 rutor, var och en spelar Steamed Hams med en kort fördröjning, som om den sjöngs i en omgång, tills den löses upp i rytande kakofoni. Den har ställts in på ett brett utbud av poplåtar – min favorit är en där Auto-Tune-mjukvaran (som i sig är en produkt av konvergensen) har använts för att böja och förvandla dialogen så att den på något sätt håller sig till melodin i Green Days hitlåt Basket Case. Det har lagts över olika videospel. En företagsam Steamed Hams-fan övertalade skådespelaren Jeff Goldblum att läsa hela vinjettens manus i sin distinkta diktion; de resulterande YouTube-klipp skär sakkunnigt från Goldblums liveläsning till den ursprungliga animationen, ibland i delad skärm. Det finns en sorts remake av Steamed Hams där en annan animatör återges var 13:e sekund av vinjetten i en helt annan stil. Detta är bara ett litet urval av höjdpunkterna. Memen är massiv.

Om jag någonsin blev ombedd att undervisa en klass i postmodern konst, skulle jag hålla upp hela memen som ett signaturexempel på den häpnadsväckande kreativa kraft som släpptes lös av den stora digitala konvergensen. Tack vare verktyg som inte är så mycket svårare att få tag på än en penna och penna, har internet nu ett omöjligt överflöd av uppfinningsrika riff: GIF:er och klipp, superklipp och mashups, omstarter och remixar. En hel värld av tillfälliga kreatörer som gör digitala filmer med helt nya verktyg som redan har blivit så vanliga att vi knappt märker dem. Vi är hemma i Digital Light.

Cocteaus värld av allestädes närvarande filmskapande, det vill säga, kan mycket väl vara här. Detta är vad Alvy Ray Smith byggde mot i ett halvt sekel i jakten på den första digitala filmen. Vi har kommit. Vi är alla auteurs. Gå och lek.

Chris Turner är en författare och essäist baserad i Calgary, Alberta. Hans senaste bok är The Patch: The People, Pipelines, and Politics of the Oilsands.

Dölj