211service.com
AI-programvara kan drömma upp en hel digital värld från en enkel skiss
Att skapa en virtuell miljö som ser realistisk ut tar tid och skicklighet. Detaljerna måste vara handgjorda med hjälp av ett grafikchip som återger 3D-former, lämplig belysning och texturer. Det senaste storfilmsspelet, Red Dead Redemption 2, tog till exempel ett team på cirka 1 000 utvecklare mer än åtta år att skapa – ibland arbetade 100-timmarsveckor. Den typen av arbetsbelastning kanske inte krävs för mycket längre. En kraftfull ny AI-algoritm kan drömma om de fotorealistiska detaljerna i en scen i farten.
Utvecklad av chiptillverkaren Nvidia, mjukvaran kommer inte bara att göra livet enklare för mjukvaruutvecklare. Det kan också användas för att automatiskt generera virtuella miljöer för virtuell verklighet eller för att lära självkörande bilar och robotar om världen.
Vi kan skapa nya skisser som aldrig har setts förut och rendera dem, säger Bryan Catanzaro , vice vd för tillämpad djupinlärning på Nvidia. Vi lär faktiskt modellen hur man ritar baserat på riktig video.
Nvidias forskare använde en standardmetod för maskininlärning för att identifiera olika objekt i en videoscen: bilar, träd, byggnader och så vidare. Teamet använde sedan det som kallas ett generativt motståndsnätverk, eller GAN, för att träna en dator att fylla i realistiska 3D-bilder.
Systemet kan sedan matas med konturerna av en scen, som visar var olika objekt finns, och det kommer att fylla i fantastiska, lätt skimrande detaljer. Effekten är imponerande, även om vissa av dessa föremål ibland ser lite skeva eller vridna ut.
Klassisk datorgrafik återges genom att bygga upp hur ljus interagerar med objekt, säger Catanzaro. Vi undrade vad vi kunde göra med artificiell intelligens för att ändra renderingsprocessen.
Catanzaro säger att tillvägagångssättet kan sänka barriären för speldesign. Förutom att rendera hela scener, kan tillvägagångssättet användas för att lägga till en riktig person i ett videospel efter att ha matat på några minuters videofilmer av personen i verkligheten. Han föreslår att tillvägagångssättet också kan användas för att göra realistiska inställningar för virtuell verklighet, eller för att tillhandahålla syntetisk träningsdata för autonoma fordon eller robotar. Du kan inte realistiskt få riktig träningsdata för varje situation som kan dyka upp, säger han. Arbetet tillkännagavs idag kl NeurIPS , en stor AI-konferens i Montreal.
Det här är intressant och imponerande arbete, säger Michiel van de Panne, professor vid University of British Columbia som är specialiserad på maskininlärning och datorgrafik. Han noterar att tidigare arbete som involverade GANs involverade syntetisering av enklare element som individuella bilder eller karaktärsrörelser.
Verket visar vägen till ett helt annat sätt att skapa animerade bilder, säger van de Panne. En med en annan uppsättning funktioner, som både är mindre beräkningsintensiva och kan vara interaktiva.
Nvidia-algoritmen är bara den senaste i en svindlande procession av framsteg som involverar GAN. Uppfunnet av en Google-forskare för bara några år sedan har GAN:er dykt upp som ett anmärkningsvärt verktyg för att syntetisera realistiska och ofta kusligt konstiga bilder och ljud. Denna trend lovar att revolutionera datorgrafik och specialeffekter och hjälpa artister och musiker att föreställa sig eller utveckla nya idéer. Men det kan också undergräva allmänhetens förtroende för video- och ljudbevis (se Fake America great igen).
Catanzaro medger att det kan missbrukas. Det här är en teknik som skulle kunna användas till mycket, säger han.