211service.com
Machine vision kan skapa foton i Harry Potter-stil för mugglare
Chung-Yi Weng | youtube
I J.K. Rowlings Harry Potter-romaner, magiska fotografier liknar vanliga, förutom att karaktärerna i dem är animerade; de vinkar, ler eller försvinner ibland helt för att sköta andra affärer.
Magiska foton är skapandet av Rowlings enastående fantasi. Men något liknande kan snart vara tillgängligt för vanliga mugglare tack vare Chung-Yi Wengs arbete vid University of Washington i Seattle och ett par kompisar. Dessa människor har skapat en mjukvara som heter Photo Wake-Up som kan animera den centrala karaktären i ett fotografi samtidigt som resten av bilden lämnas orörd.
Denna uppgift är lättare sagt än gjort på grund av ett viktigt olöst problem inom datavetenskap. Detta är problemet med kroppsställningsuppskattning. Med tanke på en tvådimensionell bild av en människa är frågan som maskinseende kämpar för att svara på: vilken tredimensionell pose tar personen?
Det är svårt eftersom kroppar kan vara delvis tilltäppta, ofta av andra kroppsdelar, som när någon står med armarna i kors. Det gör det svårt för en maskin att bestämma den tredimensionella strukturen från en 2D-bild.
Ett brett spektrum av datavetenskapsteam har försökt ta itu med detta problem. I detta arbete använder Weng och co ett program som heter SMPL, utvecklat av ett team på Microsoft och Max Planck Institute for Intelligent Systems i Tyskland.
Detta börjar med en 2D-utskärning av en människokropp och lägger ett 3D-skelett ovanpå formen. Skelettet kan sedan animeras för att skapa känslan av rörelse. Det löser problemet med ställningsuppskattning, om än för en begränsad uppsättning omständigheter.
Koden måste se en utskärning från topp till tå av en kropp framifrån. Den kan hantera vissa typer av ocklusion, till exempel en arm framför kroppen, men kan inte hantera mer komplexa ocklusioner, som att någon sitter med benen i kors. Trots att kartläggningen av utklippet från ett fotografi till ett 3D-skelett producerar inte realistiska animationer.
Det är där Weng och co kommer in. Deras främsta prestation är att utveckla ett sätt att förvränga 2D-utskärningen på ett sätt som skapar en realistisk 3D-modell av kroppen. Vårt viktigaste tekniska bidrag är alltså en metod för att konstruera en animerbar 3D-modell som matchar siluetten i ett enda foto, säger de.
Tidigare har datavetare försökt lösa detta problem genom att deformera ett tredimensionellt kroppsformat nät för att återspegla 2D-utskärningen. Det fungerar inte alltid bra, så Weng och co försöker ett annat tillvägagångssätt.
Deras idé är att kartlägga det kroppsformade nätet i 2D-rymden och sedan anpassa det med 2D-utskärningen med hjälp av en varpalgoritm. Detta identifierar specifika delar av kroppen – huvud, höger arm, höger ben, vänster arm, vänster ben och bål – och förvränger var och en på ett sätt som matchar utskärningen.
Efter att ha utfört justeringen i 2D omvandlar de den tillbaka till 3D. Den här 2D-förvrängningen fungerar bra för att hantera komplexa silhuetter, säger de.
Teamet ägnar särskild uppmärksamhet åt huvudet, som mänskliga tittare tenderar att fokusera på. Noggrannhet i huvudställning är viktigt för bra animation, säger de. Så deras algoritm identifierar också funktioner som blickriktning och huvudvinkel, och använder sedan detta för att få en exakt vinkel för kroppsmaskans huvudposition.
Dessa automatiserade tekniker är bra, men de är inte perfekta. Så teamet har också utvecklat ett användargränssnitt som gör att vem som helst kan ändra skelettets orientering i förhållande till kroppen. Det gör att användare kan korrigera eventuella fel och finjustera animeringen.
Slutresultatet är en imponerande typ av animerad bild. Algoritmen isolerar en människokropp i fotografiet, skär ut den ur bilden och fyller i luckan med en lappfyllningsalgoritm. Den animerar sedan den här kroppen i tre dimensioner för att få den att gå ut ur fotot, springa, hoppa eller vinka, ungefär som de magiska bilderna som Rowling föreställer sig. Algoritmen fungerar till och med i augmented-reality-inställningar.
Vår metod fungerar med en stor variation av helkroppsbilder, ganska frontala bilder, allt från sportfoton till konst och affischer, säger de. Teamet har producerat en video som visar deras metod och resultat här . Det är värt att titta på!
Det är ett intressant arbete med potential att underhålla och informera. Som Weng och co uttryckte det: Vi tror att metoden inte bara möjliggör nya sätt för människor att njuta av och interagera med foton, utan också föreslår en väg för att rekonstruera en virtuell avatar från en enda bild samtidigt som den ger insikt i mänsklighetens tillstånd. modellering från ett enda foto.
Även Rowling skulle säkert bli imponerad.
Ref: arxiv.org/abs/1812.02246 : Photo Wake-Up: 3D Character Animation från ett enda foto