Googles Deep Learning Machine lär sig att syntetisera verkliga bilder

Google Street View erbjuder panoramautsikt över mer eller mindre vilken stadsgata som helst i stora delar av den utvecklade världen, såväl som utsikter längs otaliga gångvägar, inuti köpcentra och runt museer och konstgallerier. Det är en extraordinär bedrift av modern ingenjörskonst som förändrar vårt sätt att tänka på världen omkring oss.

Men även om Street View kan visa oss hur avlägsna platser ser ut, visar den inte hur processen att resa eller utforska skulle se ut. Det är lätt att komma på en lösning: spela helt enkelt en sekvens av Street View-bilder efter varandra för att skapa en film.

Men det fungerar inte så bra som du kan föreställa dig. Att köra dessa bilder med 25 bilder per sekund eller däromkring gör att landskapet går löjligt snabbt. Det kan vara acceptabelt när landskapet inte förändras, kanske längs motorvägar och motorvägar eller genom oföränderliga landskap. Men det är helt oacceptabelt för livliga gatuvyer eller inne i ett konstgalleri.

Så Google har kommit på en lösning: lägg till ytterligare bildrutor mellan de som spelats in av Street View-kamerorna. Men hur ska dessa ramar se ut?

Idag avslöjar John Flynn och kompisar på Google hur de har använt företagets enorma maskininlärningskunskap för att ta reda på hur dessa saknade ramar ska se ut, bara studera ramarna på vardera sidan. Resultatet är en beräkningsfilmsmaskin som kan förvandla mer eller mindre vilken sekvens av bilder som helst till smidig film genom att interpolera de saknade bildrutorna.

Utmaningen Flynn och co ställer sig är okomplicerad. Givet en uppsättning bilder av en viss plats, är målet att syntetisera en ny bild av samma område från en annan synvinkel.

Det är inte lätt. En exakt lösning skulle kräva full 3D-kunskap om all synlig geometri i den osynliga vyn som i allmänhet inte är tillgänglig på grund av ockluderare, säger Flynn och co.

Det är faktiskt ett problem som datavetare har kliat sig i huvudet i årtionden och ett som är nära relaterat till problemet med att uppskatta 3D-formen av en scen givet två eller flera bilder av den.

Datavetare har utvecklat olika sätt att lösa detta problem, men alla lider av liknande problem, särskilt där information saknas på grund av att ett objekt blockerar ett annat. Detta leder till rivning, där det inte finns tillräckligt med information, och till att fina detaljer försvinner. En särskild utmaning är föremål som innehåller fina detaljer och som också är självslutande, som träd.

Flynn och cos nya tillvägagångssätt är att träna en maskinseendealgoritm för att ta reda på hur den nya bilden ska se ut efter att ha tränats på ett stort dataset av sekventiella bilder.

Uppgiften för datorn är att behandla varje bild som en uppsättning pixlar och att bestämma djupet och färgen på varje pixel givet djupet och färgen på motsvarande pixlar i bilderna som kommer att visas före och efter den i filmen.

De tränade sin algoritm, kallad DeepStereo, med hjälp av bilder av gatuscener tagna av ett fordon i rörelse. De använder faktiskt 100 000 av dessa sekvenser som en träningsdatauppsättning.

De testade det sedan genom att ta bort en bildruta från en sekvens av Street View-bilder och be den återskapa den genom att bara titta på de andra bilderna i sekvensen. Slutligen jämför de den syntetiserade bilden med den som togs bort, vilket ger dem en sorts guldstandard att kontrastera mot.

Resultaten är imponerande. Sammantaget producerar vår modell rimliga utdata som är svåra att omedelbart skilja från originalbilderna, säger Flynn och co.

Den återger framgångsrikt svåra ämnen som träd och gräs. Och när det misslyckas, som med spegelreflektioner, gör det det på ett graciöst sätt snarare än genom att slita.

I synnerhet hanterar den rörliga föremål bra. De verkar suddiga på ett sätt som framkallar rörelseoskärpa, säger de.

Metoden är dock inte perfekt. Märkbara artefakter i våra resultat inkluderar en liten förlust av upplösning och försvinnandet av tunna förgrundsstrukturer, säger Google-teamet. Och partiellt ockluderade ämnen tenderar att bli översuddiga i utdata.

Det är också beräkningsintensivt. Flynn och co säger att det tar 12 minuter på en flerkärnig arbetsstation att producera en enda nysyntetiserad bild. Så dessa bilder kan inte produceras i farten. Teamet förväntar sig dock att förbättra detta i framtiden genom att optimera bildgenereringsprocessen.

Det är ett imponerande arbete som återigen visar potentialen hos tekniker för djupinlärning. Laget visar upp sina resultat i videon publicerad här , som visar filmer gjorda från Street View-data.

Men det bör också ha andra applikationer för att generera innehåll för telekonferenser, virtuell verklighet och film. Det kan till och med minska arbetsbelastningen för stoppramsanimatorer.

Hur som helst, förvänta dig att se Google Street View-resefilmer översvämma webben inom en inte alltför avlägsen framtid.

Ref: arxiv.org/abs/1506.06825 : DeepStereo: Lär dig att förutsäga nya vyer från världens bilder

Dölj