Facebooks live-action kamerasystem låter dig ta steg på virtuella platser

Virtual reality har ett bildproblem.

Även om massor av kameror där ute tar sfäriska bilder av verkliga scener som du sedan kan titta på i VR (se 10 Breakthrough Technologies 2017: The 360-Degree Selfie), de flesta av dem fångar inte också djupdata. Det betyder att om du bär ett högkvalitativt virtuell verklighetsheadset som Oculus Rift och tittar på en sfärisk video av t.ex. Eiffeltornet (i stället för en datorrenderad version av det), kommer bilden att röra sig med dig när du hukar, hoppar eller kliver från sida till sida. Detta är i bästa fall irriterande och i värsta fall illamående.

Facebook, som har varit en av de största förespråkarna för virtuell verklighet sedan köpet av headsettillverkaren Oculus 2014, siktar på att fixa detta med två nya sfäriska kamerasystem som presenterades på onsdagen. Båda spelar in live-action-filmer som låter dig röra dig på ungefär en och en halv meter utrymme i virtuell verklighet. Företaget planerar att få dem i produktion senare i år.

Kallas X24 och X6 (siffrorna hänvisar till antalet individuella kameror i varje modell), kan kamerasystemen göra virtuella upplevelser som att titta på konserter, besöka kända landmärken eller utforska museer mycket mer engagerande, oavsett om du gör det på egen hand eller med en annan person. Du behöver fortfarande ett headset som kan spåra din position i rymden och huvudets rotation för att verkligen dra nytta av bilderna.

Vad vi försöker göra med VR i allmänhet är att få folk upp i fördjupningskurvan, sa Facebooks tekniska chef Mike Schroepfer . Slutvisionen är [att få dig] så nära du kan känna att du faktiskt är där.

En handfull företag har redan byggt avancerade kameror för att fånga virtuell verklighet i live-action, som t.ex Nokias Ozo kamera, Googles Jump och Lytro's Immerge (se Lytro bygger en kamera för att fånga virtuell verklighet i live-action). Men bara ett par (Lytro är en av dem) utger sig för att filma och spela in djupinformation som Facebook säger att deras X24 och X6 gör, och inget företag har ännu populariserat en sådan enhet.

Medan X24 och X6 är avsedda för proffs, sa Schroepfer att tekniken så småningom kommer att leda till konsumentprodukter också.

De nya kamerasystemen, som introducerades på Facebooks årliga F8-utvecklarkonferens, kommer ett år efter att det sociala nätverket rullade ut sin UFO-liknande Surround 360 , som hade 17 kameror och var tänkt att fånga skarpa, sfäriska 3D-bilder. Facebook sålde inte Surround 360, men det gjorde tekniken tillgänglig via GitHub för alla som ville göra en med delar från hyllan.

Surround 360 inkluderade dock inte den typ av 3D-information som X24 och X6 kommer att spela in. Med sina linspositioner och tillhörande mjukvara kan de nya systemen rekonstruera hur världen ska se ut när du rör dig, sa Schroepfer.

I demos av råmaterial tagna med X24 som jag såg genom ett Oculus Rift-headset förra veckan såg jag en sfärisk scen av en frodig regnskogsutställning från utsiktspunkten på en catwalk nära toppen av utställningen, med fjärilar som flög förbi, som samt en tunnel inne i ett akvarium med fiskar som simmar runt. Eftersom bilderna inkluderade djupinformation och headsetet kan spåra rörelser med sex frihetsgrader, kunde jag röra mig i scenerna, kolla in träden i regnskogen, turisterna på bänkar i tunneln och fiskar som vandrade över och omkring oss.

Mycket av materialet såg skarpt ut och det var väldigt coolt att kunna röra sig fritt i en verklighetstrogen scen. Ändå behöver tekniken fortfarande arbete, eller åtminstone lite redigering för att städa upp bilderna: lövverket i regnskogen såg till exempel strimmigt ut, och jag märkte en del skimrande på andra ställen också.

Brian Cabral , Facebooks ingenjörschef och ledare för teamet som tillverkade enheterna, sa att kamerornas fysiska arrangemang gör det möjligt att fånga varje pixel i en given scen från många olika vinklar, och sedan används matematik för att uppskatta dess djup.

När du väl vet var det är i scenen kan du flytta runt, sa han och tillade att skimrandet kommer att rensas upp när systemen går i produktion.

Cabral sa att Facebook kommer att licensiera tekniken till flera ännu inte namngivna partners så att de kan göra kameror.

Tanken är att ha flera modeller för att växa ekosystemet, sa han.

Dölj