Hur Magic Leaps Augmented Reality fungerar

En startup i Florida ringde Magiskt språng meddelade i tisdags att det hade fick 542 miljoner dollar i finansiering från stora Silicon Valley-investerare ledda av Google för att utveckla hårdvara för en ny typ av augmented reality-hårdvara. Den hemlighetsfulla startupen har ännu inte offentligt beskrivit eller demonstrerat sin teknik och avböjde en intervjuförfrågan. Men patent- och varumärkesansökningar avslöjar den typ av teknik som Magic Leap planerar att använda för att skapa det som företagets VD och grundare Rony Abovitz har ringt det mest naturliga och människovänliga bärbara datorgränssnittet i världen.

TILL patentansökan av startup Magic Leap beskriver en bärbar skärm som presenterar realistiska 3D-bilder, driven av en dator som bärs på höften.

Ansökningarna beskriver sofistikerad bildskärmsteknik som kan lura det mänskliga visuella systemet bättre än befintliga virtuella verklighetsskärmar (som Oculus Rift) att uppfatta virtuella objekt som verkliga. Displaytekniken som används i de flesta enheter kan endast visa platta 2D-bilder. Headset som Oculus Rift lurar din hjärna att uppfatta djup genom att visa olika bilder för varje öga, men dina ögon är alltid fokuserade på den platta skärmen precis framför dem.

När du tittar på en riktig 3D-scen ändras djupet som dina ögon är fokuserade på när du tittar på objekt på olika avstånd. Om vi ​​utelämnar dessa fokussignaler får vi en upplevelse som inte är riktigt realistisk, säger vi Gordon Wetzstein , som leder Computational Imaging Research Group vid Stanford University.

Magic Leaps patent föreslår ett alternativt tillvägagångssätt. De beskriver skärmar som kan skapa samma typ av 3D-mönster av ljusstrålar, kända som ljusfält, som våra ögon tar in från de verkliga föremålen runt omkring oss. Wetzstein och andra forskare har visat att detta gör att dina ögon kan fokusera på djupet av en artificiell 3D-scen precis som de skulle göra i den verkliga världen – vilket ger en mycket mer realistisk illusion av virtuella objekt sammanslagna med den verkliga världen.

Tidigare i år använde Wetzstein och kollegor den tekniken för att skapa en display som gör att text kan läsas tydligt av personer som inte har på sig sina vanliga korrigerande linser (se Prototype Display Lets You Say Goodbye to Reading Glasses ). Han arbetade tidigare på glasögonfria 3D-skärmar baserat på liknande metoder. Och förra året visade forskare vid chipföretaget Nvidia ett grundläggande bärbar display baserat på ljusfält.

TILL varumärkesanmälan från juli beskriver Magic Leaps teknologi som bärbar datorhårdvara, nämligen ett optiskt displaysystem som innehåller en dynamisk ljusfältsdisplay.

En av Magic Leaps patent beskriver hur en sådan enhet, kallad WRAP, för vågledarreflektorprojektor, skulle fungera. Skärmen skulle bestå av en rad många små böjda speglar; ljus skulle levereras till den matrisen via optisk fiber, och vart och ett av de små elementen skulle reflektera en del av det ljuset för att skapa ljusfältet för en viss punkt i 3D-rymden. Arrayen kan vara halvtransparent för att låta en person se den verkliga världen samtidigt.

Flera lager av sådana små speglar skulle tillåta displayen att producera en illusion av virtuella objekt på olika avstånd. Men Magic Leaps patent hävdar också att ett enda lager av speglarna skulle vara tillräckligt om de bildades av magnetisk vätska. Det skulle göra det möjligt för speglarna att omprogrammeras med hjälp av ett magnetfält för att snabbt visa punkter på olika djup tillräckligt snabbt för att lura ögat, som ramarna i en animation.

Magic Leaps största utmaning kan vara att hitta ett sätt att sömlöst integrera virtuella 3D-objekt skapade av den skärmen med vad en person ser i den verkliga världen. Att göra det skulle kräva att systemet känner av världen i 3D och förstår exakt vad en person tittar på och dess exakta position, säger Wetzstein.

Ett av Magic Leaps patent täcker användningen av rörelsesensorer och ögonföljande kameror på en bärbar display för att ta reda på vilket djup en persons ögon är fokuserade. Men Wetzstein säger att han inte känner till någon som ännu demonstrerar ett bärbart system som kan spåra avståndet en person fokuserar på.

En annan av Magic Leaps patentansökningar säger att kameror, infraröda sensorer och ultraljudssensorer kan användas för att känna av miljön runt en person och för att känna igen gester. Djupavkännande kameror är nu relativt billiga och kompakta (se Intel säger att surfplattor och bärbara datorer med 3D Vision kommer snart ). Men Wetzstein säger att Magic Leap sannolikt kommer att behöva göra stora genombrott inom datorseende programvara för en bärbar enhet för att förstå världen nog för mycket rik förstärkt verklighet. De kommer att kräva mycket kraftfull 3D-bildigenkänning, som körs på din huvudmonterade display, säger han.

Företaget rekryterar experter inom chip design och tillverkning , uppenbarligen i syfte att skapa anpassade chips för att bearbeta bilddata. Dedikerade chips skulle kunna göra det mer energieffektivt, något viktigt för en bärbar enhet. Magic Leap har redan anställt Gary Bradski , en pionjär inom datorseende forskning och programvara, konstaterar Wetzstein. Magic Leap försöker också rekrytera personer som är skickliga inom lasrar , mobil och trådlös elektronik, kameror, hantering av tillverkningskedjan, 3D-avkänning , artificiell intelligens , och utveckling av videospel .

Sammantaget har många av de underliggande teknikerna Magic Leap behöver för att förverkliga mycket realistisk förstärkt verklighet demonstrerats, säger Wetzstein. Men företaget kommer att behöva förfina och kombinera dem på sätt som ingen ännu har lyckats göra. Jag tror att folk börjar inse att det här är framtiden för att bygga konsumentenheter, säger han. Men det innebär stora utmaningar i skärningspunkten mellan optik, elektronik, algoritmer och förståelse av det mänskliga visuella systemet.

Dölj