Microsoft Demos Augmented Vision

Idag kommer Microsofts forskare att demonstrera programvara som i realtid kan lägga datorgenererad information ovanpå en digitaliserad bild av den verkliga världen.

Förändrad syn : Den här bärbara datorn kör förstärkt verklighetsprogram som utvecklats av Microsofts ingenjörer. Den kan känna igen en persons plats med den inbyggda kameran. I den här demonstrationen leder virtuella bubblor till en virtuell pott med guld.

Att lägga till ytterligare visuell data till en videoskärm är en teknik som kallas för augmented reality. Michael Cohen , huvudforskare vid Microsoft Research, i Redmond, WA, säger att tillvägagångssättet kan lägga till ytterligare en dimension till framtida smarta telefoner. Du kan vara ute på gatan, hålla upp enheten och den kan känna igen en restaurang och leverera betyg och menyn, säger han. En smart telefon med en förstärkt verklighetsskärm kan också lägga över en bussrutt och en uppskattning av när nästa buss är på väg upp på en viss gata. Det blir i huvudsak din portal till information, säger Cohen.

Cohen och hans kollegor kommer att demonstrera augmented-reality-tekniken kl TechFest , en årlig presentation av Microsofts forskningsprojekt, i Redmond. Deras mjukvara, som körs på en liten bärbar dator, analyserar scener från en kamera, matchar dem som lagras i en databas och lägger över kompletterande information på displayen. Forskarna noterar att en smart telefon med förstärkt verklighet kan hjälpa ingenjörer att se rören eller elkablarna under en gata. I demonstrationen som ges på TechFest kommer programvaran att användas för att leda människor på en skattjakt till ett dolt pris av en (virtuell) pott med guld.

Augmented reality har varit ett aktivt forskningsområde i mer än ett decennium, även om det ofta har krävt en huvudmonterad display och en ryggsäcks värde av datorutrustning. Under de senaste åren har mobiltelefoner och bärbara datorer med kameror och andra sensorer blivit kraftfulla nog att hantera den beräkningsbelastning som krävs för att köra ett system med förstärkt verklighet. Forskare vid Nokia och Columbia University, till exempel, utvecklar också system med förstärkt verklighet, och en japansk startup som heter Tonchidot hoppas kunna förvandla konceptet till en produkt.

De flesta förstärkta verklighetssystem måste kunna orientera sig exakt för att fungera tillförlitligt. Vissa lokaliserar sin position med hjälp av GPS eller genom att triangulera flera Wi-Fi-signaler och bestämmer åt vilket håll de pekar med hjälp av en accelerometer och en digital kompass. Microsofts augmented-reality-enhet fokuserar på att kunna känna igen objekt i en scen med hjälp av sofistikerade datorseendealgoritmer. Eftersom demonstrationen genomförs i den kontrollerade miljön i konferenssalen använder forskarna inte platsdetekterande sensorer; istället förlitar de sig enbart på datorseende.

Att känna igen delar av en scen oavsett vinkel eller ljus är en betydande utmaning. Cohen och hans kollega Simon Winder, senior forskningsingenjör på Microsoft, har utvecklat algoritmer som utför denna uppgift bild för bildruta, för ett videoflöde i realtid. Algoritmen matchar omedelbart ramar till tidigare analyserade bilder lagrade i en databas. Vid utvecklingen av algoritmen bestämde forskarna de bästa parametrarna eller egenskaperna för att hjälpa systemet att matcha varje scen. Cohen förklarar att de använde maskininlärning för att snabbt testa olika parametrar och bestämma de som kommer att ge de bästa matchningarna.

För dagens demo tog Cohens team bilder av konferenssalen där TechFest hålls. Bilderna analyserades med hjälp av programvaran för datorseende, och nyckelfunktionerna lagrades i en databas på en bärbar dator som använder en inbyggd videokamera för att fånga en scen.

På ungefär en tiondels eller femtondels sekund kan programvaran känna igen en scen och slå upp den i en databas, säger Cohen. För skattjaktsspelet som demonstrerades under TechFest visar programvaran ett spår av bubblor som pekar i riktningen som användaren ska gå för att hitta priset.

Eftersom det bara är ett forskningsprojekt, betonar Cohen att det fortfarande finns gott om utrymme för förbättringar. För det första kan parametrarna som används för att identifiera fysiska egenskaper hos objekt förfinas för att göra matchningen ännu mer exakt, säger han.

En annan utmaning att överväga är hur den här typen av system skulle fungera i en mindre kontrollerad miljö, säger Kari Pulli , forskare vid Nokia. Den vanligaste augmented-reality-applikationen är att använda den som museiguide, säger han. Det är lätt att göra eftersom miljön är fixerad. Utmaningen är att se till att sådana system kan fungera i ett okänt sammanhang, som en stadsgata. Men Pulli tror att detta kan bli möjligt tack vare databaser som ägs av Microsoft, Google och Navteq som innehåller bilder av gatuvyer.

Cohen säger att han är optimistisk att datorvisionsalgoritmerna som utvecklats av hans team kan ha otaliga användningsområden – från system med förstärkt verklighet till spel och robotik – men han förutser inte att de kommer att användas i en specifik Microsoft-produkt någon gång snart.

Dölj