Förvandla en vanlig smartphonekamera till en 3D-kamera

Nästan alla bär en kamera nuförtiden i kraft av att de äger en mobiltelefon, men få av dessa enheter fångar de tredimensionella konturerna av objekt som en djupkamera kan.

På film: Med några hårdvaruförändringar, som en ring av nära-infraröda lysdioder, är en Microsoft LifeCam anpassad för att fungera som en djupkamera.

Djupkameror blir snabbt framträdande för sin potential i enheter i fickstorlek, där tanken är att om våra telefoner fångar konturerna av allt från gathörn till arrangemanget av ditt vardagsrum, kan utvecklare skapa applikationer allt från bättre interaktiva spel till hjälpsamma guider för synskadade.

Men samtidigt som ansträngningar som Googles Projekt Tango lägger till djupkameror i mobila prylar, ny forskning från Microsoft visar att med några enkla modifieringar och maskininlärningstekniker kan en vanlig smartphonekamera eller webbkamera användas som en 3D-djupkamera. Tanken är att göra tillgången till att utveckla 3D-applikationer enklare genom att sänka kostnaderna och de tekniska inträdesbarriärerna för sådana enheter, och att göra själva 3D-djupkamerorna mycket mindre och mindre strömkrävande.

Upp med händerna: Forskare vid Microsoft modifierade kameran på en smartphone så att den kan fånga djupet av händer och ansikten.

En grupp ledd av Sean Ryan Fanello, Cem Keskin och Shahram Izadi från Microsoft Research kommer att presentera en papper på arbetet tisdag på Siggraph, en datorgrafik och interaktionskonferens i Vancouver, British Columbia.

För att modifiera kamerorna tog gruppen bort det nära infraröda filtret, som ofta används i vardagskameror för att blockera normalt oönskade ljussignaler i bilder. Sedan lade de till ett filter som bara släppte igenom infrarött ljus, tillsammans med en ring av flera billiga nära-infraröda lysdioder. Genom att göra det fick de i huvudsak varje kamera att fungera som en infraröd kamera.

Om ansikte: Med vissa modifieringar kan forskare på Microsoft använda vanliga kameror för att kartlägga djupet på händer och ansikten.

Vi vände liksom kameran på huvudet, konstaterar Izadi.

Microsofts team säger att de ville använda den reflekterande intensiteten av infrarött ljus som något som en korsning mellan en ekolodssignal och en ficklampa i ett mörkt rum. Ljuset skulle studsa av det närliggande föremålet och återgå till sensorn med motsvarande intensitet. Objekt är ljusa när de är nära och mörka när de är långt borta – intuitivt för oss när det kommer till synligt ljus. Men gruppen behövde träna maskinerna (i det här fallet en Samsung Galaxy Nexus-smarttelefon och en Microsoft LifeCam-webbkamera) i det förhållandet, så att kameran kunde avgöra om den såg till exempel en stor hand på avstånd eller en liten handen på nära håll.

För detta projekt beslutade forskarna att fokusera på bara en utmaning: modellera mänskliga händer och ansikten, inte alla typer av föremål och miljöer. Efter att ha byggt upp en uppsättning träningsdata, som inkluderade bilder av händer, fann gruppen att den kunde mäta en persons rörelser med en hastighet av 220 bilder per sekund. I en demonstration gruppen visade hur sådan spårning kunde användas för att navigera på en karta, till exempel genom att göra grepprörelser eller sprida händerna isär, eller för att spela ett enkelt spel, till exempel genom att praktiskt taget skära en flygande banan i luften.

Träningshand: En hand som fångas av en modifierad kamera som fungerar som en djupkamera (vänster) används av Microsofts forskares maskininlärningsalgoritm för att göra en uppskattning av dess djup (höger).

Medan träningsdatan fokuserade på ansikten och händer tränade gruppen faktiskt inte maskinerna att känna igen händer eller ansikten, som vi skulle tänka på dem, utan bara egenskaperna hos hudens reflektion. Den enorma mängden träningsdata gör att maskinen kan bygga tillräckligt många associationer med datapunkterna i bilderna för att den sedan kan använda ytterligare egenskaper hos bilden för att uppskatta djupet. Microsoft valde skin eftersom det har så många konsekvenser för att navigera i Xbox- och Windows-miljöer, men Kohli påpekar att maskininlärningsteknikerna kan överföras var som helst.

Den enda begränsningen är vilken typ av träningsdata du ger den, säger han. Tillvägagångssättet i sig kan skräddarsys för att fungera på vilket annat scenario som helst.

Dölj