Möt Framtidens kvickfingrade gränssnitt

Microsofts Kinect, en 3D-kamera och mjukvara för spel, har haft stort genomslag sedan lanseringen 2010. Åtta miljoner enheter såldes under produktens första två månader på marknaden när människor ropade på att spela videospel med hela kroppen i istället för handhållna kontroller. Men även om Kinect är bra för helkroppsspel, är det inte användbart som gränssnitt för personlig datoranvändning, delvis eftersom dess algoritmer inte snabbt och exakt kan upptäcka hand- och fingerrörelser.





Fingermus: 3Gear använder djupavkännande kameror för att spåra fingerrörelser.

Nu har en San Francisco-baserad startup som heter 3Gear utvecklat ett gestgränssnitt som kan spåra snabbrörliga fingrar. Idag kommer företaget att släppa en tidig version av sin mjukvara till programmerare. Installationen kräver två 3D-kameror placerade ovanför användaren till höger och vänster.

Förhoppningen är att utvecklare ska skapa användbara applikationer som utökar räckvidden för 3Gears handspårningsalgoritmer. Så småningom, säger Robert Wang, som var med och grundade företaget, kunde 3Gears teknologi användas av ingenjörer för att skapa 3D-objekt, av spelare som vill ha precisionsspel, av kirurger som behöver manipulera 3D-data under operationer och av alla som vill en dator för att göra hennes bud med en vinka med fingret.



Ett problem med gestalgränssnitt – såväl som skrivbordsskärmar med pekskärm – är att de kan vara obekväma att använda. De leder ibland till en värk dubbad gorillaarm. Som ett resultat, säger Wang, fokuserade 3Gear på att göra sitt gestgränssnitt praktiskt och bekvämt.

Om jag vill jobba vid mitt skrivbord och använda gester så kan jag inte göra det hela dagen, säger han. Det är inte exakt och det är inte ergonomiskt.

Nyckeln, säger Wang, är att använda två 3D-kameror ovanför händerna. De är för närvarande riggade på en metallram, men kan så småningom klippas fast på en bildskärm. En vy från ovan gör att händerna kan vila på ett skrivbord eller stanna på ett tangentbord. (Medan 3Gears mjukvaruutvecklingssats är gratis under sin offentliga beta, som varar till 30 november, måste utvecklare köpa sin egen hårdvara, inklusive kameror och ram.)



Andra projekt har ersatt pekskärmar med sensorer som sitter på skrivbordet och pekar upp mot skärmen, som fortfarande kräver att användaren sträcker sig framåt, bort från tangentbordet, säger Daniel wigdor , professor i datavetenskap vid University of Toronto och författare till Modig STOR värld , en bok om berörings- och gestgränssnitt. Den här lösningen försöker lösa det.

3Gear är inte ensam om sin önskan att ta itu med de finare punkterna med gestspårning. Tidigare i år släppte Microsoft en uppdatering som gjorde det möjligt för personer som utvecklar Kinect för Windows-programvara att spåra huvudposition, ögonbrynsposition och formen på en mun. Dessutom israelisk startup Omek , belgisk startup SoftKinetic , och en startup från San Francisco ringde Leap Motion – som hävdar att dess lilla system med en kamera kommer att spåra rörelser till en hundradels millimeter – är alla på jakt efter en position på den nya gest-gränssnittsmarknaden.



Handspårning är ett svårt, långvarigt problem, säger Patrick Baudisch , professor i datavetenskap vid Hasso-Plattner-institutet i Potsdam, Tyskland. Han noterar att det finns en historia av att använda besvärliga handskar eller färgmarkörer på fingrarna för att uppnå denna typ av spårning. Ett gränssnitt utan dessa extrafunktioner är mycket önskvärt, säger Baudisch.

3Gears system använder två djupkameror (samma typ som används med Kinect) som fångar 30 bilder per sekund. Placeringen av en användares händer och fingrar matchas till en databas med 30 000 potentiella hand- och fingerkonfigurationer. Processen att identifiera och matcha databasen – ett välkänt tillvägagångssätt inom gestigenkänningsfältet – sker inom 33 millisekunder, säger Wang, så det känns som att datorn kan se och svara på till och med en millimeters fingerrörelse nästan omedelbart.

Även med det ökande intresset för gestigenkänning för händer och fingrar kan det ta tid för icke-spelare och icke-ingenjörer att ta till sig tekniken.



I scenariot för skrivbordsutrymme och produktivitet är det en mycket mer utmanande försäljning, konstaterar Johnny lee , som tidigare arbetat på Microsoft i Kinect-teamet och nu arbetar på Google. Du måste tävla med musen, tangentbordet och pekskärmen framför dig. Ändå, säger Lee, är han glad över att se vilken typ av applikationer som kommer att dyka upp när djupkameror sjunker i pris, algoritmer för 3D-avkänning fortsätter att förbättras och fler utvecklare ser gester som ett användbart sätt att interagera med maskiner.

Dölj