Microsofts plan för att skapa eran av gestkontroll

Medan de flesta rubrikerna om Microsoft i höst kommer att handla om dess nya operativsystem, Windows 8, och dess nya Surface-surfplatta, arbetar företaget också hårt på ett långsiktigt arbete för att återuppfinna hur vi interagerar med befintliga datorer. Företaget vill göra det lika vanligt att vifta med armarna mot eller prata med en dator som det är att sträcka sig efter en mus eller pekskärm idag.

Det är målet med ett program som heter Kinect för Windows , som syftar till att placera det enormt framgångsrika speltillbehöret Kinect varhelst Microsofts allestädes närvarande operativsystem finns. Den är också utformad för att tillåta datorer att användas på nya sätt - till exempel av kirurger som inte vill röra ett tangentbord med steriliserade händer mitt under operationen.

Vi försöker uppmuntra utvecklare av [mjukvaru] att skapa en helt ny klass av appar som styrs av gester och röst, säger Peter Zatloukal, ingenjörschef för Kinect för Windows-programmet.

Det dröjde inte länge efter att Kinect först lanserades som mjukvaruingenjörer började använda den för olika användningsområden, såsom robotnavigering eller styrning av en webbläsare (se Hackare tar Kinect till nya nivåer). Kinect för Windows är tänkt att utnyttja den entusiasmen och göra tekniken utbredd.

Zatloukal säger att resultatet kommer att vara i nivå med andra stora förändringar i hur vi styr datorer. Vi använde från början tangentbord, sedan var musen och GUI:erna en stor innovation, nu är beröring en stor del av människors liv, säger han. Förloppet kommer nu att gå till röst och gest. Hälsovård, tillverkning och utbildning är alla områden där Zatloukal förväntar sig att se Kinect för Windows lyckas. Ett vanligt tangentbord, mus eller pekskärm kan vara svårt att använda i klassrum och sjukhusavdelningar eller på fabriksgolv.

En Kinect-enhet använder infraröda och konventionella kameror för att spåra gester och en mikrofon för att ta röstinmatning (se Hack: Microsoft Kinect ). Kinect för Windows-utrustning började säljas i februari för $249 och är nu tillgänglig i 32 länder. Tidigare denna månad gjorde Microsoft hårdvaran tillgänglig för första gången i Kina, ett land med både många potentiella kunder och ett ansenligt antal datortillverkare.

För att plattformen ska nå miljontals människor behöver Microsoft mjukvaruutvecklare för att skapa mördande applikationer. Tillsammans med hårdvaran tillhandahåller företaget en mjukvaruutvecklarsats, eller SDK, som erbjuder en rad färdiga verktyg, inklusive röstigenkänning och spårning av kroppsdelar. Tidigare denna månad utökades detta för att tillåta applikationer som känner av objekt och människor mer än fyra meter bort och gör det möjligt att styra mjukvara med en virtuell markör.

Vi öppnade upp mycket mer av datan från sensorn, säger Zatloukal. Till exempel, genom att använda infraröd kan dina appar se i mörkret nu. Det kan tillåta ett Kinect-baserat system att förstå gester medan en person tittar på TV i ett mörkt rum.

Zatloukal kommer inte att prata om exakt hur Microsoft kommer att ta Kinect för Windows till marknaden. Hårdvaran säljs för närvarande endast av mjukvaruutvecklare, men om många program blir tillgängliga kan Microsoft erbjuda den direkt till konsumenter, eller uppmuntra datortillverkare att kombinera den med stationära datorer, bärbara datorer eller bildskärmar istället för en vanlig webbkamera.

Vissa stora företag, inklusive Bloomingdale's och Nissan, samarbetar med Microsoft för att testa möjliga applikationer. Nissan har introducerat ett geststyrt system för återförsäljare som låter potentiella köpare titta in i en virtuell version av en ny bil. Samtidigt dyker det upp startups som säljer system baserade på Kinect för Windows (se Möt Framtidens Nimble-Fingered Interface ).

En sådan startup är GestSure , baserat i Seattle, som säljer en produkt baserad på Kinect för Windows som låter kirurger använda gester för att styra en dator som visar medicinska bilder. Även om det är avgörande att hänvisa till skanningar och andra bilder i operationssalen, kan kirurger inte använda en dator utan att röra en oseriliserad kontroller och behöva skrubba upp igen, eller be en sjuksköterska att använda datorn åt dem. Båda dessa alternativ slösar bort värdefull tid, säger Jamie Tremaine, medgrundare och VD för startupen.

GestSure säljer en box som, när den är ansluten till en operationsrumsdator, väntar på att en kirurg ska ge en specifik handsignal och sedan spårar läkarens armar för att tillåta kontroll över markören. När det inte finns något hinder för att hänvisa till bilder, kontrollerar kirurger [dem] mycket mer, säger Tremaine.

Tremaine säger att Kinect-hårdvarans förmåga att uppfatta djup gör det lättare att känna igen och spåra objekt, något mycket utmanande med en vanlig kamera. Det övertrumfar till och med röstigenkänning, säger han. Röstigenkänning är 95 till 98 procent korrekt, så en gång av 50 kommer det inte att fungera, säger han. Det här fungerar som ett verktyg – det kommer att fungera för dig varje gång.

Andra nystartade företag som bygger produkter kring Kinect för Windows inkluderar Gå inte in , som använder den för att hjälpa människor med fysisk rehabilitering efter en stroke. Användare kan arbeta igenom övningar hemma medan deras dator tittar noga och ger feedback. Ett annat företag, Freak'n Genius , erbjuder gestbaserad animeringsprogramvara.

Mark Bolas , en docent och chef för Mixed Reality Lab vid University of Southern California, säger att tekniken i Kinect för Windows kan hjälpa till att göra det mer naturligt att använda datorer. När vi använder en dator idag tänker vi på våra kroppar som en fingertopp eller högst två fingertoppar, säger han. Men människor utvecklades för att kommunicera med hela sin kropp.

Bolas forskargrupp experimenterar med att använda Kinect för att spåra mycket subtila beteenden – övervaka upp- och nedgången av en persons bröstkorg för att mäta andningsfrekvensen, till exempel. Det är en bra signal för stress och användbar för telefonkonferenser, säger han.

Att visa en indikation på någons andningsfrekvens under ett videosamtal gör att andra kan förstå en person bättre, säger han, och kan visa när man ska börja prata utan att avbryta. Gruppen har också experimenterat med att upptäcka fidlande eller defensivt kroppsspråk som korslagda armar. Förhoppningen är att ta itu med de sociala ledtrådar som går förlorade när videosamtal ersätter kommunikation ansikte mot ansikte, säger Bolas. Kött är viktigt, säger han, och Kinect tar med det till datorer.

Dölj