Hackare tar Kinect till nya nivåer

Strax efter att Microsoft släppte Kinect-spelenheten hittade hackare ett sätt att dra ut rådata från systemet, vilket radikalt utökade dess potentiella användningsområden. Entusiaster har använt hårdvaran för att rita 3D-klotter i luften med handrörelser, för att leka med virtuella karaktärer på skärmen och låta en robot känna igen gester och kartlägga sin omgivning.

Hand viftar: En mjukvaruplugin som heter DepthJS gör det möjligt att styra en webbläsare med Kinect.

Men ett av Kinect-hackarnas största mål – att kontrollera en dator med gester – visar sig vara svårt att uppnå.

Forskare vid MIT:s Media Lab har skapat ett nytt Chrome-webbläsartillägg som låter användare interagera med vilken webbsida som helst via Kinect om enheten är ansluten till en dator. Deras projekt är ett testfall för löftet och begränsningarna av att hacka Microsofts kringutrustning för spel för icke-spelbruk.

Förlängningen, kallad DepthJS , använder JavaScript för att översätta ett litet antal handgester till kommandon som kan köras av webbläsaren. Till exempel växlar en snabb armrörelse åt vänster mellan öppna webbläsarfönster. Att öppna och stänga en hand fungerar snabbt som ett musklick.

Målet är egentligen inte att använda Kinect som ett praktiskt sätt att surfa på webben. Istället är DepthJS tänkt att fungera som gränssnittet mellan en mängd olika webbapplikationer och gesterna som fångas av Kinect.

Att få in Kinects händelser i webbläsaren handlar om att sänka kostnaden för inträde för att utforska och skapa applikationer med hjälp av djupinformation, säger Doug Fritz från gruppen Fluid Interfaces vid MIT, som arbetade med projektet. Datoranvändare tillbringar större delen av sin tid i webbläsaren, konstaterar Fritz. Och de flesta datorprogrammerare (särskilt webbutvecklare) vet hur man använder JavaScript. Detta gör det till en enkel ingång för Kinect-programmering.

Ett problem är att till skillnad från att använda en mus, tangentbord eller pekskärm, finns det inget allmänt erkänt (eller naturligt intuitivt) ordförråd för gestural computing. Microsoft har utvecklat ett litet antal gester för att låta Kinect-användare navigera i menyer och bläddra bland media på Xbox.

De flesta av oss hade inte ens använt en Kinect med Xbox innan vi började arbeta, så vi var inte riktigt belastade av gestspråket som Microsoft har utvecklat, säger Fritz. Teamet inspirerades av iPhones multitouch-gester och arbete av 3D-datapionjären John Underkoffler . Överraskande nog liknar några av gesterna som skapats för DepthJS de som Microsoft kom med. Just nu är vi i det tillståndet av snabb förändring där människor blandar om bekanta interaktionstekniker med det som känns naturligt, sa Fritz.

Limor Fried och Phillip Torrone från Adafruit Industries, ett företag som levererar utrustning till hårdvaruhackare, hjälpte till att starta loppet för att hacka Kinect genom att lägga ut en prispeng på $3 000 för programvara som kunde ansluta enheten till en vanlig dator.

Båda är entusiastiska över framtiden för Kinect som en färdig sensor för allt från avancerad robotik till konstprojekt. Utvecklare har skapat en stadig ström av videor från olika applikationer med hjälp av Kinect. De här videorna är egentligen bara proof-of-concepts som visar några av möjligheterna till vidareutveckling, säger Fried.

En av de mest populära videorna är en 3D interaktiv docka. Det är roligt, det är intuitivt och det är något som skulle vara riktigt svårt att göra utan den här billiga, färdiga komponenten. Som du bri På väg ner för barriärerna har människor utrymme att vara kreativa.

MIT:s Fritz noterar snabbt att tredimensionell, naturligt användargränssnittsberäkning med hjälp av gestigenkänning och djupsensorer har funnits i forskarvärlden i flera år. Kinect är en banbrytande enhet när det gäller förpackning och implementering av dessa tekniker för konsumenter. Ju mer bekanta användare blir med det, desto mer sannolikt är det att de översätter det till sfärer bortom spel.

Tangentbordet och musen kommer inte någonstans, men det finns mycket utrymme för något mer, och jag tror att folk är redo för det, säger Fritz.

Men varje försök att översätta gester till skärmen stöter oundvikligen på det faktum att vi fortfarande är tredimensionella varelser som försöker interagera med en tvådimensionell värld. De flesta Kinect-spel löser detta problem genom att matcha oss med en avatar på skärmen som imiterar våra rörelser. Oavsett om vi dansar, spelar volleyboll eller forsränning, utför karaktärerna på skärmen en stiliserad version av våra rörelser utanför skärmen.

En lösning kan vara att använda ljusprojektorer för att skapa virtuella objekt i verkliga rymden som vi kan interagera med. Microsoft Research har redan tagit steg i denna riktning med Mobile Surface, en projektorbaserad multitouch-miljö.

Dölj