Att hoppa in i Gesture-Control-eran

En resa till vilken stor elektronikbutik som helst i höst kommer att berätta att datortillverkare från Samsung till Microsoft tror att bärbara och stationära datorer behöver pekskärmar. Men den uppfattningen kan tyckas föråldrad i början av nästa år – tack vare lanseringen av en enhet i storleken på en tändsticksask som lägger till intuitiv gestkontroll till vilken dator som helst. Tekniken, som också anpassas för mobila enheter, skulle till och med kunna lämna den älskade pekskärmen på fickan att se omodern ut.





Fingertoppskontroll: Responsiv geststyrning kan användas för befintlig programvara som det här spelet, eller aktivera nya applikationer helt och hållet.

Leap Motion har fått miljontals visningar med en demo video av sin geststyrningsteknologi och tar emot beställningar på enheten för $70, som ska levereras i början av 2013. En demo av tekniken på startupens kontor förra veckan visade hur svep, petningar och grepp i luften kunde styra 3D-miljöer och befintlig programvara som spelet Fruit Ninja.

Det svarta glaset på Leaps ovansida döljer två små kameror och en handfull infraröda lysdioder, som spårar rörelsen av en persons fingrar med en noggrannhet av en hundradels millimeter, säger företagets medgrundare och VD, Michael Buckwald.



Buckwald säger att Leap tillhandahåller lösningen på gorillaarm, en term som används för att beskriva den tveksamma ergonomin hos en person som upprepade gånger lyfter sina händer från tangentbordet eller musen och sträcker ut handen för att styra en dators pekskärm. Användare av Leaps enhet kan lyfta händerna lite från tangentbordet och göra mer ekonomiska gester med fingrarna.

Om du styr en markör [med Leap] behöver du inte flytta en-till-en med skärmen, som du gör med beröring, säger Buckwald, så en liten fingerrörelse kan korsa ett mycket större avstånd på skärmen . Det brukar göra det betydligt snabbare än att använda mus och tangentbord, säger han.



Värdet av tillvägagångssättet är redan uppenbart för vissa datortillverkare. Vi arbetar med massor av konsument-OEM och för bärbara datorer, säger Buckwald, men även fordons- och medicinföretag.

Leap Motions tekniska chef och medgrundare David Holz tillägger att mobila enheter också kommer att få tekniken. Vi försöker integrera i smartphones och små saker som det, säger han. Det kommer också att finnas nya enheter – du kan inte sätta ett tangentbord på en huvudmonterad skärm.

Holz säger att pekskärmar ökade i popularitet eftersom de är mer intuitiva att använda än tangentbord och möss, men menar att de är begränsade på ett sätt som Leap inte är. Faktum är att du egentligen inte kan göra någonting med en surfplatta, med tryck och svep, men det känns naturligt, säger han, vilket betyder att folk älskar pekskärmar men inte enkelt kan skapa innehåll med dem. Vi har samma naturliga upplevelse men vi har mer kraft.



Oberoende verifiering av Leap Motions potential har börjat sippra ut de senaste dagarna, på grund av att företaget skickat tusentals förproduktionsversioner av enheten till mjukvaruutvecklare som är intresserade av att skapa applikationer som använder tekniken. Många utvecklare har lagt upp videor som visar deras experiment, och även om Leaps grundare betonar att de bara är resultatet av kortsiktigt arbete, verkar videorna imponerande. En ingenjör på National Instruments tog till exempel mindre än 24 timmar på sig att skapa mjukvara som gör att ett litet quadrotorflygplan kan styrs av positionen och vinkeln en person håller i sin hand .

Det var otroligt enkelt att ta koden som tillhandahölls, gränssnitta med den och börja skapa demos, säger Milan Raj, som byggde den demon. Vad som är ännu mer spännande är att eftersom [utvecklarens kit] fortfarande är i förhandsgranskningsstadiet läggs fler funktioner till som gör att fånga specifika rörelser ännu enklare.

Leap kan förlita sig mycket på idéer från tredjepartsutvecklare för att göra dess nya gränssnitt övertygande. Och företaget kommer att driva en appbutik för att tillhandahålla en central resurs för Leap-kapabel programvara.



Holz säger att medan de första apparna kommer att vara relativt enkla, som foto-bläddring demo skapad av en annan utvecklare, på längre sikt kommer Leap att användas för mycket komplexa interaktioner. Du kommer att nå in i en 3D-värld och ta tag i och flytta saker.

En av de mest imponerande delarna av en personlig demo av Holz var när han började arbeta på en bit simulerad lera. Han sträckte ut handen och tryckte och drog med fingrarna i luften framför monitorn och skapade ett stiliserat människohuvud på ungefär en minut.

Juan vax , en biträdande professor vid Purdue University som bygger gestala gränssnitt för att hjälpa kirurger arbeta med robotar i operationssalen , säger att gester kan hjälpa till att ta bort en barriär mellan människor och deras teknik. Om gester är väl utformade kan de vara intuitiva [och] lätta att komma ihåg och utföra, säger han och tillägger att demos av Leap-gränssnittet ser fantastiska ut.

Wachs säger att om Leap Motion gör det enkelt att känna igen anpassade gester, skulle det påskynda utvecklingstiden för projekt som hans egna. Vi ser fram emot releasen för att köpa några till mitt labb.

Leap Motions närmaste konkurrent kan vara Kinect, Microsofts kroppsspårningssensor för Xbox-spelkonsolen. Men även om mjukvaruutvecklare snabbt visade hur det kunde användas till mer än spel (se Hackers Take the Kinect to New Levels), väntade Microsoft nästan ett år innan de släppte verktyg för att uppmuntra sådana experiment. En version av Kinect utformad för att ge geststyrning till Windows stationära och bärbara datorer är nu tillgänglig för utvecklare men inte konsumenter (Microsofts plan för att skapa en era av gestkontroll).

Leaps grundare kommer inte att dela exakta detaljer om sin teknologi, men Holz säger att till skillnad från Kinect projicerar Leap inte ett rutnät av infraröda punkter på världen som spåras för att ta reda på vad som rör sig och var ( se mönstret som produceras av Kinect-sensorn ).

Trots två kameror använder Leap inte stereovisionstekniker för att bestämma djupet, säger Holz. Istället ska den andra kameran tillhandahålla en extra informationskälla och förhindra fel på grund av att delar av en persons hand skymmer sig själv eller den andra handen.

Enheten för $70 innehåller två relativt enkla kretskort, där det största chippet är det som hanterar USB-anslutningen. All bearbetning som behövs för gestspårning görs av drivrutinsprogramvara installerad på en användares dator. Hårdvaran fungerar nästan inte, säger Holz. Målet var att använda så lite hårdvara som möjligt.

Dölj