211service.com
Muskelbundet datorgränssnitt
Det är en bra tid att kommunicera med datorer. Vi är inte längre begränsade av musen och tangentbordet – pekskärmar och gestbaserade kontroller blir allt vanligare. En startup som heter Emotiv Systems säljer till och med en keps som visar hjärnaktivitet, vilket gör att bäraren kan styra ett datorspel med sina tankar.
Luftgitarr: Programvaran tolkar signaler som skickas från elektromyografisensorer fästa på en underarm, vilket gör att användaren kan styra datorspel som Guitar Hero och Rock Band.
Nu har forskare vid Microsoft, University of Washington i Seattle och University of Toronto i Kanada kommit på ett annat sätt att interagera med datorer: ett muskelstyrt gränssnitt som möjliggör handsfree, gestal interaktion.
Ett band av elektroder fästs på en persons underarm och avläser elektrisk aktivitet från olika armmuskler. Dessa signaler är sedan korrelerade till specifika handgester, som att röra ett finger och tummen tillsammans eller att greppa ett föremål hårdare än normalt. Forskarna tänker sig att använda tekniken för att byta låtar i en MP3-spelare medan de springer eller för att spela ett spel som Guitar Hero utan den vanliga plastkontrollen.
Muskelbaserad datorinteraktion är inte nytt. Faktum är att musklerna nära en amputerad eller saknad lem ibland används för att kontrollera mekaniska proteser. Men medan forskare har utforskat muskel-dator-interaktion för icke-funktionshindrade användare tidigare, har tillvägagångssättet haft begränsad praktisk funktion. Det är svårt att på ett tillförlitligt sätt sluta sig till gester från muskelrörelser, så sådana gränssnitt har ofta begränsats till att känna av ett begränsat antal gester eller rörelser.
Multimedia
Titta på muskel-datorgränssnittet kopplat till Microsoft Surface.
Det nya muskelavkänningsprojektet går efter friska konsumenter som vill ha rikare inmatningsmodaliteter, säger Desney Tan , forskare på Microsoft. Som ett resultat var han och hans kollegor tvungna att komma på ett system som var billigt och diskret och som på ett tillförlitligt sätt kände av en rad gester.
Gruppens senaste gränssnitt, presenterat på Användargränssnitt programvara och teknik konferens tidigare denna månad i Victoria, British Columbia, använder sex elektromyografisensorer (EMG) och två jordelektroder arrangerade i en ring runt en persons övre högra underarm för att känna av fingerrörelser, och två sensorer på den övre vänstra underarmen för att känna igen handklämningar. Även om dessa sensorer är kopplade och individuellt placerade, är deras orientering inte exakt - det vill säga specifika muskler är inte riktade. Det betyder att resultaten bör vara liknande för ett tunt, EMG-armband som en otränad person skulle kunna glida på utan hjälp, säger Tan. Forskningen bygger på tidigare arbete som involverade ett dyrare EMG-system för att känna av fingergester när en hand läggs på en plan yta.
Sensorerna kan inte exakt tolka muskelaktivitet direkt. Programvaran måste tränas för att associera de elektriska signalerna med olika gester. Forskarna använde standardalgoritmer för maskininlärning, som förbättrar deras noggrannhet över tid (metoden liknar den som Tan använder för sina hjärn-datorgränssnitt.)
Vi ägnade mycket tid åt att försöka komma på hur vi skulle få användaren att kalibrera enheten på ett lämpligt sätt, säger Tan. Programvaran lär sig känna igen EMG-signaler som produceras när användaren utför gester på ett specifikt, kontrollerat sätt.
Algoritmerna fokuserar på tre specifika egenskaper från EMG-data: muskelaktivitetens storlek, muskelaktivitetshastigheten och de vågliknande aktivitetsmönstren som uppstår över flera sensorer samtidigt. Dessa tre funktioner, säger Tan, ger ett ganska exakt sätt att identifiera vissa typer av gester. Efter träning kunde programvaran exakt bestämma många av deltagarnas gester mer än 85 procent av tiden och vissa gester mer än 90 procent.
Speciellt i de tidiga stadierna av träningen måste en deltagares gester vägledas noggrant för att säkerställa att maskininlärningsalgoritmerna tränas korrekt. Men Tan säger att även med en liten mängd feedback skulle testpersonerna ganska naturligt anpassa sig och ändra ställningar och gester för att få drastiskt förbättrade prestationer. Han säger att det blev en viktig del av utbildningsprocessen att få användare att utlösa lämplig respons från systemet.
De flesta av dagens datorgränssnitt kräver användarens fullständiga uppmärksamhet, säger Pattie Maes , professor i mediekonst och vetenskap vid MIT. Vi behöver desperat nya gränssnitt som det som utvecklats av Microsoft-teamet för att möjliggöra en mer sömlös integrering av digital information och applikationer i vår hektiska vardag.
Tan och kollegor arbetar nu på en prototyp som använder ett trådlöst band som enkelt kan skjutas på en persons arm, samt ett mycket snabbt träningssystem. Forskarna testar också hur väl systemet fungerar när människor går och springer medan de bär det.
I slutändan, säger Tan, kommer helkroppskontroll att leda till fundamentalt nya sätt att använda datorer. Vi vet att det har något att göra med att gester är mobila, alltid tillgängliga och naturliga, men vi jobbar fortfarande på det exakta paradigmet, säger han.