Qeexos pekskärmsteknik kan skilja fingernaglar från knogar

När smartphones skjutit i höjden i popularitet vande vi oss vid att använda våra fingertoppar för att navigera på deras pekskärmar med petningar, knackningar, svep och tvåfingernyper. Det finns mer i våra fingrar än bara tipsen och en startup som heter Definiera syftar till att dra fördel av detta med teknik som kan skilja mellan fingertoppar, naglar och knogar.

Knacka, knacka: Qeexos teknologi kan se skillnaden mellan din fingertopp, nagel eller knoge på en pekskärm.

Det San Jose, Kalifornien-baserade företagets teknologi, kallad FingerSense, kan användas för att göra saker som att ta fram en meny med alternativ (liknande att högerklicka på en mus) i ett e-postmeddelande med en knogeknack, eller aktivera nya typer av kontroller i spel. För närvarande i samtal med telefontillverkare hoppas Qeexo att ha FingerSense installerat i smartphones inom ett år.

Qeexo spreds ut från Carnegie Mellon University, där det började för flera år sedan som ett forskningsprojekt mellan dator-mänsklig interaktion doktorander Chris Harrison och Julia Schwarz . Harrison har redan fått uppmärksamhet för sitt arbete med pekskärmsteknik – på Disney Research hjälpte han till att utveckla Touché, som kan göra nästan vad som helst till en datorinmatningsenhet (se Innovators Under 35: Chris Harrison, 28).

Från början var idén som förvandlades till Qeexo tänkt att användas för att upptäcka olika typer av pennor som används på en stor pekskärm - en yta byggd genom att modifiera ett stort, bakgrundsbelyst Ikea-bord.

Projektet fick dem att fundera på hur sådan teknik skulle kunna användas för att skilja mellan olika delar av fingret på en smartphoneskärm. Att peta och svepa har varit vanligt på dessa enheter sedan Apple släppte den första iPhonen 2007, men vissa funktioner som enkelt borde dras upp i flera appar – som att kopiera och klistra in – har förblivit klumpiga, så det verkade moget för innovation.

Vi går inte runt i världen och petar på det, säger Harrison. Jag kunde inte ens ta mig ut ur det här rummet om allt jag kunde göra var att peta.

De krympte och förfinade sin teknik, packade den i en prototyp som de gjorde genom att modifiera en Samsung-smarttelefon.

Qeexos teknologi förlitar sig delvis på en akustisk sensor som kan fånga upp ljuden - mekaniska vibrationer - som görs av olika typer av beröringar på skärmen från de olika delarna av ett finger. Programvaran på telefonen, som har tränats med flera personer för att se skillnaden mellan olika beröringar, använder information som samlas in av den akustiska sensorn, tillsammans med data som var beröringen inträffade och hur stor den var, för att göra en välgrundad gissning om hur en personen vidrör skärmen.

Jag träffade Harrison och Schwarz i San Jose, där de visade mig demos av flera appar som byggts för att visa upp deras teknik på den tidigare nämnda Samsung-smarttelefonen. En ritapp låter dig rita med spetsen på en handhållen penna, radera med dess motsatta gummiände, smutsa ut bilden med fingret och knacka två gånger med knogen för att få upp en ny sida. En fotovisningsapp låter användaren knacka på en bild för att dra upp en meny med alternativ för att göra saker som att skriva ut, e-posta eller ta bort det fotot.

Deras version av det populära spelet Fruit Ninja kräver att användaren knackar med en knoge för att knäcka en kokosnöt, pressar bär med en fingertopp, skivar bananer med en nagel eller knackar på skärmen med två knogar samtidigt för att rensa en massa frukt på en gång. Det var knepigt att få grepp om alla de olika beröringarna – jag är en fruktninja, men även jag hade svårt med det modifierade spelet. Ändå fungerade tekniken ganska bra - för det mesta identifierade den exakt och snabbt varje beröring.

Men det kan ta ett tag innan sådan teknik är vanlig.

Creative Strategies analytiker Ben Bajarin säger att folk fortfarande vänjer sig vid att använda pekskärmar och multi-touch-funktioner. Han påpekar också att ett antal parter kommer att behöva delta för att något som FingerSense ska bli populärt – inte bara telefontillverkare och Qeexo själv, utan även mjukvaruutvecklare.

Det tar bara tid för sådana ekosystem att utvecklas och komma ombord. Jag skulle säga minst några år, men vi tittar nog på längre tid än så, säger han.

Dölj