211service.com
Transkriberar rösten i ditt huvud
Lorrie Lejeune / MIT
MIT-forskare har utvecklat ett datorgränssnitt som kan transkribera ord som användaren verbaliserar internt men som faktiskt inte talar högt.
Elektroder i den bärbara enheten fångar upp neuromuskulära signaler i käken och ansiktet som utlöses av att säga ord i ditt huvud men som inte går att upptäcka för det mänskliga ögat. Signalerna matas till ett maskininlärningssystem som har tränats för att korrelera specifika signaler med speciella ord.
Enheten, kallad AlterEgo, innehåller även benledningshörlurar, som överför vibrationer genom ansiktsben till innerörat. Eftersom hörlurarna inte blockerar hörselgången kan systemet förmedla information utan att avbryta samtalet eller störa hörselupplevelsen.
AlterEgo tillhandahåller en privat och diskret kanal för att överföra och ta emot information, låta bärare göra sådant som oupptäckbart posera och ta emot svar på svåra beräkningsproblem eller tyst rapportera motståndares drag i ett schackspel och lika tyst ta emot dator--rekommenderade svar.
Vi kan i princip inte leva utan våra mobiltelefoner, säger Pattie Maes, professor i mediekonst och vetenskap och avhandlingsrådgivare för Arnav Kapur, Media Lab-studenten som ledde systemets utveckling. Men för närvarande är användningen av dessa enheter mycket störande. Om jag vill slå upp något som är relevant för en konversation jag har måste jag hitta min telefon och skriva in lösenordet och öppna en app och skriva in ett sökord. Målet med AlterEgo var att bygga ett icke-invasivt intelligensförstärkningssystem som skulle kontrolleras helt av användaren.
Tanken att interna verbaliseringar har fysiska korrelat har funnits sedan 1800-talet, och den undersöktes på allvar på 1950-talet. Ett syfte med snabbläsningsrörelsen på 1960-talet var att eliminera denna subvokalisering, som den är känd.
Men subvokalisering som ett datorgränssnitt är till stor del outforskat. För att avgöra vilka ansiktsplatser som ger de mest tillförlitliga neuromuskulära signalerna fäste forskarna 16 elektroder på forskarpersonernas ansikten och lät dem subvokalisera samma serie av ord fyra gånger.
Forskarna skrev kod för att analysera de resulterande data och fann att signaler från sju elektrodplatser konsekvent kunde särskilja subvokaliserade ord. I en artikel som de presenterade på Association for Computing Machinerys ACM Intelligent User Interface-konferens, beskrev de en prototyp av ett bärbart gränssnitt för tyst tal, som sveper sig runt baksidan av nacken som ett telefonheadset och har tentakelliknande böjda bihang som berör ansiktet på sju ställen på vardera sidan av munnen och längs käkarna.
Men i efterföljande experiment uppnådde forskarna jämförbara resultat med endast fyra elektroder längs en käke, vilket skulle kunna göra en mindre påträngande enhet.
Efter att ha valt elektrodplatserna samlade forskarna in data om några beräkningsuppgifter med vokabulär på cirka 20 ord vardera. En var aritmetik, där användaren subvokaliserade stora additions- eller multiplikationsproblem; en annan var schackapplikationen, där användaren rapporterade drag med det vanliga schacknumreringssystemet.
Sedan använde de för varje applikation en neuralt nätverk att hitta samband mellan särskilda neuromuskulära signaler och särskilda ord.
Med hjälp av prototypgränssnittet genomförde forskarna en användbarhetsstudie där 10 försökspersoner ägnade cirka 15 minuter åt att anpassa den aritmetiska applikationen till sin egen neurofysiologi och ytterligare 90 minuter med att använda den för att utföra beräkningar. I den studien var transkriptionsnoggrannheten i genomsnitt cirka 92 procent. Men, säger Kapur, prestanda bör förbättras med mer träningsdata, som kan samlas in under vanlig användning.
I det pågående arbetet samlar forskarna in data om mer genomarbetade samtal, i hopp om att bygga applikationer med mycket mer expansiva ordförråd. Säger Kapur, jag tror att vi kommer att nå en fullständig konversation en dag.