211service.com
Hur armband kan översätta teckenspråk
Ett par mitt o geststyrda armband och en dator eller smartphone kan göra det snabbare och lättare för hörselskadade att kommunicera på teckenspråk med dem som inte förstår det.
Det är vad forskare vid Arizona State University säger att de kan göra med ett projekt som heter Spira . De använder armbanden för att lära programvaran en rad amerikanska teckenspråksgester; sedan, när en person som bär banden gör en av dessa skyltar, kan den matchas med dess motsvarande ord eller fras i Sceptres databas och visas som text på en skärm.
Förhoppningen är att underlätta kommunikationen i särskilt akuta situationer, till exempel på en läkarmottagning eller sjukhus, utan att förlita sig på skriftlig kommunikation eller, som någon annan forskning om teckenspråksigenkänning har gjort, att använda kameror för att känna igen teckenspråksgester. A papper om arbetet kommer att presenteras vid en konferens om intelligenta användargränssnitt i mars.
Forskare förlitade sig på Myo-armbanden för att få Scepter att fungera eftersom de inkluderar både en tröghetsmätenhet för att spåra rörelse och elektromyografisensorer för muskelavkänning, som kan användas för att bestämma fingerkonfigurationer. De tränade mjukvara för att känna igen en mängd olika ASL-gester, såväl som tecknen för enskilda bokstäver och siffrorna ett till 10, alla utförda av någon som bär Myo-armbanden.
Sceptre, ett forskningsprojekt som översätter teckenspråk till text med hjälp av Myo-armband, skulle kunna fås att fungera med en dator eller en smartphone.
Efter att ha låtit användare träna sin programvara på 20 olika ASL-gester som pizza, glad och apelsin genom att upprepa var och en av dem tre gånger, fann forskarna att Scepter sedan kunde dechiffrera tecknet korrekt nästan 98 procent av gångerna.
I en video- demonstrerar hur det fungerar, Prajwal Paudyal, en doktorand vid Arizona State University som var medförfattare till tidningen , bär armbanden och signerar flera olika saker som sedan illustreras på en datorskärm, som hela morgonen, huvudvärk och kan inte sova.
Även om tecknen visades som text i studien kunde de också sägas upp högt av en app för att underlätta en konversation, säger Paudyal . Och medan forskarnas demo visade texten på en dators skärm, som Myo-armbanden anslutna till via Bluetooth, kunde Sceptre också användas med bara en smartphone – något som forskarna också arbetar med (Myo stöder streaming av data från två armband till ett smartphone, men forskarna säger att detta inte var möjligt när de utförde sitt första arbete).
Helst kan personen använda detta vart de än går, säger Paudyal.
Sceptre, ett forskningsprojekt från Arizona State University, använder två Myo-armband för att översätta teckenspråk som text.
Roozbeh Jafari , en docent vid Texas A&M:s Center for Remote Healthcare Technologies and Systems, har gjort liknande arbete, även om det innebar att bygga sensorerna snarare än att använda vanliga enheter som ASU-gruppen gjorde.
Han säger att det finns ett antal problem som måste lösas för att få något som Scepter att fungera för konsumenterna. Vanligtvis, när du placerar elektromyografisensorer på kroppen, måste systemet som använder dem kalibreras om de inte är på exakt samma plats som de var på tidigare, säger han. Det finns också ett behov av att ta hänsyn till variationer som naturligt uppstår i hur människor undertecknar samma saker. Trots dessa hinder, säger han, tror jag att vi går i rätt riktning.