211service.com
Teckenspråksöversättare
Tvåspråkiga ordböcker är vanligtvis en dubbelriktad gata: du kan slå upp ett ord på engelska och hitta till exempel dess spanska motsvarighet, men du kan också göra tvärtom. Teckenspråksordböcker översätter dock bara från skrivna ord till gester. Detta kan vara oerhört frustrerande, särskilt för föräldrar till döva barn som vill förstå obekanta gester, eller döva som vill interagera online med sitt primära språk. Så Boston University (BU) forskare utvecklar en sökbar ordbok för teckenspråk , där alla användare kan skriva in en gest i en ordboks sökmotor från sin egen bärbara dator genom att logga framför en inbyggd kamera.
Söker efter tecken: Forskare i Boston designar den första teckenspråksordboken som kan sökas med gester. En signerare (bilden) sitter i en studio utrustad med höghastighetskameror som fångar handrörelser och ansiktsuttryck. Videor på en bärbar dator uppmanar henne att göra särskilda tecken. Video av undertecknaren kommer att användas för att träna algoritmer för att identifiera gestmönster.
Du kanske har en samling teckenspråk på YouTube, och nu för att söka måste du söka på engelska, säger vi Stan Sclaroff , professor i datavetenskap vid BU. Det är motsvarigheten, säger Sclaroff, till att söka efter spansk text med hjälp av engelska översättningar. Det är onaturligt, säger han, och det är inte rättvist.
Sclaroff utvecklar ordboken i samarbete med Carol Neidle , professor i lingvistik vid BU, och Vassilis Athitsos, biträdande professor i datavetenskap och teknik vid University of Texas i Arlington. När användaren utför en gest kommer ordboken att analysera den och dra upp de fem bästa möjliga matchningarna och betydelserna.
Dagens teckenspråksigenkänning är [vid] ungefär det stadium där taligenkänning var för 20 år sedan, säger Thad Starner , chef för Contextual Computing Group vid Georgia Institute of Technology. Starners grupp har utvecklats programvara för teckenspråksigenkänning för barn , med hjälp av sensorbelastade handskar för att spåra handrörelser. Han och hans elever har designat pedagogiska spel där hörselskadade barn, som bär handskarna, lär sig teckenspråk. En dator utvärderar handformen och går vidare till nästa övning om ett barn har skrivit rätt.
Till skillnad från Starners arbete, strävar Sclaroff och Neidle efter ett sensorlöst system där alla med kamera och internetuppkoppling kan lära sig teckenspråk och interagera. Tillvägagångssättet, enligt Starner, är unikt inom området teckenspråksigenkänning, såväl som inom datorseende.
Det här kräver mycket processorkraft och att försöka hantera teckenspråk i olika videokvaliteter är väldigt svårt, säger Starner. Så om de är framgångsrika skulle det vara väldigt coolt att faktiskt kunna söka på webben på teckenspråk.
För att ta itu med denna svåra utmaning ber BU-teamet flera undertecknare att sitta i en studio, en i taget, och skriva under 3 000 gester i en klassisk amerikansk teckenspråksordbok (ASL). När de skriver under tar fyra höghastighetskameror av hög kvalitet samtidigt upp front- och sidovyer samt ansiktsuttryck. Enligt Neidle är leenden, rynkor och höjda ögonbryn en till stor del understuderad del av ASL som kan ge starka ledtrådar till en gests betydelse.
När den visuella informationen kommer in analyserar Neidle och hennes elever det, markerar början och slutet av varje tecken och identifierar viktiga undergester – enheter som motsvarar engelska fonem. Samtidigt använder Sclaroff denna information för att utveckla algoritmer som kan till exempel skilja undertecknarens händer från bakgrunden, eller känna igen handposition och form och rörelsemönster. Med tanke på att varje individ skulle kunna skriva under ett ord på ett lite annorlunda sätt, analyserar teamet gester från både infödda och icke-infödda undertecknare, i hopp om att utveckla en datorigenkännare som kan hantera sådana variationer.
Den största utmaningen framöver kan vara att ta hänsyn till de många okontrollerbara faktorerna på användarens sida av gränssnittet, säger Sclaroff. Till exempel, någon som använder en gest för att ange en sökfråga på en bärbar dator kommer att ha en kamera av lägre kvalitet. Bakgrunden kan vara mer rörig än den noggrant kontrollerade studiomiljön i databasexemplen, och datorn måste justera för variabler som kläder och hudton.
Bara att producera skylten och slå upp den – det är den verkliga nyheten vi försöker åstadkomma, säger Neidle. Det skulle vara en förbättring jämfört med allt som finns nu.