En app för att förvandla teckenspråk till text

Forskare arbetar på en app som de säger skulle kunna fungera som en sorts översättare för döva. Specifikt skulle appen utnyttja videokameran på en bärbar enhet för att fånga teckenspråk och återge det som text. Tekniken, utvecklad av Technabling, en spin-out från University of Aberdeen, kallas den bärbara teckenspråksöversättaren, eller PSLT .





Sa Ernesto Compatangelo, en av teknikens utvecklare, i en påstående : Användaren loggar in på en standardkamera integrerad i en bärbar dator, netbook, smart telefon eller annan bärbar enhet som en surfplatta. Deras tecken översätts omedelbart till text, som kan läsas av personen de samtalar med ... Avsikten är att utveckla en applikation - en 'app' i smarttelefontermer - som är lättillgänglig och kan användas på olika enheter, inklusive smarta telefoner, bärbara datorer och datorer.

Jag måste erkänna att jag har minimal personlig erfarenhet av att kommunicera med döva, så det är svårt för mig att förstå hur exakt den här appen skulle vara mer effektiv än att till exempel använda block och papper för att kommunicera. Skulle den döva användaren behöva placera enheten på avstånd, signera och sedan lämna över enheten till sin samtalspartner för läsning? Det förefaller mig som att det bästa sättet för den här appen att möjliggöra en sömlös, Babelfish-liknande upplevelse skulle vara att den hörande personen har sin smartphone laddad med appen, har sin kamera tränad på personen som signerar och dessutom har hörlurar som omedelbart återger texten till tal. Technabling, för tillfället, verkar fokusera på tekniken för gestigenkänning, och är mindre bekymrad över exakt hur tekniken skulle implementeras i appform.

Bortsett från det exakta sättet för implementering finns det faktiskt andra, mindre intuitiva skäl att bli upphetsad över en sådan app. En av de coolaste sakerna med appen är att den skulle låta användare skapa sina egna privata eller halvprivata språk. Skriver Technabling:



Detta innebär att vilken som helst undertecknare kan skapa sin egen uppsättning tecken och ... och associera sina egna ord och koncept till dem. På detta sätt kan undertecknare överbrygga den nuvarande kommunikationsklyftan med det bredare samhället runt dem, och kunna använda vilken jargong de behöver i vilken situation de än befinner sig ( t.ex. , i utbildning, i träning, på jobbet, hemma, på språng).

Med andra ord, säg att du är hörselskadad och att du också är extremt intresserad av datavetenskap. Massor av ny jargong och terminologi dyker ständigt upp inom datavetenskap, men amerikanskt teckenspråk kommer sannolikt inte att hänga med i all den jargongen. Du kan använda appen för att uppfinna tecken för att uttrycka dessa bitar av jargong, vilket sparar dig besväret att behöva stava varje ord bokstav för bokstav.

Forskarna ser också en möjlig tillämpning som inte alls involverar att vara döv eller hörselskada. De tror att personer med nedsatt rörlighet och talsvårigheter på grund av ohälsa eller olyckor också kan använda tekniken för att ge kommandon till smarta apparater runt om i huset, med en enkel men effektiv uppsättning handgester skräddarsydda för deras fysiska kapacitet. Med andra ord kan appen så småningom bli något som liknar en mycket smartare version av de där klapp-på-klapp-av-ljusen vars reklamfilm var en parodi på lekplatser för cirka 30 år sedan.



Dölj