Ett tungspårande konstgjord struphuvud

Forskare i Sydafrika arbetar på en ny typ av konstgjord struphuvud som inte kommer att ha den raspiga rösten från befintliga enheter. Systemet spårar kontakten mellan tungan och gommen för att avgöra vilket ord som kommer i munnen, och använder en talsyntes för att generera ljud.





Ta kontakt: Palatometern i den översta bilden används normalt vid logopedi. Forskare i Sydafrika tränar enheten för att känna igen ord som kommer från personer som har fått struphuvudet borttaget. Rum-tid-grafen i den nedre bilden motsvarar kontaktmönstret för tunga och gom för ordet varit.

Enligt National Cancer Institute , cirka 10 000 amerikaner diagnostiseras med larynxcancer varje år, och de flesta patienter med avancerad cancer måste få sin röstlåda borttagen.

Alla de för närvarande tillgängliga enheterna producerar så dåligt ljud – det låter antingen robotiskt eller har en gruff talande röst, säger Megan Russell, doktorand vid University of the Witwatersrand i Johannesburg, Sydafrika. Vi kände att tekniken fanns där för en konstgjord syntetiserad röstlösning.



Systemet använder en palatometer: en enhet som ser ut ungefär som en ortodontisk platta och som normalt används för talterapi. Enheten, tillverkad av Fullständigt tal från Orem, UT, spårar kontakt mellan tungan och gommen med hjälp av 118 inbyggda beröringssensorer. Mjukvaran för det konstgjorda struphuvudet skrevs av Russell och kollegor vid University of the Witwatersrand. Deras arbete presenteras på Internationell konferens om biomedicinsk och farmaceutisk teknik denna vecka i Singapore.

För att använda enheten stoppar en person palatometern i munnen och säger orden normalt. Systemet försöker översätta dessa munrörelser till ord innan de återskapas på en liten ljudsynt, kanske nedstoppad i en skjortficka.

Hittills har Russell tränat systemet att känna igen 50 vanliga engelska ord genom att säga varje ord flera gånger med palatometern i munnen. Informationen kan representeras på en binär rymd-tidsgraf och läggas in i en databas. Varje gång användaren talar jämförs kontaktmönstren mot databasen för att identifiera rätt ord.



Russells team har testat ordidentifieringssystemet med en mängd olika tekniker. Ett tillvägagångssätt involverar justering och medelvärdesberäkning av data som produceras samtidigt som enheten tränas för några få fall av ett ord för att skapa en mall för jämförelse. En annan jämför funktioner som arean för dataplotterna på grafen och massacentrum på X- och Y-axlarna. Ett röstsystem jämför resultaten av utvalda metoder för att se om det råder överensstämmelse. Forskarna har också testat ett system för prediktiv analys, som anser att det sista ordet kommer i munnen för att hjälpa till att bestämma nästa.

Russell säger att när röstnings- och förutsägelseelementen kombineras identifierar systemet det korrekta ordet 94,14 procent av gångerna, även om detta inte inkluderar ord som systemet klassificerar som okända och väljer att hoppa över. Russell säger att det händer ungefär 18 procent av tiden. Men att välja fel ord kan leda till några mycket svåra sociala situationer, säger Russell, så det är bäst för systemet att avvisa oklara ord och förbli tyst.

Teamet hoppas kunna eliminera palatometerns bandkablar, som rinner ut ur användarens mun, och istället skapa ett system där data överförs trådlöst från palatometern till en talsyntes. Gruppen behöver också förbättra det prediktiva analyssystemet och utöka databasen med ord.



Russells team kommer också att behöva testa många fler ämnen, inklusive de utan struphuvud, innan enheten kan bli allmänt tillgänglig.

Vi har också för avsikt att implementera en viss grad av användarkontrollerad modulering av tonhöjd och volym för att uppnå ett mer naturligt ljud, säger David Rubin, adjungerad professor i el- och informationsteknik vid University of the Witwatersrand och en av Russells rådgivare om projekt. Vi avser till exempel att användaren ska kunna uppnå den typiska böjningen uppåt i rösten när han ställer en fråga jämfört med att göra ett uttalande.

Det är också viktigt för teamet att förbättra bearbetningshastigheten för enheten. Det tar nu mer än en sekund för systemet att identifiera och spela upp det korrekta ordet. I slutändan måste denna tid minskas till under 0,3 sekunder för att det ska se ut för observatörer att personens läppar och röst är synkroniserade, säger Russell.



Forskare vid University of Hull i Storbritannien undersöker ett annat förhållningssätt till problemet. De placerar magneter i munnen och dessa för att mäta förändringar i magnetfältet runt munnen som motsvarar rörelse. För närvarande använder Hull-forskarna kirurgiskt lim för att fästa sex magneter på läpparna, halsen och tungan. I slutändan skulle magneterna implanteras. Vi håller fortfarande på att reda ut var det är bäst att placera dem, säger James Gilbert , en universitetslektor i ingenjörsvetenskap vid Hull.

Liksom Witwatersrand-teamet hoppas Hull-gruppen kunna eliminera mycket av ledningarna och utöka sin datauppsättning. För närvarande kan Hull-systemet bara identifiera 10 ord, och noggrannheten kan variera mellan 70 och 100 procent.

Gilbert ifrågasätter dock om alla ord någonsin skulle kunna identifieras med hjälp av en palatometer. Analysmetoderna verkar rimliga, säger han, men tillägger att det för vissa ord är väldigt begränsad kontakt med gommen.

Witwatersrand-teamet anser att dess design är överlägsen eftersom den inte kräver kirurgiska implantat. I händelse av att den övergripande idén visar sig vara genomförbar hoppas vi kunna ingå avtal med de företag som producerar befintliga system för att vi ska kunna gå vidare med detta tillvägagångssätt till ett artificiellt struphuvud, säger Rubin.

Dölj