Hjälper döva att höra musik

John Redden är en döv professionell musiker. Han kan sjunga på tangent, harmonisera på tangent och höra musikaliska intervall tillräckligt bra för att återge dem. Han gör detta med ett cochleaimplantat, som är ett datorchip som kirurgiskt är inbäddat i hans skalle. Chipet driver 16 små elektroder gängade i hans inneröra som stimulerar hans hörselnerver. Den får hörseldata från en extern dator som sitter på hans öra och som ser ut som en hörapparat. Istället för att förstärka ljudet digitaliserar den dock det och skickar det till implantatet via radio genom huden.

Musikprov: Forskare vid University of Washington har utvecklat ett datoriserat test för att bedöma hur väl cochlea-implantatanvändare kan höra musik. Chad Ruffin, en kodutvecklare av testet och en cochlea-implantatanvändare, visar hur en del av testet tas. Användaren hör en viss ton som spelas av något av åtta instrument och måste bestämma vilket. Denna del av testet mäter förmågan att höra klangfärg, den subtila men avgörande skillnaden mellan instrument som spelar samma ton.

Tekniken är ett under, men människor som Redden är ett mysterium. Programvaran är designad för tal, så den lyssnar bara på talfrekvenserna snarare än det mycket bredare utbudet som upptas av musik. Enheten levererar ljudets övergripande form snarare än den detaljerade frekvensinformationen som är avgörande för att skilja en tonhöjd från en annan.

De flesta människor med normal hörsel kan se skillnad på tonhöjder som är 1,1 halvtons från varandra. (En halvton är det minsta tonhöjdsintervallet i västerländsk musik.) Men en studie från 2002 vid University of Iowa fann att de flesta implantatanvändare bara kan särskilja tonhöjder när de är minst 7,6 halvtoner från varandra.

Vissa framsteg har gjorts när det gäller att skriva bättre mjukvara för musik. Jag är själv en cochleaimplantatanvändare. 2005 provade jag ny programvara, kallad Fidelity 120 , som simulerade sju virtuella elektroder mellan varje fysisk elektrod, inte olikt det sätt som en ljudtekniker kan få ett ljud att tyckas komma från mellan två högtalare. Genom att rikta in mig på nervpopulationer mellan varje elektrod gav programvaran mig bättre frekvensupplösning. För mig gjorde det stor skillnad. När jag spelar detta simulering av ett piano med min gamla mjukvara, kallad Hi-Res, kan jag inte skilja mellan tre intilliggande nycklar. Men med Fidelity 120 kan jag. Musik låter fylligare, rikare och mer detaljerad.

Multimedia

• Se delar av CAMP-testet.

Men alla får inte samma resultat. Redden, som gör det mycket bättre musikaliskt än jag, provade Fidelity 120 men föredrar fortfarande Hi-Res. Sådana variationer mellan användarupplevelser utgör verkliga förvirringar för forskare som vill utveckla bättre mjukvara. Upplevelsen av musik är oundvikligen subjektiv. Ett Sex Pistols-fan kan berätta för dig att en viss mjukvara låter henne höra Anarchy i Storbritannien bättre, medan ett Mozart-fan kan säga till dig att programvaran inte gör någonting för En liten nattmusik . Subjektiva rapporter ger inte utvecklare tillräckligt med information för att veta om de gör framsteg.

jag frågade Jay Rubinstein , en otolaryngolog och cochlea-implantatforskare vid University of Washington, för att förklara problemet. Musik är inte bara en enhet, sa han till mig. Den består av kombinationer av rytm, melodi, harmoni, dissonans och text. Man måste dela upp den i dess beståndsdelar för att avgöra hur bra eller dåligt någon kan höra den.

Rubinstein och hans team av forskare vid University of Iowa och University of Washington gör just det. Vid Association for Research in Otolaryngologys årsmöte i Phoenix den 17 februari avslöjade de ett datoriserat test som heter Klinisk bedömning av musikuppfattning (LÄGER). En artikel som beskriver deras arbete har precis publicerats i Otologi och neurologi februarinummer.

CAMP kringgår smakskillnader genom att strippa ner musik till tre grundläggande komponenter – tonhöjd, klang och melodi – och systematiskt bedöma hur väl användarna uppfattar var och en.

Pitchperception mäts när programmet spelar två toner med kort intervall från varandra och ber användaren att bestämma vilken som har högre tonhöjd. När användaren har rätt, ger programmet henne toner som ligger närmare varandra. När hon inte har rätt, ger det hennes toner som är längre ifrån varandra. Under ett antal försök räknar programmet ut det närmaste intervallet som hon på ett tillförlitligt sätt kan skilja. Det är ett relativt enkelt test eftersom allt som lyssnaren behöver göra är att avgöra vilken av två toner som är den högre.

Timbre perception mäts genom att spela samma ton på åtta olika instrument. Användaren uppmanas att identifiera vilket instrument hon hör. Till exempel kan ämnet få frågan om en viss ton spelades på ett piano, en flöjt eller en saxofon. Timbre är kanske den svåraste aspekten av musik att definiera, men det ger ett känsligt mått på en användares förmåga att höra distinkta men subtila skillnader.

Melodiuppfattning mäts på ett högst ovanligt sätt. Testet använder välbekanta låtar som Frère Jacques och Three Blind Mice. Men vem som helst skulle känna igen Frère Jacques från texterna, så texterna tas ut. Likaså rytmen – det vill säga timingen och varaktigheten för tonerna. Det som återstår är en sträng med lika långa toner med lika långa mellanrum: melodin och ingenting men melodin.

Jag var en av testpersonerna i tidiga försök med CAMP. Första gången jag gjorde testet använde jag min gamla programvara, Hi-Res. Pitch-testningen var ganska enkel: jag identifierade de flesta av frekvenserna korrekt 75 procent av tiden. Jag klarade mig inte lika bra på klangprovet, fick ungefär 40 procent rätt.

Men meloditestet förbryllade mig. Den allra första låten lät som pip pip pip pip pip pip pip pip pip. Jag stirrade på datorn. Vad i helvete var det där?

Jag identifierade den genom att slumpmässigt välja en låttitel, eftersom jag inte hade någon aning om vad det var, och väntade på nästa låt. Pip bop pip pip pip pip pip pip pip.

Och nästa. Pip bop pip pip pip pip pip pip pip.

Var de ens olika?

Min poäng var mindre än 10 procent. Jag pratade med Chad Ruffin, en av testets designers, som själv hade ett cochleaimplantat. Hur bra, ville jag veta, skulle en person som hör normalt klara sig på meloditestet? Ungefär 100 procent, sa han till mig.

Vi gjorde testet igen med Fidelity 120. Jag lyckades bättre på meloditestet den här gången och fick cirka 20 procent. Det var närmare medelpoängen, som, berättade Rubinstein, var 25 procent.

Men John Redden hade gjort det mycket bättre. Redden gav mig sin poäng på meloditestet: 100 procent. För en användare av cochleaimplantat var det en extraordinär poäng. Att ha en professionellt tränad hjärna för musik hjälpte nog. Richard Reed, en musiker som hade tappat hörseln vid 37 och fått ett implantat vid 46, hade fått 86 procent. Endast en handfull av försökspersonerna hade fått poäng inom det intervallet.

Rubinstein säger att människor som Redden och Reed är bevis på vad som är möjligt. Han sa till mig, jag vill inte leda människor till orealistiska förväntningar på förmågan att höra musik med ett cochleaimplantat, men i själva verket är resultaten bättre än vi förväntar oss. Det fanns förstås de som hade hög poäng, men till och med många av de som hade låg poäng på meloditestet hade ändå klarat sig bra på tonhöjdstestet, precis som jag.

Poängen antydde att den begynnande förmågan att uppfatta tonhöjd var där och väntade på att bli utnyttjad med bättre mjukvara och bättre träning. Till exempel har Rubinsteins labb experimenterat med en algoritm som använder ett fenomen som kallas stokastisk resonans för att förbättra musikuppfattningen.

Så det fanns en bra anledning till att melodiprovet skulle vara svårt, insåg jag. Det var inte ett omöjligt test för implantatanvändare, utan bara ett mycket svårt test. Det var ett enkelt, lättanvänt och pålitligt test som lät forskare mäta prestandan hos nya algoritmer objektivt. (Ett papper som ger data om en större grupp av ämnen och visar test-omtest-tillförlitlighet är för närvarande under granskning, säger Rubinstein.)

Testet låter också försökspersoner mäta framsteg över tid. Om poängen på 10 år har fördubblats, kommer det att betyda att implantatanvändare verkligen är höra de grundläggande delarna av musik bättre.

Testet skulle också göra det lättare för forskare att analysera prestanda hos superlyssnare som John Redden så att de i slutändan kan utveckla ny mjukvara för att låta andra döva höra musik bättre.

Michael Chorost täcker implanterade teknologier för Teknikgranskning . Hans bok, Ombyggd: Hur att bli en del av en dator gjorde mig mer mänsklig , kom ut 2005.

Dölj