Första datorn som matchar människor i konversationstaligenkänning

En efter en hamnar kompetensen som skiljer oss från maskiner i maskinernas kolumn. Först var det schack, sedan Jeopardy! , sedan Go, sedan objektigenkänning, ansiktsigenkänning och videospel i allmänhet. Du kan bli förlåten för att du tror att människor håller på att bli föråldrade.

Men prova valfri programvara för röstigenkänning så kommer din tro på mänskligheten snabbt att återställas. Även om de är bra och blir bättre, är dessa system inte på något sätt perfekta. Beställer du glass eller säger jag att jag skriker? Förmodligen båda, om det är en maskin du pratar med.

Så det borde vara betryggande att veta att vanlig taligenkänning i konversation är något som maskiner fortfarande kämpar med – att människor fortfarande är mästare på sitt eget språk.

Den uppfattningen kan behöva ändras. Snabbt. Idag säger Geoff Zweig och kompisar på Microsoft Research i Redmond, Washington, att de har knäckt den här typen av taligenkänning och att deras maskininlärningsalgoritmer nu överträffar människor för första gången när det gäller att känna igen vanligt samtalstal.

Taligenkänningsforskning har en lång historia. På 1950-talet kunde tidiga datorer känna igen upp till 10 ord som uttalades tydligt av en enda talare. På 1980-talet byggde forskare maskiner som kunde transkribera enkelt tal med en vokabulär på 1 000 ord. På 1990-talet gick de vidare till inspelningar av en person som läste Wall Street Journal , och sedan till sända nyhetstal.

Dessa scenarier är alla allt mer ambitiösa. Men de är också enklare än vanligt tal på grund av olika begränsningar. Ordförrådet i Wall Street Journal är begränsat till affärer och finans, och meningarna är välstrukturerade och grammatiskt korrekta, vilket inte nödvändigtvis stämmer med vanligt tal. Utsända nyhetstal är mindre formellt men ändå högstrukturerat och tydligt uttalat. Alla dessa exempel har så småningom erövrats av maskiner.

Men den svåraste uppgiften – att transkribera vanligt samtalstal – har orubbligt stått emot anfallet.

Vanligt tal är betydligt svårare på grund av ordförrådets storlek och även på grund av andra ljud än ord som människor gör när de talar. Människor använder en rad olika ljud för att hantera turtagning i konversation, en typ av kommunikation som lingvister kallar en bakåtkanal.

Till exempel, eh-ha används för att bekräfta talaren och signalera att han eller hon ska fortsätta prata. Men eh är en tvekan som indikerar att talaren har mer att säga, en varning om att det kommer mer. I sin tur ledning, eh spelar motsatt roll eh-ha .

Människor har små svårigheter att analysera dessa ljud och förstå deras roll i en konversation. Men maskiner har alltid kämpat med dem.

År 2000 släppte National Institute of Standards and Technology en datauppsättning för att hjälpa forskare att ta itu med detta problem. Uppgifterna bestod av inspelningar av vanliga samtal i telefon. Några av dessa var samtal mellan individer om ett tilldelat ämne. Resten var samtal mellan vänner och släktingar om vilket ämne som helst.

Det mesta av data var för att hjälpa till att träna en maskininlärningsalgoritm för att känna igen tal. Resten var ett test som maskinerna fick transkribera.

Måttet på prestanda var antalet ord som maskinen fick fel, och det slutliga målet var att göra uppgiften bättre än människor.

Så hur bra är människor? Den allmänna konsensus är att när det gäller transkription har människor en felfrekvens på cirka 4 procent. Med andra ord, de transkriberar felaktigt fyra ord på hundra. Tidigare har maskiner inte kommit i närheten av detta riktmärke.

Nu säger Microsoft att det äntligen har matchat mänsklig prestation, om än med en viktig varning. Microsoft-forskarna började med att omvärdera mänskliga prestationer i transkriptionsuppgifter. De gjorde detta genom att skicka telefoninspelningarna i NIST-datauppsättningen till en professionell transkriptionstjänst och mäta felfrekvensen.

Till sin förvåning fann de att den här tjänsten hade en felfrekvens på 5,9 procent för samtal mellan individer om ett tilldelat ämne och 11,3 procent för samtal mellan vänner och familjemedlemmar. Det är mycket högre än man trodde.

Därefter optimerade Zweig och co sina egna djupinlärningssystem baserade på konvolutionella neurala nätverk med varierande antal lager, som vart och ett bearbetar olika aspekter av tal. De använde sedan träningsdatauppsättningen för att lära maskinen att förstå vanligt tal och släppa lös det på testdatauppsättningen.

Resultaten: totalt sett har Microsofts taligenkänningssystem en liknande felfrekvens som människor, men de typer av fel det gör är ganska olika.

Det vanligaste felet som Microsoft-maskinen gör är att förvirra backchannel-ljuden eh och eh-ha . Däremot gör människor sällan det misstaget och tenderar istället att blanda ihop ord som till och de eller eh och till .

Det finns i princip ingen anledning till varför en maskin inte kan tränas att känna igen bakkanalljud. Zweig och co tror att svårigheten maskinen har med dessa förmodligen beror på hur dessa ljud är märkta i träningsdatauppsättningen. Den relativt dåliga prestandan för det automatiska systemet här kan helt enkelt bero på förvirring i träningsdataanteckningarna, säger de.

Totalt sett matchar dock maskinen den mänskliga felfrekvensen på 5,9 procent för samtalen om ett tilldelat ämne men överträffar människor i uppgiften att transkribera vän- och familjesamtal med en felfrekvens på 11,1 procent. För första gången rapporterar vi prestanda för automatisk igenkänning i nivå med mänsklig prestation för denna uppgift, säger Zweig och co.

Det är intressant arbete. Microsoft kan ha flyttat målstolparna när de spelade in den här segern för sina maskiner, men skriften sitter tydligt på väggen. Maskiner blir bättre än människor på taligenkänning. Detta kommer att få betydande konsekvenser för hur vi interagerar med maskiner, inte minst när det kommer till att beställa glass.

Ref: arxiv.org/abs/1610.05256 : Att uppnå mänsklig paritet i konversationstaligenkänning

Dölj