Där Siri har problem med att höra kan en skara människor hjälpa

Datavetaren Jeffrey Bigham har skapat ett taligenkänningsprogram som kombinerar de bästa talangerna hos maskiner och människor.





Även om röstigenkänningsprogram som Apples Siri och Nuances Dragon är ganska bra på att höra välbekanta röster och tydligt dikterade ord, kan tekniken fortfarande inte på ett tillförlitligt sätt beskriva händelser som presenterar nya högtalare, accenter, fraser och bakgrundsljud. Människor är ganska bra på att förstå ord i sådana situationer, men de flesta av oss är inte tillräckligt snabba för att transkribera texten i realtid (det är därför professionella stenografer kan ta ut mer än $100 i timmen). Alltså Bighams program Skrivare utökar snabba datorer med korrekta människor i hopp om att snabbt få fram bildtexter och utskrifter.

Detta snabbt eldande crowd-computing-experiment kan vara till stor hjälp för döva och hörselskadade. Det kan också ge nya sätt att förbättra röstigenkänningsapplikationer som Siri i områden där de har det svårt.

Scribes algoritmer styr mänskliga arbetare att skriva ut fragment av vad de hör i ett tal. Genom att höja volymen eller sakta ner hastigheten på skivor av ljudet kan programmet dirigera olika arbetare till unika men överlappande delar av ett tal och sedan ge dem några sekunder att återhämta sig innan de ber dem att skriva igen.



Med hjälp av bearbetningsalgoritmer för naturliga språk, strängar Scribe ihop de utskrivna fragmenten till ett komplett transkript, och de överflödiga överlappningarna kan hjälpa den att rensa bort fel. (Denna hagelgevärsberäkningsteknik liknar hur många DNA-sekvenseringsmaskiner fungerar, påpekar Bigham.) Den kan producera en transkription eller bildtext med en fördröjning så kort som tre sekunder med bara tre till fem arbetare.

Det enda kravet är att arbetarna kan höra och skriva, så även som grupp kostar de mindre än en stenograf och behöver inte några dagars förvarning, konstaterar han. Det kan vara till stor hjälp för en döv student som vill, till exempel, ta en ny onlinekurs som inte har textats.

Bigham (se Innovators Under 35, 2009: Jeffrey Bigham ) och hans kollega vid University of Rochester Walter Lasecki har testat Scribe med arbetare som de hittat genom Amazons Mechanical Turk, där människor registrerar sig för att utföra enkla uppgifter. Dessa arbetare fick minst $6 i timmen av Bighams team. Teamet anställde också studenter på grundutbildningen för 10 USD i timmen. Det crowdsourcede arbetet av människor i båda grupperna verkar bara vara något mindre exakt än det för en professionell stenograf, säger Bigham. Och i vissa fall transkriberade de sammanslagna arbetarna mer exakt jargongtermer som en enda professionell maskinskrivare kan missuppfatta.



Det Scribe börjar visa är förmågan att arbeta tillsammans som en del av en folkmassa för att göra mycket svåra prestationsuppgifter bättre än en person kan göra ensam, säger han.

Bigham utvecklar nu Scribe till en app som han hoppas kan hjälpa döva snabbt att crowdsourca utskrifter. För att stödja ett stort antal användare överväger han också att licensiera tekniken eller spinna av en startup.

Det är inte första gången någon har tänkt på att använda billig, datorkoordinerad mänsklig arbetskraft för att stärka de traditionella svagheterna i artificiell intelligens-program eller annan mjukvara. Twitter anställer personer på Mechanical Turk för att hjälpa sin sökmotor att klassificera nyhetsämnen som plötsligt börjar trendiga. Bigham har också skapat ett crowdsourcet personligt assistanssystem som heter Chorus (se Artificiell intelligens, drivs av många människor) som kan vara smartare än Siri men billigare än någon enskild timanställd.



Detta är inte att säga att mänskligt arbete alltid kommer att överträffa automatiserade system vid transkribering av tal. Aditya Parameswaran, en forskare vid Stanford University som också arbetar med mänskligt assisterade beräkningsmetoder, säger att när inlärningsalgoritmerna förbättras, kommer crowdsourcing-tekniker som dessa att vara användbara mest för att öka datorernas noggrannhet, snarare än för att låta människor göra huvuddelen av arbete.

Dölj