211service.com
Utmaningarna och hoten med automatiserad läppläsning
Tillbaka på 1500-talet var en spansk benediktinermunk vid namn Pietro Ponce banbrytande för den till synes magiska konsten att läsa läppar. Även om tekniken förmodligen föregår honom, var Ponce den första framgångsrika läppläsningsläraren.
Då som nu användes tekniken i första hand för att hjälpa personer med hörselproblem att tolka tal. Men den används också av andra för att avlyssna samtal. Faktum är att olika experiment visar att vår förmåga att tolka tal förbättras när vi kan se talarens rörliga läppar. Med andra ord, nästan alla använder läppläsning i viss utsträckning.
Det väcker en intressant fråga. Kan processen för läppläsning automatiseras och utföras av dator? Och i så fall, hur framgångsrik kan detta tillvägagångssätt vara och vilken typ av hot utgör det mot integriteten?
Idag får vi några svar tack vare Ahmad Hassanats arbete vid Mu’tah University i Jordanien. Han beskriver de utmaningar som forskare står inför inom området automatiserad läppläsning, även känd som visuell taligenkänning. Vad som är tydligt från hans analys är att om läppläsning ska kunna automatiseras framgångsrikt, måste betydande utmaningar fortfarande övervinnas.
Den grundläggande processen med läppläsning är att känna igen en sekvens av former som bildas av munnen och sedan matcha den med ett specifikt ord eller en sekvens av ord.
Det finns en betydande utmaning här. Under tal bildar munnen mellan 10 och 14 olika former, så kallade visemer. Däremot innehåller tal cirka 50 individuella ljud som kallas fonem. Så ett enda visem kan representera flera olika fonem.
Och däri ligger problemet. En sekvens av visem kan vanligtvis inte associeras med ett unikt ord eller en sekvens av ord. Istället kan en sekvens av visem ha flera olika lösningar. Utmaningen för läppläsaren är att välja den som talaren har använt.
Problemet förvärras av det faktum att en talares läppar ofta är mörka så att en läppläsare i genomsnitt bara ser cirka 50 procent av de talade orden. Resultatet är att läppläsning på intet sätt är perfekt även för de mest erfarna utövarna.
Experiment visar hur svårt det är, även när ordförrådet är enormt begränsat. när människor uppmanas att bestämma vilka av siffrorna 1 till 9 som har talats, rent genom läppläsning, är deras framgångsfrekvens i genomsnitt drygt 50 procent. Inte bra alls.
Så det är lätt att föreställa sig att utsikterna för att automatisera denna teknik är dåliga. Men Hassanat pekar på en växande mängd forskning som tar itu med detta problem, med hjälp av en snabb förbättring av maskinseendet de senaste åren.
Det första problemet för automatisk läppläsning är ansikts- och läppigenkänning. Detta har förbättrats med stormsteg de senaste åren. En svårare utmaning är att känna igen, extrahera och kategorisera läpparnas geometriska egenskaper under tal.
Detta görs genom att mäta läpparnas höjd och bredd samt andra funktioner som formen på ellipsen som begränsar läpparna, antalet tänder som syns och bildens rodnad, vilket bestämmer hur mycket tunga som är synlig. .
Att bestämma läpparnas exakta kontur är svårt på grund av den relativt lilla skillnaden mellan pixlar som visar ansikte och läppar. Hassanat säger faktiskt att detta inte är nödvändigt eftersom den avgränsande ellipsen och höjden och formen på munnen ger en anständig approximation av de verkliga konturerna. Vi hävdar att det inte är nödvändigt att använda alla eller några av läppens konturpunkter för att definiera den yttre formen på läpparna, säger han.
Experimenten han och andra har gjort har dock funnit andra problem. En är att skägg och mustascher avsevärt kan förvirra visuella taligenkänningssystem. Följaktligen är de mer framgångsrika med kvinnliga än manliga talare.
Ett annat problem är att vissa människor är mer uttrycksfulla med sina läppar än andra så det är lättare att tolka vad de säger utifrån enbart läpprörelser. Visserligen rör vissa människor knappt sina läppar alls och dessa så kallade visuellt mållösa personer är nästan omöjliga att tolka.
Ändå är Hassanats eget visuella taligenkänningssystem anmärkningsvärt bra. Hans experiment uppnår en genomsnittlig framgång på 76 procent, om än under noggrant kontrollerade förhållanden. Framgångsfrekvensen är ännu högre för kvinnor på grund av frånvaron av skägg och mustascher.
Allt detta tyder på att det finns en betydande potential för visuella taligenkänningssystem i framtiden, särskilt som ett hjälpmedel för andra former av taligenkänning.
Viktiga utmaningar kvarstår dock. Hassanat påpekar särskilt att de bästa mänskliga läppläsarna förlitar sig på betydande mängder ytterligare information för att tolka tal, såsom konversationskontexten, talarens kroppsrörelser och en god kunskap om grammatik, idiom och vanligt tal.
Detta är faktorer som datorer ännu inte har tagit tag i. Automatisk läppläsning kan fortfarande vara en bit bort men de tidiga tecknen är att det inte på något sätt är omöjligt.
Och det väcker en hel uppsättning andra integritetsrelaterade frågor. Det kan till exempel vara så att videor av konversationer utan ljud är omöjliga att tolka nu men kan vara lätta att tolka i framtiden. Hur kan politiker, företagsledare och populära personer rättvisa under den sortens framtidsanalyser?
Något att tänka på nästa gång du ser en CCTV-kamera.
Ref: arxiv.org/abs/1409.1411 : Visuell taligenkänning