211service.com
AI har slagit människor vid läppläsning
Läppläsning är notoriskt svårt, beroende lika mycket på sammanhang och kunskap om språk som det gör på visuella ledtrådar. Men forskare visar att maskininlärning kan användas för att urskilja tal från tysta videoklipp mer effektivt än vad professionella läppläsare kan.
I ett projekt har ett team från University of Oxfords institution för datavetenskap utvecklat ett nytt artificiell intelligenssystem som heter LipNet. Som Kvarts rapporterade , dess system byggdes på en datamängd känd som GRID, som består av väl upplysta, framvända klipp av människor som läser tre sekunder långa meningar. Varje mening är baserad på en rad ord som följer samma mönster.
Teamet använde den datamängden för att träna ett neuralt nätverk, liknande det som ofta används för att utföra taligenkänning. Men i det här fallet identifierar det neurala nätverket variationer i munform över tid, och lär sig att länka den informationen till en förklaring av vad som sägs. AI:n analyserar inte bilderna i bitar utan överväger det hela, vilket gör det möjligt för den att få en förståelse av sammanhanget från meningen som analyseras. Det är viktigt, eftersom det finns färre munformer än det finns ljud som produceras av den mänskliga rösten.
När testat , kunde systemet identifiera 93,4 procent av orden korrekt. Mänskliga läppläsande volontärer som bad att utföra samma uppgifter identifierade bara 52,3 procent av orden korrekt.
Men som Ny vetenskapsman rapporterar , ett annat team från Oxfords Department of Engineering Science, som har arbetat med Google DeepMind, har bitit av sig en ganska svårare uppgift. Istället för att använda en snygg och konsekvent datauppsättning som GRID, har den använt en serie med 100 000 videoklipp tagna från BBC-tv. Dessa videor har ett mycket bredare språkområde, med mycket mer variation i belysning och huvudpositioner.
Använder sig av ett liknande tillvägagångssätt , lyckades Oxford och DeepMind-teamet skapa en AI som kunde identifiera 46,8 procent av alla ord korrekt. Det är också mycket bättre än människor, som spelade in bara 12,4 procent av orden utan misstag. Det finns helt klart många anledningar till att noggrannheten är lägre, från ljussättning och orientering till den större språkkomplexiteten.
Bortsett från skillnader, båda experimenten visar att AI överträffar människor vid läppläsning, och det är inte svårt att föreställa sig potentiella tillämpningar för sådan programvara. I framtiden kan Skype fylla i luckorna när en uppringare befinner sig i en bullrig miljö, till exempel, eller personer med hörsvårigheter kan hålla upp sin smartphone för att höra vad någon säger.
(Läs mer: Kvarts , Ny vetenskapsman , Oxford Machine Learning Reading Group , arXiv , Utmaningarna och hoten med automatiserad läppläsning)