211service.com
Söka efter videoföreläsningar
Forskare vid MIT har släppt ett sökverktyg för video och ljud som löser ett av de mest utmanande problemen på området: hur man delar upp en lång akademisk föreläsning i hanterbara bitar, lokaliserar sökorden och dirigerar användaren till dem. Tillkännagav förra månaden, MIT Föreläsningswebbläsare webbplats ger allmänheten detaljerad tillgång till mer än 200 föreläsningar som är allmänt tillgängliga via universitetets OpenCourseWare initiativ. Sökmotorn utnyttjar årtionden av taligenkänningsforskning vid MIT och andra institutioner för att konvertera ljud till text och göra det sökbart.
Tittar på föreläsningar: MIT erbjuder ett videosökverktyg som kan lokalisera nyckelord i ljud- och videoföreläsningar. Här resulterar en sökning efter exoskelett och bensin i det här videoklippet. Den automatiska utskriften av föreläsningen visas under videon.
Föreläsningswebbläsaren kommer vid en tidpunkt då fler och fler universitet, inklusive Carnegie Mellon University och University of California, Berkeley, lägger upp videor och poddsändningar av föreläsningar online. Även om det här innehållet är användbart, kan det vara svårt att hitta specifik information i föreläsningar och frustrerande studenter som är vana vid att hitta det de behöver på mindre än en sekund med Google.
Detta är en växande fråga för universitet runt om i landet eftersom det blir lättare att spela in klassrumsföreläsningar, säger Jim Glass, forskare vid MIT. Det är en riktig utmaning att veta hur man sprider dem och göra det lättare för studenter att få tillgång till delar av föreläsningen de kan vara intresserade av. Det är som att hitta en nål i en höstack.
De grundläggande delarna av föreläsningswebbläsaren har sprungit runt forskningslabb vid MIT och platser som t.ex BBN Technologies i Boston, Carnegie Mellon, SRI International i Palo Alto, CA, och University of Southern California i mer än 30 år. Deras ansträngningar har producerat mjukvara som äntligen är tillräckligt bra för att hitta vägen till den genomsnittliga personen, säger Premkumar Natarajan, forskare vid BBN. Det finns ungefär tre decennier av arbete där många grundläggande problem togs upp, säger han. Tekniken är tillräckligt mogen nu när det finns en växande känsla i samhället att det är dags [att testa applikationer i den verkliga världen]. Vi har gjort allt vi kan i labbet.
En handfull företag, till exempel sökmotorer för ljud och video online Blinkx och EveryZing (som har licensierat teknik från BBN) använder sig av programvara som konverterar ljudtal till sökbar text. (Se Surfa på TV på Internet och mer exakt videosökning .) Men MIT-forskarna stod inför särskilda utmaningar med akademiska föreläsningar. För det första är många föreläsare inte engelska som modersmål, vilket gör automatisk transkription svår för system som tränas på amerikansk engelska accenter. För det andra kan orden som gynnas i naturvetenskapliga föreläsningar vara ganska oklara. Äntligen, säger Regina Barzilay , professor i datavetenskap vid MIT, föreläsningar har mycket liten urskiljbar struktur, vilket gör dem svåra att bryta upp och organisera för enkel sökning. Aktuella övergångar är väldigt subtila, säger hon. Föreläsningarna är inte organiserade som vanlig text.
För att ta itu med dessa problem konfigurerade forskarna först programvaran som konverterar ljudet till text. De tränade programvaran att förstå särskilda accenter med hjälp av exakta transkriptioner av korta fragment av inspelat tal. För att hjälpa programvaran att identifiera ovanliga ord – allt från drosophila till slutna slinga-integraler – försåg forskarna den med ytterligare data, såsom text från böcker och föreläsningsanteckningar, som hjälper programvaran att korrekt transkribera så många som fyra av fem ord. Om systemet används med en som inte har engelska som modersmål vars accent och ordförråd det inte har tränats att känna igen, kan noggrannheten sjunka till 50 procent. (En sådan låg noggrannhet skulle inte vara användbar för direkt transkription men kan ändå vara användbar för nyckelordssökningar.)
Nästa steg, förklarar Barzilay, är att lägga till struktur till de transkriberade orden. Det fanns redan programvara som kunde bryta upp långa rader av meningar i begrepp på hög nivå, men hon fann att det inte gjorde susen med föreläsningarna. Så hennes grupp designade sin egen. En av de viktigaste distinktionerna, säger hon, är att man under en föreläsning talar fritt; du mumlar och mumlar.
För att organisera den transkriberade texten skapade hennes grupp programvara som delar upp texten i bitar som ofta överensstämmer med enskilda meningar. Programvaran placerar dessa bitar i en nätverksstruktur; bitar som har liknande ord eller som talades tätt tillsammans i tiden placeras närmare varandra i nätverket. Det relativa avståndet mellan bitarna i nätverket låter programvaran avgöra vilka meningar som hör till varje ämne eller underämne i föreläsningen.
Resultatet, säger hon, är en sammanhängande transkription. När en person söker efter ett nyckelord erbjuder webbläsaren resultat i form av en video- eller ljudtidslinje som är uppdelad i sektioner. Den del av föreläsningen som innehåller nyckelordet är markerad; under det finns textavsnitt som omger varje instans av sökordet. När en video spelas upp visar webbläsaren den transkriberade texten under den.
Barzilay säger att webbläsaren för närvarande får i genomsnitt 21 000 träffar om dagen, och även om den har visat sig populär finns det fortfarande arbete att göra. Inom de närmaste månaderna kommer hennes team att lägga till en funktion som automatiskt bifogar en textöversikt till föreläsningar så att användare kan hoppa till en önskad sektion. Längre fram ska forskarna ge användarna möjlighet att göra korrigeringar i utskriften på samma sätt som människor bidrar till Wikipedia. Även om sådana förbättringar verkar enkla, utgör de tekniska utmaningar, säger Barzilay. Det är inte en trivial sak, eftersom du vill ha ett gränssnitt som inte är tråkigt, och du måste sprida korrigeringen genom hela föreläsningen och till andra föreläsningar. Hon säger att att föra in människor i transkriptionsslingan kan förbättra systemets noggrannhet med ett par procentenheter, vilket gör användarupplevelsen ännu bättre.