Videosökning efter syn och skript

Googles förvärv denna vecka av YouTube.com har väckt förhoppningar om att sökningen efter video kommer att förbättras. Mer än 65 000 videor laddas upp till YouTube varje dag, enligt webbplatsen. Med allt det innehållet kan det vara svårt att hitta rätt klipp.

Nu har forskare utvecklat ett system som använder en kombination av ansiktsigenkänning, närbildad information och original-tv-manus för att automatiskt namnge ansiktena som visas på skärmen, vilket gör avsnitt av TV-programmet Buffy the Vampire Slayer sökbar.

Vi ser i princip det här arbetet som ett av de första stegen för att få automatiska beskrivningar av vad som händer i en video, säger Mark Everingham , en datavetare nu vid University of Leeds (tidigare vid University of Oxford), som presenterade sin forskning vid British Machine Vision Conference i september.

För närvarande erbjuds videosökningar av AOL-video , Google , och Youtube sök inte i innehållet i själva videon, utan förlita dig istället främst på metadata, eller textbeskrivningar, skrivna av användare för att utveckla ett sökbart index över webbaserat medieinnehåll.

Användare laddar ofta (och olagligt) upp bitar av sina favoritsitcoms till videodelningssajter som YouTube. Till exempel en ny sökning efter Buffy the Vampire Slayer visade upp nästan 2 000 klipp på YouTube, många av dem har visats tusentals gånger. De flesta av dessa klipp är mindre än fem minuter och beskrivningarna är vaga. En med titeln En ny dag har kommit, till exempel, beskrivs av en användare så här: Den innehåller mestadels Buffy och Spike. Det visar hur Spike var där för Buffy tills han dog och hon kände sig ensam efteråt.

Everingham säger att tidigare arbete med videosökning har använt data från undertexter för att hitta videor, men han är inte medveten om att någon använder hans metod, som kombinerar – i den tekniska tour de force – undertexter och manuskommentarer. Manuset berättar vad som sägs och vem som sa det och undertexter berättar när något sägs, förklarar han. Everinghams programvara kombinerar dessa två informationskällor med kraftfulla verktyg som tidigare utvecklats för att spåra ansikten och identifiera högtalare utan behov av användarinput.

Vad gjorde Buffy projekt en sådan utmaning, säger Everingham, är att i film och tv är personen som talar inte alltid med i skottet. Stjärnan, Buffy, kan till exempel tala utanför skärmen eller vänd bort från kameran, och kameran kommer att visa dig lyssnarens reaktioner. Andra gånger kan det finnas flera skådespelare på skärmen eller så är skådespelarens ansikte inte direkt vänd mot kameran. Alla dessa oklarheter är lätta för människor att tolka, men svåra för datorer – åtminstone hittills. Everingham säger att deras multimodala system är korrekt upp till 80 procent av tiden.

Ett enda avsnitt av Buffy kan ha upp till 20 000 instanser av upptäckta ansikten, men de flesta av dessa instanser härrör från flera bildrutor av en enda karaktär i en given bild. Programvaran spårar viktiga landmärken på skådespelarens ansikten – till exempel näsborrar, pupiller och ögon – och om en av dem överlappar nästa bildruta anses de två ansiktena vara en del av ett enda spår. Om dessa landmärken är otydliga, använder programvaran en beskrivning av kläder för att förena två trasiga ansiktsspår. Slutligen tittar programvaran också på skådespelarnas läppar för att identifiera vem som talar eller om högtalaren är utanför skärmen. I slutändan producerar systemet en detaljerad, play-by-play-kommentar av videon.

Den allmänna tanken är att man vill få mer information utan att folk fångar upp den, säger Alex Berg på Computer Vision Group vid University of California, Berkeley. Om du vill hitta en viss scen med en karaktär måste du först hitta de scener som innehåller den karaktären. Han säger att Everinghams forskning kommer att bana väg för mer komplexa sökningar av tv-program.

Datavetare Josef Sivic vid Oxford's Grupp för visuell geometri , som bidrog till Buffy projekt, säger att det i framtiden kommer att vara möjligt att söka efter högnivåkoncept som Buffy och Spike som går mot kameran hand i hand eller alla utomhusscener som innehåller Buffy.

Timothy Tuttle, vice vd för AOL Video, säger: Det verkar som att under de kommande fem till tio åren kommer fler och fler människor att välja vad de ska titta på enligt sitt eget schema och de kommer att se innehåll på begäran. Han noterar också att hindret för att anpassa teknologier som Everinghams kanske inte längre är tekniskt, utan lagligt.

Dessa juridiska hinder har kommit ner med tryckta medier eftersom företag har skördat de ekonomiska fördelarna av sökbart innehåll – Googles bokskanning och Amazons sökprogram har visat sig vara öka bokförsäljningen under de senaste två åren .

Men det är oklart om en sökbar video kan öka DVD-försäljningen på samma sätt. För närvarande erbjuder Google teasers av premiumvideoinnehåll, säger personalforskaren Michele Covell. För vissa genrer, som sportvideor, blir det lättare att välja ett teaserklipp som uppmuntrar folk att köpa videon, säger hon.

Shumeet Baluja, en forskare på Google, håller med om att det kommer att vara en utmaning att kommentera video över webben, men med tiden kommer de att kunna lägga till mer och mer metadata till populära videoklipp offline, vilket kommer att förbättra hastigheten och noggrannheten hos sökningar.

Dölj