Nu lär AI-maskiner att förstå berättelser

Artificiell intelligens tar världen med storm. Förra året presenterade Googles DeepMind-forskningsteam en maskin som hade lärt sig att spela arkadspel . Tidigare i år demonstrerade ett team av kinesiska forskare ett ansiktsigenkänningssystem som överträffar människor , och förra veckan avslöjade den kinesiska internetjätten Baidu ett enda taligenkänningssystem som kan transkribera både engelska och mandarinkinesiska .

Två faktorer har gjort detta möjligt. Den första är en bättre förståelse för många lager neurala nätverk och hur man finjusterar dem för specifika uppgifter. Det andra är skapandet av de enorma databaser som krävs för att träna dessa nätverk.

Dessa databaser är oerhört viktiga. För ansiktsigenkänning, till exempel, behöver ett neuralt nätverk se många tusentals verkliga bilder där ansikten från alla vinklar, ibland tilltäppta, är tydligt märkta. Det kräver många timmars mänsklig kommentar men detta är nu möjligt tack vare crowdsourcing-tekniker och webbtjänster som Amazons Mechanical Turk.

De snabba framstegen på detta område gör att mycket av den lågt hängande frukten snabbt rensas upp – ansiktsigenkänning, objektigenkänning, taligenkänning och så vidare. Det är dock mycket svårare att skapa databaser för mer komplexa resonemangsuppgifter, som att förstå berättelser.

Idag börjar det förändras tack vare Makarand Tapaswis arbete vid Karlsruhe Institute of Technology i Tyskland och några kompisar, som har satt ihop en databas om filmer som ska fungera som en testarena för maskiner för djupinlärning och deras förmåga att resonera om berättelser.

Den viktigaste insikten bakom deras projekt är att förmågan att svara på frågor om en berättelse eller film är en viktig indikator på om den har förståtts eller inte. Så målet med forskningen är att skapa flervalsfrågesporter om filmer som består av en uppsättning frågor tillsammans med flera möjliga svar, varav bara ett är korrekt.

Deras tillvägagångssätt är okomplicerat. Tapaswi och co börjar med att samla sammanfattningar av handlingen från Wikipedia för cirka 300 filmer. Dessa varierar i detalj från ett enda stycke till över 20 stycken.

De kopplar detta till själva filmen, som är en stor mängd data. En genomsnittlig film är cirka två timmar lång och har över 198K bilder och nästan 2 000 bilder, säger de.

Filmer visar tydligt information som kan svara på frågor av typen Vem gjorde vad mot vem? Men de innehåller inte alltid informationen för att svara på frågor om varför saker händer, för vilka ytterligare kunskap om världen ibland är nödvändig.

Så Tapaswi och co samlar också in information från ytterligare databaser. Till exempel har de beskrivna videotexter för blinda som är utformade för att innehålla tillräckligt med information för att förstå vad som händer utan att se det; och de bryter också originalfilmernas manus som ofta är användbara, även om regissörer inte alltid följer dem exakt.

Teamet bad sedan mänskliga kommentatorer att välja att läsa synopserna för varje film. De fick sedan formulera ett antal frågor om varje stycke de läste, tillsammans med svaret. I genomsnitt skrev kommentatorerna fem frågor per stycke. De fick också markera ett avsnitt av texten som gav svaret på varje fråga.

Slutligen bad Tapaswi och co annotatorerna att läsa varje fråga och svar och komma på fyra felaktiga svar för att skapa ett flervalsquiz. Den resulterande databasen innehåller över 7 000 frågor om 300 filmer.

Frågorna delas in i flera kategorier. Här är några exempel (gissa filmerna, om du kan):

Personnamn (vem)
Vem är Epps attraherad av?
Vad är smeknamnet på Jeff Lebowski?

Resonemang (varför)
Varför vill Arwen stanna i Middle Earth?
Varför är Bruce rädd för fladdermöss?

Abstrakt (vad)
Vilken kraft innehåller den gröna essensen?
Som förklarades vid förhandlingen, vad var den främsta orsaken till olyckan?

Orsak: åtgärd (hur)
Hur fördriver Kale tiden när han först börjar sitt husarreststraff?
Hur besegrar Hal Parallax?

Plats (var)
Vad heter gymmet där CD:n är kvar?
Var leder Aragorn gemenskapen?

Åtgärd (vad)
Vad gör WALL-E när han tror att EVE har stängts av?
Vad gör Jane och Kevin ett år efter mötet?

Objekt/sak (vad)
Vad hittar gruppen i trollens grotta?
Vad förstör männen som överfaller snubben i hans hem?

Persontyp (vad)
Vem är Daniel Cleaver?
Vad är Rachel Dawes yrke?

Ja/Nej (är, gör)
Tar Madeleine emot pengar för sitt arbete för Arthur Case?
Är Faramir Denethors äldsta son?

Kausalitet (vad händer)
Vad gör Mark efter att Bridget besökt honom och ber honom om förlåtelse?
Vad händer under Mileys dejt med Travis?

Dessa är relativt enkla för människor som har sett en film. Men de här killarna testar databasen på några enkla maskinbaserade frågesvarsstrategier för att se hur bra de klarar sig. Ingen klarar sig särskilt bra men poängen är naturligtvis att hjälpa till att träna framtida generationer av dessa maskiner som förmodligen kommer att bli bättre.

Det är en stor fråga. En intressant punkt är att djupa neurala nät behöver stora databaser för att hjälpa dem att lära sig. Och ju mer komplex uppgiften är, desto större behöver databasen vara.

Så en viktig fråga är hur stor en databas behöver vara för att träna en djupinlärningsalgoritm för att svara på frågor om filmer. Det är svårt att svara på, även inom en storleksordning.

Så ett viktigt mål kommer att vara att ta reda på om den här databasen är i närheten av tillräckligt stor för att hjälpa till att begränsa moderna AI-maskiner när de lär sig att utföra denna uppgift. Det är något som Tapaswi och co snart kommer att få reda på.

Under tiden gör de databasen tillgänglig online under det nya året på: http://movieqa.cs.toronto.edu/home/ . Om AI-forskningen inte fungerar, borde den åtminstone vara användbar för pubquiz.

Ref: http://arxiv.org/abs/1512.02902 : MovieQA: Understanding Stories in Movies through Question-Answering

Dölj