AI-maskin försöker förstå serietidningar ... och misslyckas

Listan över aktiviteter där maskiner med artificiell intelligens har överträffat människor ökar i en alarmerande takt. Ansiktsigenkänning, objektigenkänning, schack, Go, olika videospel och många andra uppgifter har alla fallit i denna kamp.

Så det är naturligt att fråga om vilka typer av uppgifter som maskiner fortfarande har svårt med. Var härskar fortfarande människorna?

Idag får vi ett slags svar tack vare Mohit Iyyers arbete vid University of Maryland i College Park och några kompisar. De här killarna frågar hur väl artificiell intelligens kan förstå serietidningar och kan knappast motstå att slå i luften när de avslöjar att maskinerna kommer på en andra plats i jämförelse med människor.

Serier berättar historier med hjälp av en sekvens av paneler som består av handritade och ofta mycket stiliserade bilder som har mycket olika karaktär än fotografier. Dessa paneler är också kommenterade med text i form av tankebubblor, pratballonger och berättande rutor.

Text och bilder samverkar tätt; ofta så nära att historien inte går att följa med enbart bilder eller text. Även då måste läsaren göra betydande slutsatser och extrapolationer när han hoppar från panel till panel. Mycket detaljer måste fyllas i av läsaren.

Det är vad skaparen döljer från sina sidor som gör serier verkligen intressanta, de outtalade samtalen och osedda handlingar som lurar i utrymmena (eller rännorna) mellan intilliggande paneler, säger Iyyer och co. Det är genom att dechiffrera dessa detaljer som berättelsen skapas i läsarnas fantasi.

Denna komplexa process att titta på en enskild panel och förstå hur den ansluter till tidigare kallas för stängning. Och för tillfället är det en unik mänsklig förmåga.

Det är därför Iyyer och co tog fram ett experiment för att testa hur väl maskiner kan utföra det också.

De här killarna börjar med att skapa en stor databas med komiska berättelser som de kan använda för att träna maskiner för djupinlärning. De skapar detta med hjälp av serier publicerade mellan 1930- och 1950-talen. Detta var seriernas så kallade guldålder, som slutade i slutet av 1950-talet, då strikta censurregler infördes i USA. Upphovsrätten har sedan dess upphört att gälla för dessa publikationer, och de är offentligt tillgängliga på en webbplats som heter Digital Comics Museum i i form av användaruppladdade jpeg-filer.

Iyyer och co använde 4 000 av de högst rankade serietidningarna på sajten och skapade en databas med över 1,2 miljoner paneler. De använder optisk teckenigenkänning för att digitalisera texten på varje panel.

För att testa stängning, utformar Iyyer och co en uppsättning experiment där en maskin visas en sekvens av paneler och sedan måste förutsäga vad som kommer härnäst från en uppsättning möjliga svar. Uppgiften kan vara att förutsäga nästa bild eller nästa textstycke eller att matcha texten till en specifik karaktär.

Först måste maskinen lära sig hur serier fungerar. Så teamet matade en del av panelerna och texterna till olika maskininlärningsalgoritmer så att de kunde lära sig hur paneler följer på varandra. Dessa maskiner är förutbildade för att känna igen föremål men i naturliga bilder snarare än tecknade.

Efter att ha tränat maskinerna testar teamet dem sedan på en uppsättning paneler som de inte har sett och ber dem att förutsäga nästa bild eller textstycke i serien.

Resultaten är ögonbrynshöjande. Medan människor kan förutsäga nästa text eller nästa bild korrekt mer än 80 procent av tiden, kommer maskinerna aldrig i närheten av denna noggrannhetsnivå. Ingen av arkitekturerna överträffar mänskliga baslinjer, vilket talar för svårigheten att förstå serier, säger Iyyer och co. Bilddrag erhållna från modeller tränade på naturliga bilder kan inte fånga den stora variationen i konstnärliga stilar, och textmodeller kämpar med rikedomen och tvetydigheten i vardagsdialog som är starkt beroende av visuella sammanhang.

Det är inte förvånande med tanke på det sunda förnuftet som behövs för att följa dessa berättelser och den kulturella kunskap som krävs för att förstå logiken i berättande i serier.

Så människor är fortfarande mästare på denna uppgift, åtminstone för tillfället.

Men maskinerna kommer säkert att bli bättre när de lär sig de sociala färdigheter och slutledningsförmåga som vi tror gör oss till människor.

Och det väcker en intressant möjlighet. AI-maskiner har slagit människor i schack, Jeopardy! , Go och många andra uppgifter. Kanske borde deras nästa utmaning vara att förstå serier bättre än människor, och kanske till och med skapa berättelser på detta sätt. Det skulle ställa Google DeepMind eller någon av dess konkurrenter mot karaktärerna i Marvel eller DC Comics. Den perfekta striden och definitivt en som skulle vara rolig.

Ref: arxiv.org/abs/1611.05118 : The Amazing Mysteries of the Gutter: Dra inferenser mellan paneler i serietidningsberättelser

Dölj