AI-algoritmen identifierar humoristiska bilder

Humor är en unik mänsklig egenskap. De flesta kan känna igen roliga meningar, incidenter, bilder, videor och så vidare. Men det är inte alltid lätt att säga varför dessa saker är humoristiska.

Så det är lätt att föreställa sig att humor kommer att vara en av de sista bastionerna som skiljer människor från maskiner. Datorer, tänker man, kan omöjligt utveckla ett sinne för humor förrän de kan förstå finesserna i våra rika sociala och kulturella miljöer. Och även de mest kraftfulla AI-maskinerna är säkert långt ifrån det.

Det tänkandet kanske snart måste ändras. Idag säger Arjun Chandrasekaran från Virginia Tech och kompisar att de har tränat en maskininlärningsalgoritm för att känna igen humoristiska scener och till och med skapa dem. De säger att deras maskin exakt kan förutsäga när en scen är rolig och när den inte är det, även om den inte vet något om det sociala sammanhanget för vad den ser.

Psykologer har en relativt dålig förståelse för mekanismerna bakom humor. De flesta teorier om humor tyder på att dess nyckelkomponenter är egenskaper som oväntadhet, inkongruens, smärta och så vidare. När en eller alla dessa element finns i meningar, bilder och videor, ökar chanserna att få ett leende.

Chandrasekaran och co begränsar sina studier till bilder. Och för att göra det enkelt begränsar de sig till bilder skapade med ett clipart-program. Den innehåller 20 människomodeller av pappersdockor av olika åldrar, kön och raser med rörliga armar och ben och åtta olika uttryck. Den innehåller också 31 djur i olika poser och ett 100-tal inomhus- och utomhusföremål som dörrar, fönster, bord, sol, moln, träd och så vidare.

En viktig del av varje maskininlärningsprocess är att skapa en databas som innehåller goda exempel på det som algoritmen måste lära sig. Detta är ingen lätt uppgift, särskilt när det kommer till något så subjektivt som humor.

Teamet tar itu med detta genom att be arbetare på Amazons Mechanical Turk-tjänst att skapa roliga scener med hjälp av clipart-programmet, tillsammans med en kort mening som beskriver varför de tycker att scenerna är roliga. De bad också dessa människor – turkers, som de kallas – att skapa olustiga scener.

På så sätt samlade teamet ihop en databas med 6 400 bilder, varav hälften var roliga och hälften olustiga. De kalibrerade databasen genom att be andra turkers att betygsätta det roliga i varje scen och fann att de flesta föll i deras avsedda kategorier, även om några olustiga scener visade sig vara oavsiktligt roliga och vice versa.

Efter ytterligare analys visade det sig att de scener som betygsatts som roligast vanligtvis förknippades med djur eller människor som gjorde något ovanligt.

Det fick teamet att fundera på sätt att förändra det roliga i en bild. Ett sätt att göra detta är att ersätta föremålet eller personen som gör något ovanligt med ett annat föremål eller person. Så de bad turkare att ersätta föremål med andra föremål som var så lika det första föremålet som möjligt, men det gjorde scenen olustig. Detta hjälper oss att förstå finkornig semantik som gör att en specifik objektkategori bidrar till humor, säger de.

På så sätt ändrade de var och en av de 3 000 roliga bilderna på fem olika sätt för att skapa en databas med 15 000 olustiga motsvarigheter till roliga bilder.

Med denna databas under bältet började Chandrasekaran och co uppgiften att träna en maskininlärningsalgoritm för att upptäcka skillnaden mellan roliga och olustiga bilder (håller tillbaka 20 procent av databasen för att testa den senare).

De gav maskinen två uppgifter. Den första var att förutsäga det roliga i en scen och den andra var att ändra det roliga i en scen genom att ersätta ett föremål i den.

Resultaten ger intressant läsning. Generellt sett presterar algoritmen ganska bra när det gäller att förutsäga scenens rolighet - definitivt bättre än en slumpmässig gissning.

Uppgiften att förändra det roliga i en scen består av två delar. Det första är att känna igen de element i scenen som bidrar till humorn och det andra är att välja ett ersättningsobjekt som minskar det roliga.

I den första uppgiften gör algoritmen några intressanta framsteg. Vi observerar att modellen lär sig att levande föremål som människor och djur i allmänhet är mer sannolika källor till humor jämfört med livlösa föremål och därför tenderar att ersätta dessa föremål, säger Chandrasekaran och co.

Algoritmen gör framsteg även i den andra uppgiften. Det eliminerar humor i de flesta scener genom att välja att ersätta föremål som bidrar till humor med andra föremål som smälter in i bakgrunden väl, säger teamet. Algoritmen kan till exempel ersätta det ovanliga föremålet i en inomhusscen med en krukväxt som passar bra eller en fjäril i utomhusscener.

Och teknikerna fungerar bra. I mänskliga utvärderingar visade sig scener som gjordes olustiga av vår [algoritm] vara mindre roliga än den ursprungliga roliga scenen 95 procent av gångerna, säger Chandrasekaran och co.

Maskinen lyckades mindre bra med att göra scener roligare men det är helt klart något att jobba på i framtiden.

Naturligtvis är en viktig fråga vad exakt maskinen lär sig att göra. I det här arbetet kan rolighet vara en proxy för något helt annat. Faktum är att om Chandrasekaran och cos papper skrevs om med varje instans av ordet rolighet ersatt med ordet udda eller inkongruens eller oväntat, skulle resultaten inte vara mindre giltiga.

Ändå har teamet ett intressant tillvägagångssätt som kan leda till några fascinerande tillämpningar. Förmågan att bedöma humorn i en scen kan hjälpa forskare att utveckla bättre fotoredigeringsverktyg, verktyg som väljer roliga bilder att lägga upp på sociala medier, eller till och med smarta kameror som kan välja bättre ögonblick för att ta humoristiska bilder.

Det är också en del av ett nytt fält av beräkningshumor – att använda maskinintelligens för att få oss att skratta. En dag kanske maskiner till och med delar skämtet.

Ref: arxiv.org/abs/1512.04407 : Vi är humorvarelser: Förstå och förutsäga visuell humor

Dölj