Machine Vision Algorithm väljer de mest kreativa målningarna i historien

Kreativitet är en av mänsklighetens unikt definierande egenskaper. Många tänkare har utforskat de egenskaper som kreativitet måste ha, och de flesta väljer ut två viktiga faktorer: vad kreativitetsprocessen än producerar, måste den vara ny och den måste vara inflytelserik.

Konsthistorien är fylld av goda exempel i form av målningar som inte liknar några som har dykt upp tidigare och som har påverkat de efterföljande enormt. Leonardos 1469 Madonna och barn med ett granatäpple , Goyas 1780 Kristus korsfäst eller Monets 1865 Höstackar vid Chailly vid soluppgången och så vidare. Andra målningar är mer härledda, uppvisar många likheter med de som har gått förut och anses därför vara mindre kreativa.

Jobbet att skilja de mest kreativa från de andra faller på konsthistoriker. Och det är ingen lätt uppgift. Det kräver åtminstone en encyklopedisk kunskap om konsthistorien. Historikern måste då upptäcka nya drag och kunna känna igen liknande drag i framtida målningar för att avgöra deras inflytande.

Det är knepiga uppgifter för en människa och tills nyligen hade det varit otänkbart att en dator kunde ta sig an dem. Men idag förändras det tack vare Ahmed Elgammal och Babak Salehs arbete vid Rutgers University i New Jersey, som säger att de har en maskin som kan göra just detta.

De har satt det i arbete på en databas med cirka 62 000 bilder av konstmålningar för att avgöra vilka som är de mest kreativa i historien. Resultaten ger ett nytt sätt att utforska konstens historia och den roll som kreativiteten har spelat i den.

Flera framsteg har samlats för att göra detta framsteg möjligt. Den första är de snabba genombrott som har gjorts de senaste åren inom maskinseende, baserat på ett sätt att klassificera bilder efter de visuella koncept de innehåller.

Dessa visuella koncept kallas klassem. De kan vara funktioner på låg nivå som färg, struktur och så vidare, enkla föremål som ett hus, en kyrka eller en höstack och funktioner på mycket högre nivå som att gå, en död kropp och så vidare.

Detta tillvägagångssätt gör det möjligt för en maskinseendealgoritm att analysera en bild och skapa en lista med klassem som beskriver den (upp till 2 559 olika klassem, i det här fallet). Denna lista är som en vektor som definierar bilden och kan användas för att jämföra den med andra analyserade på samma sätt.

Det andra framsteg som gör detta arbete möjligt är tillkomsten av enorma onlinedatabaser med konst. Detta är viktigt eftersom maskinvisionsalgoritmer behöver stora databaser för att lära sig sitt yrke. Elgammal och Saleh gör det på två stora databaser, varav den ena, från Wikiart-webbplatsen, innehåller bilder och kommentarer på cirka 62 000 konstverk från hela historien.

Den sista komponenten i deras arbete är teoretisk. Problemet är att räkna ut vilka målningar som är de mest nya jämfört med andra som har gått före och sedan avgöra hur många målningar i framtiden som har liknande funktioner för att räkna ut deras inflytande.

Elgammal och Saleh närmar sig detta som ett problem inom nätverksvetenskap. Deras idé är att behandla konsthistorien som ett nätverk där varje målning länkar till liknande målningar i framtiden och länkas till av liknande målningar från förr.

Problemet med att bestämma den mest kreativa är då ett av att träna när vissa mönster av klasser först dyker upp och hur dessa mönster antas i framtiden. Vi visar att problemet kan reduceras till en variant av nätverkscentralitetsproblem, som kan lösas effektivt, säger de.

Med andra ord, problemet med att hitta de mest kreativa målningarna liknar problemet med att hitta den mest inflytelserika personen på ett socialt nätverk, eller den viktigaste stationen i en stads tunnelbana eller superspridare av sjukdomar. Dessa har blivit standardproblem inom nätverksteori de senaste åren, och nu tillämpar Elgammal och Saleh det på kreativitetsnätverk för första gången.

Resultaten av maskinseendealgoritmens analys är intressanta. Figuren ovan visar konstverk plottade efter datum längs den nedre axeln och efter algoritmens kreativitetspoäng på den vertikala axeln.

Flera kända bilder sticker ut som särskilt nya och inflytelserika, som Goyas Kristus korsfäst, Monets Höstackar vid Chailly vid soluppgången och Munchs De Skrika. Andra konstverk sticker ut eftersom de inte anses vara kreativa, som Rodins skulptur från 1889 Farmor och Durers kolteckning av Barbara Durer med anor från 1514 .

Många konsthistoriker håller med. I de flesta fall är resultaten av algoritmen konstverk som konsthistoriker verkligen lyfter fram som innovativa och inflytelserika, säger Elgammal och Saleh.

En viktig poäng här är att dessa resultat är helt automatiserade. De kommer till på grund av nätverket av länkar mellan målningar som algoritmen avslöjar. Det finns ingen initial sådd som fördomar sökningen på ett eller annat sätt.

Naturligtvis kommer konsthistoriker alltid att argumentera om exakt hur man definierar kreativitet och hur detta förändrar deras syn på vad som gör den på listan över mest kreativa. Det fina med Elgammal och Salehs tekniker är att små förändringar i deras algoritm gör att olika definitioner av kreativitet kan utforskas automatiskt.

Den här typen av datautvinning kan ha en viktig inverkan på hur konsthistoriker utvärderar målningar. Förmågan att på detta sätt representera hela konsthistorien förändrar hur det går att tänka kring konst och diskutera den. På sätt och vis är den här typen av datautvinning, och siffrorna som representerar den, nya förnuftsinstrument för konsthistoriker.

Och detta tillvägagångssätt är inte bara begränsat till konst. Elgammal och Saleh påpekar att det också kan användas för att utforska kreativitet inom litteratur, skulptur och även inom vetenskap.

Vi ser fram emot att se hur dessa killar tillämpar det någon annanstans.

Ref: arxiv.org/abs/1506.00711 : Kvantifiera kreativitet i konstnätverk

Dölj