Machine Vision Algorithm slår konsthistoriker i sitt eget spel

Få områden av akademisk undersökning har undgått inflytandet från datavetenskap och maskininlärning. Men en av dem är konstens historia. Utmaningen med att analysera målningar, känna igen deras konstnärer och identifiera deras stil och innehåll har alltid varit bortom kapaciteten hos ens de mest avancerade algoritmerna.

Det förändras nu tack vare de senaste framstegen inom maskininlärning baserat på tillvägagångssätt som djupa konvolutionella neurala nätverk. På bara några år har datavetare skapat maskiner som kan matcha och ibland överträffa människor i alla typer av mönsterigenkänningsuppgifter.

Idag ser vi hur avancerade dessa tillvägagångssätt har blivit i händerna på Babak Saleh och Ahmed Elgammal vid Rutgers University i New Jersey. Dessa killar har använt dessa nya maskininlärningstekniker för att träna algoritmer för att känna igen konstnären och stilen hos en konstmålning med en noggrannhet som aldrig har uppnåtts tidigare.

Dessutom avslöjar resultaten kopplingar mellan konstnärer, och mellan hela målarstilar, som konsthistoriker har arbetat i åratal för att förstå.

Saleh och Elgammal börjar med en databas med bilder av mer än 80 000 målningar av mer än 1 000 konstnärer som spänner över 15 århundraden. Dessa målningar täcker 27 olika stilar, var och en med mer än 1 500 exempel. Forskarna klassificerar också verken efter genre, såsom interiör, stadsbild, landskap och så vidare.

De tar sedan en delmängd av bilderna och använder dem för att träna olika typer av toppmoderna maskininlärningsalgoritmer för att välja ut vissa funktioner. Dessa inkluderar allmänna funktioner på låg nivå som den övergripande färgen, såväl som mer avancerade funktioner som beskriver objekten i bilden, som en häst och ett kors. Slutresultatet är en vektorliknande beskrivning av varje målning som innehåller 400 olika dimensioner.

Forskarna testar sedan algoritmen på en uppsättning målningar som den ännu inte har sett. Och resultaten är imponerande. Deras nya tillvägagångssätt kan exakt identifiera konstnären i över 60 procent av målningarna den ser och identifiera stilen i 45 procent av dem.

Men avgörande är att maskininlärningsmetoden ger en inblick i arten av konst som annars är svårt även för människor att utveckla. Detta kommer från att analysera de målningar som algoritmen har svårt att klassificera.

Till exempel säger Saleh och Elgammal att deras nya tillvägagångssätt har svårt att skilja mellan verk målade av Camille Pissarro och Claude Monet. Men lite forskning om dessa konstnärer avslöjar snabbt att båda var aktiva i Frankrike i slutet av 1800-talet och början av 1900-talet och att båda gick på Académie Suisse i Paris. En expert kanske också vet att Pissarro och Monet var goda vänner och delade många upplevelser som informerade deras konst. Så det faktum att deras arbete är liknande är ingen överraskning.

Som ett annat exempel blandar det nya tillvägagångssättet ihop verk av Claude Monet och den amerikanska impressionisten Childe Hassam, som, det visar sig, var starkt influerad av de franska impressionisterna och Monet i synnerhet. Det här är länkar som det kan ta tid för en människa att upptäcka.

Den algoritmiska metoden hittar också kopplingar mellan vissa konstnärliga stilar. Till exempel blandar den ofta ihop exempel på abstrakt expressionism och actionmålningar, där konstnärer droppar eller kastar målarfärg och kliver på duken. Saleh och Elgammal säger återigen att denna typ av sammanblandning skulle vara helt förståeligt för en mänsklig tittare. 'Action painting' är en typ eller subgenre av abstrakt expressionism, påpekar de.

Algoritmen plockar ut många andra likheter. Den kopplar samman expressionism och fauvism, vilket kan förväntas med tanke på att den senare rörelsen ofta ses som en typ av expressionism. Den kopplar ihop mannerist- och renässansstilarna, vilket tydligt återspeglar det faktum att mannerism är en form av tidig renässansmålning.

Och den hittar andra mer raka kopplingar, till exempel mellan renässans- och tidiga renässansmålningar, mellan impressionism och postimpressionism, och mellan kubismen och dess senare manifestation, syntetisk kubism.

Dessa kopplingar är välkända för konsthistoriker, men bara på grund av många decennier, eller faktiskt århundraden, av vetenskap. Tillvägagångssättet för maskininlärning sträcker sig däremot bara över några månader.

Det har viktiga konsekvenser för studiet av konsthistoria. En tillämpning av de nya algoritmerna är att plocka ut målningar med liknande egenskaper (se bilder). Det ger ett nytt och kraftfullt verktyg för historiker att leta efter influenser mellan artister som kanske aldrig har varit medvetna om.

Det tillåter också en ny form av konstutforskning, att hoppa från en bild till en annan liknande, i en process som är visuellt likvärdig med att hitta synonymer.

Fascinerande grejer!

Ref: arxiv.org/abs/1505.00855 : Storskalig klassificering av konstmålningar: Lär dig rätt mått på rätt funktion

Dölj