Machine vision kan upptäcka okända kopplingar mellan klassiska konstverk

Bild av fyra målningar med liknande poserade motiv

En av de viktiga frågor som konsthistoriker driver är hur stora konstnärer påverkades av andra. De undersöker konstverkets stil, innehåll och genre och letar efter kopplingar och influenser mellan konstnärer.

Det är en komplex verksamhet. Under dagarna innan fotografering var det enda sättet att kopiera ett konstverk för hand. Den här typen av arbete var faktiskt vanligt. Konstnärer replikerade ofta sina egna verk eller verk av andra i samma studio, och kopiorna fanns i överflöd.

Men målet med denna form av kopiering var inte alltid att återskapa originalet. Ofta använde konstnärer befintliga bilder som utgångspunkt för sitt eget arbete, som skulle återspegla originalets komposition eller pose. Det finns faktiskt många exempel på identiska människofigurer i samma pose i helt olika målningar.

Så konsthistorien är en komplex väv av länkar mellan konstnärer och deras verk, ofta kartlagda i influenser på originalverk, delkopior och kompletta kopior.

Den mänskliga ställningen spelar en viktig roll i detta. Ett jobb för konsthistorikern är att reta isär denna väv, att studera de mänskliga poserna som används av olika konstnärer och skymta de krafter som påverkade dem.

Idag blir det enklare tack vare arbetet av Tomas Jenicek och Ondrej Chum vid det tjeckiska tekniska universitetet i Prag. Dessa killar har använt ett maskinseendesystem för att analysera poserna för mänskliga motiv i konstmålningar genom historien. De söker sedan efter andra målningar som innehåller personer i samma poser.

Tekniken avslöjar tidigare okända kopplingar mellan konst och konstnärer. Det lägger till ett kraftfullt nytt verktyg till vapenhuset som konsthistoriker kan använda, med potential att förändra hur vi förstår konsthistorien.

Metoden är relativt okomplicerad och bygger på de enorma databaser som konsthistoriker skapat de senaste åren. Dessa har digitaliserat samlingarna från många av världens främsta museer och gallerier, och många av dem är öppet tillgängliga online. Dessa databaser är plötsligt mottagliga för analys av maskinintelligens.

Samtidigt har andra forskare utvecklat maskinseendealgoritmer som kan bestämma en mänsklig pose från en 2D-bild. Den mest avancerade är förmodligen en algoritm som heter OpenPose, ett program med öppen källkod för positionsdetektering i realtid i 2D-bilder, utvecklat vid Carnegie Mellon University i Pittsburgh.

Jenicek och Chum använder denna programvara för att söka efter liknande poser i en databas med manuellt kommenterade bilder. Detta fungerar som ett slags guldmyntfot.

De säger att den automatiserade processen lätt överträffar andra sätt att hitta liknande bilder. Vi visar experimentellt att explicit matchning av mänsklig pose är överlägsen standardinnehållsbaserade bildhämtningsmetoder på en manuellt kommenterad konstkompositionsöverföringsdataset, säger de.

De fortsätter att leta efter liknande poser i en onlinedatabas som heter Web Gallery of Art, som innehåller 37 000 bilder. Forskarna säger att deras algoritm upptäckte ett brett utbud av länkar mellan bilder som skulle ha varit omöjliga att identifiera på annat sätt (se bild).

Algoritmen är förstås inte perfekt. Den hittar ett antal falska positiva, där poser i olika bilder ser likadana ut men efter visuell inspektion visar sig vara helt olika.

Detta är inte på något sätt det första försöket att använda maskinseende för att studera konst. Det har forskare redan använde algoritmer för att hitta slående nya kopplingar mellan konstverk baserat på den allmänna sammansättningen av en målning.

Uppskattning av den mänskliga poseringen är mycket svårare för maskiner än att studera allmän sammansättning, så det har tagit längre tid att få den här tekniken till användning i konstvärlden. Men förekomsten av människor i konsten är så stor att denna teknik har betydande potential.

Det erbjuder ett kraftfullt nytt sätt att analysera konstverk genom tiderna och att studera hur kopior och variationer av mänskliga poser har påverkat konstnärer. Hur konsthistoriker använder detta nya verktyg kommer att bli fascinerande att se.

Ref: arxiv.org/abs/1907.03537 : Länka konst genom mänskliga poser

Dölj