Algoritm klonar Van Goghs konstnärliga stil och klistrar in den på andra bilder, filmer

Arten av konstnärlig stil är något av ett mysterium för de flesta. Tänk på Vincent Van Goghs Stjärnklar natt , Picassos verk om kubismen, eller Edvard Munchs Skriket . Alla har en kraftfull, unik stil som människor lätt känner igen.

Men hur är det med maskiner? Djupa neurala nätverk revolutionerar hur maskiner känner igen och tolkar världen. Maskinseende överträffar nu rutinmässigt människor vid uppgifter som objekt- och ansiktsigenkänning, något som var ofattbart för bara några år sedan.

Nyligen har dessa enheter tagit de första trevande stegen mot att erkänna konstnärlig stil och till och med reproducera den. Hur långt den här typen av arbete kan gå har inte varit klart. Är det till exempel möjligt att kopiera och klistra in en konstnärlig stil från en bild till en hel video, utan att producera artefakter som förstör den visuella upplevelsen?

Idag visar Manuel Ruder och kompisar vid universitetet i Freiburg i Tyskland att just detta är möjligt. Dessa killar tar kända konstverk som t.ex Stjärnklar natt och Skriket och överföra sin stil till en rad videosekvenser tagna från filmer som t.ex Istid och TV-program som Miss Marple. Resultatet är en imponerande återgivning av videor och möjligheten att göra det i nästan vilken stil som helst.

Djupa neurala nätverk består av många lager som var och en extraherar information från en bild och sedan för över överbliven data till nästa lager. De första lagren extraherar breda mönster som färg och de djupare lagren extraherar gradvis fler detaljer, vilket möjliggör objektigenkänning.

Informationen som extraheras av de djupare lagren är viktig. Det är i huvudsak innehållet i en bild minus kontextuell information som färg, textur och så vidare. På ett sätt är det datormotsvarigheten till en linjeteckning.

Förra året började Leon Gatys vid universitetet i Tübingen och några kompisar studera konstnärlig stil på detta sätt. De upptäckte att det är möjligt att fånga konstnärlig stil genom att inte titta på informationen i varje lager utan på sambanden mellan lagren. Så sättet som en konstnär reproducerar ett ansikte är korrelerat med hur han eller hon reproducerar ett träd eller ett hus eller solen. Att fånga denna korrelation fångar också stilen.

Men deras nyckelupptäckt var att innehållet i en bild helt kan separeras från den konstnärliga stilen. Dessutom fann de att de kunde ta den här konstnärliga stilen och kopiera och klistra in den på innehållet i vilken annan bild som helst.

Helt plötsligt blir det möjligt att fånga den abstrakta stilen hos en Kandinsky och klistra in den på en bild av din katt. Det är väldigt roligt. Men det väckte också frågan om hur mycket längre denna teknik kan tas.

Det uppenbara nästa steget är att klistra in den konstnärliga stilen på på varandra följande bilder för att göra en video. Men det skapar genast problem. Små skillnader mellan på varandra följande ramar kan leda till stora skillnader i hur den nya konstnärliga stilen tillämpas. Och det gör att videon verkar hoppig och visuellt osammanhängande. Ett särskilt problem är kanterna på föremål när de rör sig eller blir tilltäppta.

Nu har Ruder och co löst det här problemet. Med tanke på en konstnärlig bild överför vi dess speciella målarstil till hela videon, säger de.

Deras tillvägagångssätt är att använda en algoritm som analyserar avvikelserna mellan på varandra följande bearbetade bildrutor och förhindrar stora skillnader, men att göra detta samtidigt som man ignorerar områden i en scen som kommer till synen efter att de har blockerats. Detta tillåter processen att återuppbygga disockluderade regioner och förvrängda rörelsegränser samtidigt som utseendet på resten av bilden bevaras, säger de.

Resultaten är imponerande. Teamet använder sin algoritm för att extrahera den konstnärliga stilen i ett antal olika konstverk av Kandinsky, Picasso, Matisse, Turner och naturligtvis Munch och Van Gogh.

De bearbetade varje stillbild i sekvenserna med en upplösning på 1024 x 436 på en Nvidia Titan X GPU med parallell bearbetning på en CPU samtidigt. Denna process tar cirka åtta minuter per bildruta till att börja med. Men efter optimering sjunker detta till ett genomsnitt på cirka tre minuter per bildruta. Så hela processen är beräkningsintensiv.

Det bästa sättet att uppskatta resultatet är att titta på videon , en imponerande samling sekvenser från ett brett utbud av filmer, datoranimationer och TV-program.

Naturligtvis finns det fortfarande förbättringar som kan göras. Algoritmen kämpar med mycket snabba eller stora rörelser mellan bildrutor och det bör vara möjligt att ytterligare optimera processen för att minska beräkningstiden. Men inget av de här problemen ser ut som en showstoppare.

Arbetet väcker en intressant fråga om hur mycket längre denna teknik kan tas. Till exempel är det lätt att föreställa sig appar som kan göra detta i molnet när du filmar på din smartphone. Men skulle det också gå att klistra in stilen på Skriket in i tre dimensioner och bortom det till en virtuell verklighet? Det är svårt att komma på skäl varför inte.

Allt detta förebådar ett helt nytt förhållningssätt till filmskapande men också till konst. När konstnärlig stil blir en vara som kan klippas och klistras från en bild till en annan, vad betyder det för konstnärernas arbete? Det är inte svårt att föreställa sig hur dessa stilar skulle kunna redigeras eller till och med kombineras för att producera hybrider.

Någon som är sugen på en Rubens-Picasso, en Warhol-Monet eller en Burton-Bergman?

Ref: arxiv.org/abs/1604.08610 : Överföring av konstnärlig stil för videor

Dölj