Algoritmer kan göra vilken scen som helst till en serie

Serier tar formen av en serie stillbilder som tillsammans berättar en historia. Bilderna är ofta mycket stiliserade och grafikerna beundrade för sin skicklighet.

Men den här typen av konstnärskap är svårt att lära sig och svårt att fullända, vilket gör det tidskrävande och dyrt att producera. Så artister, förläggare och läsare skulle älska ett automatiserat sätt att få en bild att imitera en önskad komisk stil.

Det visar sig att den här typen av algoritm redan finns. Redan 2015 upptäckte en grupp forskare i Tyskland ett sätt att överföra en bilds konstnärliga stil till en annan. Sedan dess har andra ständigt förbättrat detta tillvägagångssätt för att göra det snabbare och mer exakt.

Från vänster till höger: den ursprungliga grafiska bilden, målbilden och den resulterande stiliserade bilden

Men arbetet har hittills fokuserat på att överföra stilen hos fina konstnärer som Picasso och Van Gogh till andra bilder, eller att förändra vanliga bilder på sätt som att förvandla natt till dag. Hur väl fungerar dessa algoritmer med de ofta mer stiliserade bilderna som produceras av serietecknare?

Idag får vi svar tack vare Maciej Pęśko och Tomasz Trzcińskis arbete vid Warszawas tekniska universitet i Polen. Dessa killar har tillämpat olika typer av bildstilsöverföring på komisk grafik och jämfört resultaten.

Först lite bakgrund. Detta tillvägagångssätt började med Leon Gatys arbete vid universitetet i Tübingen och några kompisar, som studerade hur djupa neurala nätverk registrerade och analyserade konstnärlig stil. Dessa nätverk består av lager som analyserar en bild på olika nivåer – detaljer som former, färger och linjer.

Den viktigaste insikten bakom Gatys och cos arbete är att konstnärlig stil inte fångas i själva lagren utan i sambanden mellan dem. Det gör det omedelbart möjligt att skilja en konstnärs stil från konstens innehåll och till och med överföra den från en bild till en annan.

Och det är precis vad Gatys och co gjorde, till utbredd förvåning från datorvisionsgemenskapen. Detta arbete har blivit grunden för en ny underdisciplin av datorseende som kallas neural stilöverföring.

Ett problem med det nya tillvägagångssättet är att det är beräkningsintensivt. Det tar avsevärd tid – flera sekunder för 512x512 bilder på moderna stationära datorer – att analysera en bild, ta bort dess stil och tillämpa den stilen på en annan scen.

Så datavetare började leta efter olika tillvägagångssätt som kunde göra uppgiften snabbare. Och de kom faktiskt på olika algoritmer som gör ett liknande jobb. Det finns dock en avvägning mellan hastighet och kvalitet.

Gå in i Pęśko och Trzciński. Dessa killar har testat ett brett utbud av algoritmer för överföring av neurala stilar för den specifika uppgiften att överföra de grafiska stilarna som är förknippade med serier. Detta är det första försöket att utvärdera och jämföra resultaten som erhållits med flera metoder i samband med att överföra komisk stil, säger de.

De fokuserar specifikt på de snabbaste teknikerna som har potential att fungera på vilken grafisk bild som helst. Vi fokuserar mest på metoder vars exekveringstid per bild inte överstiger 2 sekunder, säger de.

På så sätt testade de fem olika algoritmer på bilder på 600x450 pixlar som bearbetades med en 12-gigabyte Titan X-grafikprocessor. De valde ut bilder som representerar olika seriestilar och överförde dessa till bilder som valts slumpmässigt från en bildsökning på Google.

Slutligen visade de resultaten för 100 personer för att utvärdera hur väl algoritmerna uppnådde stilöverföringen.

Resultaten visar den senaste tekniken inom detta område. Algoritmen som bedöms bäst är en teknik som kallas adaptiv instansnormalisering, utvecklad 2017, med cirka 30 procent av rösterna för dess fördel. Det bekräftar våra antaganden att den här metoden ger resultat som ligger närmast tecknad film eller serier när det gäller stilistisk likhet, säger Pęśko och Trzciński.

Resultaten är dock inte på något sätt perfekta. Alla tekniker lider till viss del av problem som olämplig färgöverföring och suddighet. Vi tror att det fortfarande finns plats för förbättringar, säger forskarna.

Det representerar en möjlighet. Seriemarknaden bara i USA är värd 1 miljard dollar per år. Och det finns många delar av världen som ännu inte har utvecklat sin egen kultur kring serier, som Indien. Så det finns marknader som har potential att växa.

Möjligheten att skapa komiska bilder av hög kvalitet kommer att göra en betydande skillnad för alla som vill erövra dessa marknader.

Men det finns ett annat problem: utmaningen att utveckla kraftfulla karaktärer och övertygande berättelser. Neurala nätverk kan inte hjälpa till med det ... åtminstone inte än.

Ref: arxiv.org/abs/1809.01726 : Neural Comic Style Transfer: Fallstudie

Dölj