211service.com
Machine-Vision Algorithm lär sig att förvandla handritade skisser till fotorealistiska bilder
Att rita en exakt skiss av en persons ansikte är en konst som är svår för de flesta att bemästra. Men det visar sig vara relativt enkelt för datorer. Det finns olika program för att konvertera bilder till linjeritningar. Det ger ofta en bra start, även om dessa system kan ha svårt med skuggor och hög kontrast.
Ett mer lovande tillvägagångssätt är att använda maskinseendealgoritmer som förlitar sig på neurala nätverk för att extrahera funktioner från en bild och använda dessa för att producera en skiss. På detta område har maskiner börjat konkurrera och till och med överträffa människor när det gäller att producera korrekta skisser.
Men hur är det med det omvända problemet? Detta börjar med en skiss och syftar till att producera ett korrekt färgfoto av det ursprungliga ansiktet. Det är helt klart en mycket svårare uppgift, så mycket att människor sällan ens försöker.
Nu har maskinerna knäckt detta problem. Idag har Yagmur Gucluturk, Umut Guclu och kompisar vid Radboud University i Nederländerna lärt ett neuralt nätverk att förvandla handritade skisser av ansikten till fotorealistiska porträtt. Arbetet är ännu en demonstration av hur intelligenta maskiner, och neurala nätverk i synnerhet, börjar överträffa människor i en allt större mängd olika uppgifter.
Radboud-teamet börjar med en datamängd med 200 000 bilder av ansikten tagna från Internet. De konverterade dessa till linjeritningar, gråskaleskisser och färgskisser, med hjälp av vanliga bildbehandlingsalgoritmer. Detta skapade en betydande träningsdatauppsättning för att lära ett djupt faltningsneuralt nätverk med 11 lager att utföra uppgiften omvänt: förvandla en skiss till ett fotorealistiskt färgfotografi av ett ansikte.
Efter att ha tränat nätet, satte laget sedan igenom det med en annan datamängd. Uppgiften för det neurala nätet var att börja med skissen och producera en fotorealistisk bild.
Resultaten är imponerande, särskilt när det neurala nätverket började med linjeritningar. Vi fann att linjemodellen presterade imponerande när det gäller att matcha individernas hår- och hudfärg även när linjeskisserna inte innehöll någon färginformation, säger teamet.
Anledningen verkar klar. Detta kan tyda på att modellen, tillsammans med att dra fördel av luminansskillnaderna i skisserna för att sluta sig till färgning, kunde lära sig färgegenskaper som ofta förknippas med ansiktsegenskaper på hög nivå av olika etniciteter, föreslår de.
Därefter testade teamet det neurala nätet på en helt annan datamängd med handritade skisser som uppenbarligen genereras på ett helt annat sätt än de som nätet tränades på. Än en gång syntetiserade modellen fotorealistiska ansiktsbilder, säger de.
Nätet var förstås inte perfekt. I synnerhet hade den problem när blyertsdrag i handritade skisser inte åtföljdes av skuggning. Detta ledde till mindre realistiska resultat. Detta kan förklaras av bristen på sådana funktioner i träningsdatan för linjeskissmodellen, säger de, och tillägger att denna brist lätt kan övervinnas genom att inkludera exempel i träningsuppsättningen som mer liknar skissarnas ritstil, säger Radboudforskarna.
Slutligen tillät teamet sitt neurala nät att visa upp sig genom att producera fotorealistiska bilder av konstnärer som Rembrandt och Van Gogh från skissade självporträtt som båda konstnärerna hade gjort.
Det är ett imponerande arbete som visar hur djupa neurala nätverk snabbt börjar överträffa människor i synuppgifter. Den uppenbara omedelbara tillämpningen är inom kriminalteknik, där korrekta bilder av misstänkta måste konstrueras av poliskonstnärer.
Och detta är bara ett sätt av många sätt som dessa maskiner visar sin överlägsenhet. Machine-vision-algoritmer kan också utföra uppgifter som att kopiera och klistra in konstnärlig stil från en bild till en annan, lägga till färg till gråskalebilder exakt och omvandla lågupplösta bilder till högupplösta.
Allt detta har hänt på bara ett par års utveckling, och djupa neurala nätverk har mycket längre att gå. Det är svårt att förutsäga vad de kommer att vara kapabla till om, säg, bara ett år.
Ref: arxiv.org/abs/1606.03073 : Convolutional Sketch Inversion