Algoritmen som utökar vetenskapen om färg

Färgpaletterna utvinns från konstmålningar.

Studiet av färg genomgår en revolution. Fram till nu har färglära varit lite mer än en samling idéer löst baserade på vetenskap.

Men förmågan att analysera enorma datamängder av bilder med hjälp av maskinseende algoritmer förändrar det. Plötsligt har det blivit möjligt att studera färg och hur den används på helt andra sätt. Till exempel är det nu enkelt att extrahera kombinationer av färger från en bild och klistra in dem på en annan.

Men den här processen med färgklistring är ett trubbigt verktyg. Den kan ersätta en uppsättning färger med en annan men den kan inte jämföra dessa färgpaletter, bestämma hur specifika färger ska matchas eller upptäcka om en palett saknar en färg och ersätta den.

Problemet är att det inte finns något sätt att placera färger i ordning. Och det gör det svårt att jämföra paletter. Så bildspecialister skulle verkligen älska att ha ett naturligt sätt att beställa färger extraherade från bilder och på så sätt kunna jämföra dem.

Gå in på Huy Phan på Danmarks Tekniske Universitet i Köpenhamn och ett par kompisar som har hittat ett sätt att göra just det. Deras teknik är enkel att implementera och leder omedelbart till en ny generation av berikade bildfilter som är mycket mer flexibla än de som finns tillgängliga för närvarande.

Grundproblemet är enkelt att ange: givet färgpaletten från två bilder, vilken ordning ska färgerna visas i för att göra en meningsfull jämförelse? Med meningsfull menar teamet att färger som beskriver samma objekt ska vara jämförbara.

Phan och co tacklar detta som ett slags sorteringsproblem. De bedömer först en bild genom att plotta placeringen av färgerna den innehåller – dess palett – i en tredimensionell färgrymd (varje färg kan ses som en trevektor som beskriver hur den är sammansatt av en blandning av rött, grönt, och blå, till exempel).

De mäter sedan avståndet mellan varje färgpar i paletten. Slutligen använder de en algoritm för att ta reda på hur man mappar en palett till en annan med minimal förvrängning. Den här algoritmen hittar effektivt kluster inom varje paletts färgrymd.

Datauppsättningen de använder är viktig. Vi betraktar färgpaletter som extraherats från konstsamlingar, som vi tror är en rik källa till stilistiska och unika färgteman, säger Phan och co.

Det begränsar också ämnet, vilket är avgörande. Henri Matisse använde ofta djupröda och gröna i sina målningar, till exempel, medan Maximilien Luce använde starka blå och gula nyanser för att skugga föremål. Men eftersom dessa artister använder i stort sett liknande scener (till exempel uppdelade i himmel och land) är färgerna jämförbara.

Det betyder att teamet kan anta att liknande färgkluster beskriver liknande föremål. Algoritmen mappar sedan dessa kluster på varandra. På det sättet kan den ta färgen av himlen i en bild och tillämpa samma uppsättning färger på himlen i en annan bild.

Och eftersom transformationen tillämpas på hela utrymmet, blir det enkelt att mappa vilken färg som helst från paletten till en motsvarande färg i den andra paletten.

Det leder till ett naturligt sätt att beställa färger. Phan och co gör det genom att först ange antalet färger som visas i varje kluster. Phan och co använder fem som standardexempel (högre siffror kräver betydligt mer beräkningsresurser).

Algoritmen hittar sedan de fem färgerna i det första klustret, sedan i det andra, tredje och så vidare. Genom att beställa dessa kluster kan paletterna i varje bild enkelt jämföras.

Metoden leder omedelbart till några intressanta tillämpningar. Till exempel skapar de en applikation som heter Photo-style Explorer som fungerar som ett Instagram-filter men i en kontinuerlig färgrymd. Istället för att välja bland ett fåtal fördefinierade teman kan man fritt surfa på ett kontinuerligt utrymme av möjliga fotofärgningar för att välja ett föredraget tema, säger de.

Ett annat alternativ är att färga om foton med olika paletter i olika delar av bilden. Så det är möjligt att använda en palett för att färga om himlen och en annan för att färga om träd.

Det möjliggör också en bättre analys av konstnärers färgsignaturer och för att dessa signaturer kan överföras till andra bilder. Så det blir möjligt att snabbt färga om ett fotografi med hjälp av Renoirs färgpalett eller Vincent van Goghs.

Det är intressant arbete som utökar hur färg kan användas i moderna bilder.

Ref: http://arxiv.org/abs/1703.06003 : Färgorkester: Beställa färgpaletter för interpolering och förutsägelse

Dölj