Computational Estetics Algoritm Spots skönhet som människor förbiser

En av de deprimerande sanningarna om sociala medier är att en bilds popularitet inte nödvändigtvis är en indikation på dess kvalitet. Det är lätt att hitta enormt populärt innehåll av tvivelaktig kvalitet. Men det är mycket svårare att hitta impopulärt innehåll av hög kvalitet.

Det beror till stor del på att popularitet styrs av en maktlag: en liten del av innehållet får en stor andel uppmärksamhet medan den stora majoriteten av innehållet delar resten. Ta bilddelningswebbplatsen Flickr, som är värd för cirka 200 miljoner bilder. Av dessa har 166 miljoner fem favoriter eller färre.

Det är ett stort antal impopulära bilder! Det är lätt att föreställa sig att det måste finnas många fotografiska pärlor gömda i denna långa svans av impopularitet. Men hur avslöjar man det?

Idag får vi och svarar tack vare Rossano Schifanellas arbete vid universitetet i Turin i Italien och Miriam Redi och Luca Maria Aiello på Yahoo Labs i Barcelona. De här killarna har lärt en maskinseendealgoritm att känna igen skönhet och sedan låtit den tråla genom den långa svansen av impopulära Flickr-bilder och leta efter ädelstenar som ingen har lagt märke till. Och resultaten är imponerande.

Schifanella och co börjar med att crowdsourca mänskliga åsikter om den estetiska kvaliteten på cirka 10 000 bilder från Flickr-databasen. Dessa inkluderar både populära och impopulära bilder i fyra kategorier beroende på om de föreställer människor, natur, djur eller urbana ämnen.

Varje bild har betygsatts av minst fem människor enligt fem estetiska kategorier som sträcker sig från extremt dålig till exceptionell kvalitet. Denna process producerar en datauppsättning av bilder som motsvarar varje estetisk kategori.

Därefter använder teamet denna datamängd för att träna ett maskinseendesystem som heter CrowdBeauty för att känna igen bilder som faller inom varje kategori. För att göra detta analyserar algoritmen varje bild med hjälp av kriterier som dess kontrast, ljusstyrka, färgmönster, arrangemanget av funktioner i bilden och så vidare.

Algoritmen fungerar hur dessa kriterier relaterar till det eventuella estetiska betyget. Schifanella och co testar sedan CrowdBeauty-algoritmen genom att be den förutsäga betyget som ges till ett antal fotografier som de ännu inte har sett. Detta kan den göra med överraskande noggrannhet, särskilt för djurbilder och stadsbilder.

Slutligen släppte Schifanella och co CrowdBeauty lös på en databas med nio miljoner bilder från Flickr som har färre än fem favoriter. Dess mål är att plocka ut vackra bilder som ännu inte har blivit populära.

Resultaten är imponerande med CrowdBeauty som lyfter fram många vackra bilder. Teamet jämför dessa bilder med bilder som bara är populära genom att crowdsourcing åsikter om dem. Vår metod hämtar bilder vars medianvärde för upplevd skönhet är lika med de mest populära, och vars genomsnitt är lägre med endast 1,5 %, säger de.

(I bilden ovan finns impopulära bilder i den vänstra kolumnen, populära bilder visas i mittenkolumnen och bilder som valts ut av CrowdBeauty visas i den högra kolumnen.)

Det ökar omedelbart möjligheten för olika applikationer. En idé är att använda CrowdBeauty för att hitta vackra bilder som ännu inte blivit populära.

Som ett proof-of-concept föreställer vi oss en ny Flickr Beauty Explorer-sida som visar månadens vackraste men impopulära bilder för att komplettera den klassiska Flickr Explorer som innehåller foton med mycket hög social feedback, säger Schifanella och co.

Med andra ord, CrowdBeauty-algoritmen har potential att demokratisera fotodelningsplattformar genom att lyfta fram begåvade individer som annars är underskattade.

Så det finns hopp ännu för alla er ouppskattade fotografer där ute.

Ref: arxiv.org/abs/1505.03358 : En bild är värd mer än tusen favoriter: Upptäck Flickr-bildernas dolda skönhet

Dölj