Datautvinning 100 miljoner Instagram-foton avslöjar globala klädmönster

Föreställ dig en framtida antropolog med tillgång till biljoner foton av människor – tagna under århundraden och över hela världen – och utrustad med effektiva verktyg för att analysera dessa foton för att få insikter. Vilka typer av nya frågor kan besvaras?

Det här är drömmen som har inspirerat Kevin Matzen, Kavita Bala och Noah Snavely vid Cornell University i Ithaca, New York.

Deras tanke är att de miljontals bilder som laddas upp varje dag till sociala medier ger ett fascinerande fönster till de kulturella, sociala och ekonomiska faktorer som formar samhällen runt om i världen. Med tillräckligt kraftfull maskinintelligens, säger de, borde det vara möjligt att bryta denna moderladd av data för djupa insikter i vår civilisation.

Algoritmen avslöjar hur klädstilar förändras över tid

Som tur är, dyker den här typen av maskinintelligens för närvarande fram i rasande fart. Och Matzen och co har satt igång att studera 100 miljoner foton som lagts upp på Instagram.

Frågan dessa killar specifikt vill svara på var hur klädstilar varierar runt om i världen, ett kulturellt fenomen som annars är svårt att studera i den här skalan.

Till exempel kan deras tillvägagångssätt ta itu med frågor som hur frekvensen av användning av halsdukar i USA förändras över tiden, vilka stilar som är mest specifika för vissa regioner eller städer, och, omvänt, vilka stilar som är populära över hela världen.

För att ta reda på det vände Matzen och co till Instagram, som gjorde det möjligt för dem att ladda ner bilder inom fem kilometer från en specifik plats och inom fem dagar efter ett specifikt datum.

Teamet identifierade sedan 44 städer att studera och laddade ner totalt 100 miljoner bilder från dessa platser i femdagarsfönster mellan juni 2013 och juni 2016.

De använde ett standardprogram för ansiktsigenkänning för att filtrera bort alla bilder som inte innehöll ett ansikte, och de filtrerade även efter en synlig bål, vilket lämnade en uppsättning av 15 miljoner bilder av människor som visar den övre halvan av deras kropp, tillsammans med deras plats och datumet.

Därefter tränade de en maskininlärningsalgoritm för att känna igen olika typer av kläder och accessoarer i bilder. Algoritmen lärde sig till exempel att känna igen om människor bar en jacka, en halsduk, en slips, glasögon, en hatt och så vidare. Algoritmen kunde också känna igen färger, halsringningsstilar och ärmlängd; klädkategorier som t-shirt, klänning eller linne; och klädmönster, som solid, randig, pläd och så vidare.

Slutligen lät de maskinen tappa på de 15 miljoner fotona i sin datamängd och använde sedan en annan algoritm för att söka efter kluster av bilder med liknande visuella teman och spåra hur dessa varierade över tid och från en plats till en annan.

Resultaten ger intressant läsning. Klustringsalgoritmen hittade cirka 400 olika visuella teman, till exempel människor som bar vita t-shirts och glasögon, eller som bar röda V-ringade toppar eller svarta klänningar, eller som inte bar toppar alls!

Matzen och co kan sedan studera hur dessa visuella teman varierar efter tid och plats. De fann till exempel att vissa färger varierar med jämna mellanrum, där svart och brunt är vanligare på vintern och vitt och blått vanligare på sommaren.

Andra färger visar olika mönster. Till exempel minskar populariteten för rött. Och även om det är mycket mindre periodiskt än svart eller vitt, blir det plötsligt populärt då och då. Matzen och co pekar på små toppar i popularitet i slutet av oktober och december: med andra ord på Halloween och jul. Det som stack ut var ett stort sortiment av tomteluvor samt ett oväntat sortiment av röda halloweenkostymer med röda hattar eller luvor, säger de.

De fann också en plötslig ökning av populariteten för gula tröjor i Colombia och Brasilien under fotbolls-VM i juni/juli 2014 – båda ländernas fotbollslag bär gult.

De noterade också olika geografiska trender. Länder längre norrut tenderar att ha fler jackor, säger de, förmodligen för att det är kallare.

Att bära hatt är också mer populärt i kallare länder. Men konstigt nog visar sig Oman i Mellanöstern vara en av världens hattbärande huvudstäder. Speciellt kuma och massar är populära i Oman, eftersom de är en viktig del av mäns nationalklänning, säger Matzen och co.

Vissa kläder är unika för vissa platser: gele, en nigeriansk huvudslips, är väldigt utmärkande för Lagos. Och andra stilar är vanliga runt om i världen och under hela året, inklusive skjortor med blå krage, rutiga skjortor och svarta T-shirts.

Det är intressant arbete som avslöjar potentialen för maskininlärning att reta isär den kulturella strukturen i vårt samhälle.

Naturligtvis är detta tillvägagångssätt inte perfekt. Algoritmen lärde sig inte att skilja på solglasögon och receptbelagda glasögon, som spelar olika roller i samhället. Det är osannolikt att bilderna är representativa för samhället som helhet, eftersom Instagram-användare är kraftigt snedställda mot en yngre demografi. Och tekniken tittar bara på överkroppen, eftersom benen ofta är beskurna i onlinebilder.

Men det finns en betydande potential att rätta till dessa brister i framtida arbete och att gå längre. En pågående utmaning inom maskinseende är att ta reda på om människor står eller sitter eller vad de gör i allmänhet. Det skulle också vara möjligt att kombinera denna datauppsättning med andra, såsom väder- och temperaturdata.

Som Matzen och co avslutar: Kombinationen av big data, maskininlärning, datorseende och automatiserade analysalgoritmer skulle göra ett mycket kraftfullt analysverktyg mer allmänt inom visuell upptäckt av mode och många andra områden.

Det är uppenbart att vi inte behöver vänta på framtidens antropologer.

Ref: arxiv.org/abs/1706.01869 :StreetStyle: Utforska världsomspännande klädstilar från miljontals foton

Dölj