Datautvinning avslöjar hur leende utvecklades under ett århundrade av årsboksfoton

Datautvinning har förändrat vårt sätt att tänka på information. Maskininlärningsalgoritmer går nu rutinmässigt igenom datamängder av Twitter-konversationer, resmönster, telefonsamtal och hälsojournaler, för att bara nämna några. Och de insikter som detta ger förbättrar dramatiskt vår förståelse för kommunikation, resor, hälsa och så vidare.

Men det finns en annan historisk datauppsättning som till stor del har ignorerats av datautvinningsgemenskapen - fotografier. Detta innebär en mer komplex utmaning.

Till att börja med är datamängden enorm och sträcker sig över 150 år sedan fotografiets gryning. Dessutom kan informationen den innehåller vara svår att destillera, ofta för att den är för komplex eller för vardaglig för att beskrivas med ord.

Idag förändras det tack vare Shiry Ginosars arbete vid University of California, Berkeley, och några kompisar, som har banat väg för en maskinseende strategi för att utvinna data i vanliga fotografier.

De här killarna börjar med en relativt enkel databas – amerikanska gymnasiefotografier som går tillbaka till 1905. Dessa årsboksfoton har digitaliserats i stor skala av lokala bibliotek över hela USA och visar hela frontalfoton av individer i en vanlig pose.

Ginosar och co laddade ner över 150 000 av dessa porträtt. Efter att ha tagit bort de som inte var fullständiga frontalporträtt, lämnades de med cirka 37 000 bilder från mer än 800 årsböcker från 26 amerikanska delstater.

De grupperade sedan porträtten efter decennium och lade över bilderna för att producera ett genomsnittligt ansikte för varje period. Denna process avslöjade andra genomsnittliga egenskaper för varje period som frisyr, kläder, stil på glasögon och till och med genomsnittliga ansiktsuttryck. Bilden ovan visar dessa medelvärden för varje decennium för män och kvinnor.

Resultaten ger intressant läsning. En särskilt slående egenskap är utvecklingen av leende i årsboksfotografier. Ginosar och co säger att under åren efter fotografiets uppfinning antog de flesta människor samma pose som de skulle ha använt för ett målat porträtt – ett neutralt uttryck som skulle vara lätt att hålla under en lång period.

Etikett och skönhetsnormer dikterade att munnen skulle hållas liten – vilket resulterade i en instruktion att säga katrinplommon (snarare än ost) när ett fotografi togs, säger Ginosar och co.

Men det förändrades under 1900-talet, när fotografi blev mer populärt. Framför allt använde fotoföretaget Kodak reklam för att popularisera idén om att le på bilder så att bilderna registrerade glada minnen.

Oavsett anledning har leendet blivit mycket mer framträdande. Nuförtiden tar vi för givet att vi ska le när vår bild tas, säger Ginosar och kompisar.

Och data backar upp det. Teamet utvecklade en algoritm för att bestämma graden av läppkrökning i fotografierna och denna visade en tydlig trend i ökande leendeintensitet över tid.

Uppgifterna visar också en annan trend. Kvinnor ler betydligt och konsekvent mer än män, säger de. Detta är ingen ny upptäckt – den har faktiskt diskuterats i årtionden.

Men tidigare kunde uppgifterna bara sammanställas genom noggrann manuell analys av tusentals foton. En jämförelse med Ginosar och cos teknik visar dess kraft. Genom att använda en stor historisk datainsamling och en enkel leendedetektor kom vi fram till samma slutsats med en minimal mängd anteckningar och praktiskt taget ingen manuell ansträngning, säger de.

Uppgifterna avslöjar också andra trender. Ginosar och co pekar på utvecklingen av frisyrer och säger att deras datamängder väljer ut: 30-talets fingervågor. Pincurlorna från 40- och 50-talen. Bob, winged flip, bubble cut från 60-talet. 70-talets långa hår, afros och bouffanter. Perms och lugg från 80- och 90-talen, och det raka långa håret som var på modet på 2000-talet.

Andra saker har dock inte förändrats. Till exempel har standardklädkoden för män förblivit kostymen under hela 1900-talet.

Naturligtvis finns det vissa begränsningar för denna datauppsättning. Till exempel gick mindre än 10 procent av amerikanska 18-åringar ut från gymnasiet på 1900-talet, men det steg till mer än 50 procent i slutet av 1960-talet. Dessutom var den afroamerikanska befolkningen inte representerad i skolor förrän i mitten av 1900-talet, vilket skapade en betydande snedvridning i datamängden.

Ändå ger verken en fascinerande inblick i hur fotografiska datauppsättningar kan utnyttjas i framtiden. Och utvecklingen av leende och frisyrer är bara början.

Det är inte svårt att tänka på andra funktioner som kan extraheras från till synes vardagliga bilder. Till exempel innehåller historien om familjeögonblicksbilder förmodligen en stor databas med information om utvecklingen av tapetmönster, kläder, barnleksaker och så vidare.

För tillfället är denna databas i stort sett outnyttjad. Men det ser ut att förändras inom en inte alltför avlägsen framtid.

Ref: arxiv.org/abs/1511.02575 : A Century of Portraits: A Visual Historical Record of American High School Yearbooks

Dölj