Hur en algoritm lärde sig att identifiera deprimerade individer genom att studera deras Instagram-foton

En av de konstiga sakerna med färg är att vi förknippar det med känslor. Intuitivt tenderar vi att koppla ihop mörkare, gråare färger med negativa stämningar och ljusare, ljusare färger med positiva. Forskare har faktiskt funnit att människor som lider av depression föredrar mörkare färger.

Det väcker den fascinerande möjligheten att det kan vara möjligt att diagnostisera depression en masse genom att analysera bilderna som folk lägger upp på sociala medier som Instagram. Men hur tillförlitligt kan ett sådant tillvägagångssätt någonsin vara?

Idag får vi svar tack vare arbetet av Andrew Reece vid Harvard University i Cambridge, Massachusetts, och Chris Danforth vid University of Vermont i Burlington, som har hittat signifikanta samband mellan färgerna i bilder som publicerats på Instagram och en individs mentala hälsa . Kopplingen är så stark att paret föreslår att det skulle kunna användas för tidig upptäckt av psykisk ohälsa.

Forskarna började med att anskaffa cirka 500 arbetare från Amazons Mechanical Turk-tjänst som också hade Instagram-konton. De bad dessa turkare att fylla i en serie frågeformulär, inklusive en vanlig klinisk depressionsundersökning. De bjöd sedan in turkarna att dela sina Instagram-inlägg för studien.

Cirka 170 turkare höll med, varav cirka 70 var kliniskt deprimerade. Undersökningen ställde olika ytterligare frågor om deras tillstånd, såsom det ursprungliga datumet för deras diagnos.

Instagram-nedladdningarna resulterade i en databas med över 40 000 fotografier som teamet sedan analyserade, återigen med hjälp av crowdsourcing med en annan uppsättning turkare. För varje frisk användare valde forskarna de 100 senaste bilderna som skulle betygsättas. För deprimerade individer valde forskarna de 100 fotografierna som postades innan deras diagnos.

Dessa bedömare ombads att bedöma hur intressant, sympatisk, glad och ledsen varje foto verkade på en skala från 0 till 5.

Forskarna utvärderade också fotografierna med hjälp av objektiva mått som genomsnittlig nyans, färgmättnad, kontrast och så vidare. Detta visar till exempel hur levande en bild är och om den ser grå eller blek ut.

De räknade också antalet ansikten i varje bild med hjälp av mjukvara för ansiktsdetektering, med antagandet att ansikten är en proxy för en individs nivå av social aktivitet. Och de bedömde Instagram-communityts reaktion på varje bild genom att räkna antalet likes och kommentarer.

Beväpnade med dessa data använde forskarna en maskininlärningsalgoritm för att upptäcka korrelationer mellan depression och bildegenskaper.

Forskarna fann att deprimerade individer tenderar att lägga upp bilder som är blåare, gråare och mörkare och får färre gilla-markeringar än de som postats av hediga individer.

Instagram erbjuder ett brett utbud av filter som ger bilder en viss karaktär och atmosfär. Deprimerade individer hade en klar favorit bland dessa. När deprimerade deltagare använde filter, favoriserade de mest oproportionerligt filtret 'Inkwell', som konverterar färgfotografier till svartvita bilder, säger Reece och Danforth. Däremot föredrog friska individer ett filter som heter Valencia, som gör fotografier ljusare.

Dataanalysen väckte också några nyfikna observationer. Fotografier som människor bedömde som glada eller ledsna var endast svagt korrelerade med depression. Deprimerade individer var också mer benägna att lägga upp foton med ansikten, men dessa bilder tenderade att ha färre ansikten per foto.

Varför detta händer är inte klart, men Reece och Danforth har en idé. De påpekar att deprimerade människor tenderar att använda ett mer självfokuserat språk, och att detta kan sträcka sig till bilder också. Om så är fallet, kan det vara så att överflödet av bilder med lågt antal ansikten som lagts upp av deprimerade användare i själva verket är självporträtt, säger forskarna, även om de tillägger att denna sorgliga selfiehypotes fortfarande är oprövad.

En intressant fråga är hur väl algoritmen kan identifiera deprimerade individer med hjälp av bilderna de lägger upp på Instagram. Så forskarna släppte det löst på bilderna som lagts upp av 100 individer och fann att algoritmen korrekt identifierade 70 procent av dem som var deprimerade. Det är betydligt bättre än vad husläkare klarar av när de ombeds identifiera deprimerade individer.

Dessa fynd stöder uppfattningen att stora förändringar i individuell psykologi överförs i sociala medier och kan identifieras via beräkningsmetoder, säger Reece och Danforth.

Och det kommer att ge hopp om att psykisk ohälsa kan upptäckas korrekt tidigare, vilket möjliggör mer effektiv intervention.

Ref: arxiv.org/abs/1608.03282 : Instagram-foton avslöjar prediktiva markörer för depression

Dölj