Jag bad en AI att berätta för mig hur vacker jag är

Datorer rangordnar hur människor ser ut – och resultaten påverkar de saker vi gör, inläggen vi ser och hur vi tänker.

Joan Wong

förbi

• Tate Ryan-Mosley arkivsida

5 mars 2021

Jag stötte först på Qoves Studio genom dess populära YouTube-kanal, som erbjuder snygga videor som Gör frisyren ett vackert ansikte?, Vad gör Timothée Chalamet attraktiv? , och Hur käkjustering påverkar sociala uppfattningar till miljontals tittare.

Qoves började som en studio som skulle airbrusha bilder för modellbyråer; nu är det en ansiktsestetikkonsult som utlovar svar på den urgamla frågan om vad som gör ett ansikte attraktivt. Dess hemsida , som innehåller kritiga skisser av parisiskt utseende kvinnor som bär läppstift och färgglada hattar, erbjuder en rad tjänster relaterade till sin plastikkirurgikonsultverksamhet: råd om skönhetsprodukter, till exempel, och tips om hur man förbättrar bilder med din dator. Men dess mest övertygande funktion är ansiktsbedömningsverktyget: ett AI-drivet system som lovar att titta på bilder av ditt ansikte för att berätta hur vacker du är – eller inte är – och sedan berätta vad du kan göra åt det.

Förra veckan bestämde jag mig för att testa. Efter sajtens instruktioner tvättade jag bort det lilla sminket jag hade på mig och hittade en neutral vägg som lystes upp av ett litet fönster. Jag bad min pojkvän att ta några närbilder av mitt ansikte i ögonhöjd. Jag försökte hårt att inte le. Det var motsatsen till glamoröst.

Jag laddade upp det mest uthärdliga fotot och inom några millisekunder returnerade Qoves ett rapportkort med de 10 förutspådda bristerna i mitt ansikte. Toppen på listan var en sannolikhet på 0,7 för nasolabialveck, följt av en sannolikhet på 0,69 för konturnedsättning under ögonen och en sannolikhet på 0,66 för periokulär missfärgning. Den misstänkte med andra ord (korrekt) att jag har mörka påsar under ögonen och leende linjer, som båda registreras som problematiska med AI:n.

Mina resultat från Qoves ansiktsbedömningsverktyg

Rapporten gav hjälpsamt rekommendationer som jag kan ta för att åtgärda mina brister. Först, en föreslagen artikel om leende linjer informerade mig om att de kan behöva injicerbara eller kirurgiska ingrepp. Om jag ville kunde jag uppgradera till en mer fullständig rapport med kirurgiska rekommendationer, skrivna av läkare, på nivåer på $75, $150 och $250. Den föreslog också fem serum jag kunde prova först, var och en med olika hudvårdsingredienser – retinol, neuropeptider, hyaluronsyra, EGF och TNS. Jag har bara hört talas om retinol. Innan jag lade mig den kvällen tittade jag igenom ingredienserna i min ansiktskräm för att se vad den innehöll.

Jag var fascinerad. Verktyget hade delat ner mitt utseende i en lista med problem i storleken - en laser tränade på vad den trodde var fel med mitt utseende.

Qoves är dock bara en liten startup med 20 anställda i en ocean av ansiktsanalysföretag och tjänster. Det finns en växande industri av ansiktsanalysverktyg som drivs av AI, som alla hävdar att de analyserar en bild för egenskaper som känslor, ålder eller attraktionskraft. Företag som arbetar med sådana teknologier är en älskling av riskkapital, och sådana algoritmer används i allt från onlineförsäljning av kosmetika till dejtingappar. Dessa skönhetspoängverktyg, lätt tillgängliga för köp online, använder ansiktsanalys och datorseende för att utvärdera saker som symmetri, ögonstorlek och näsform för att sortera igenom och rangordna miljontals delar av visuellt innehåll och visa de mest attraktiva människorna.

Dessa algoritmer tränar en sorts maskinblick på fotografier och videor och spottar ut numeriska värden som liknar kreditbetyg, där de högsta poängen kan låsa upp de bästa onlinemöjligheterna för likes, visningar och matchningar. Om den utsikten inte är tillräckligt oroande, förvärrar tekniken också andra problem, säger experter. De flesta skönhetsvärderingsalgoritmer är fulla av felaktigheter, ålderism och rasism – och många av dessa system har sin egendomsskyddade karaktär gör att det är omöjligt att få inblick i hur de verkligen fungerar, hur mycket de används eller hur de påverkar användarna.

Qoves rekommenderade vissa åtgärder för att fixa mina 'förutspådda brister'

Spegel spegel på väggen där …

Tester som de som finns tillgängliga från Qoves finns över hela internet. Den ena drivs av världens största öppna ansiktsigenkänningsplattform, Ansikte++ . Dess skönhetspoängsystem har utvecklats av det kinesiska bildföretaget Megvii och, liksom Qoves, använder AI för att undersöka ditt ansikte. Men istället för att i detalj beskriva vad den ser i kliniskt språk, kokar den ner sina resultat till en procentuell grad av sannolik attraktivitet. Faktum är att det ger två resultat: en poäng som förutsäger hur män kan reagera på en bild, och den andra som representerar ett kvinnligt perspektiv. Med hjälp av tjänstens kostnadsfria demo och samma oglamorösa foto fick jag snabbt mina resultat. Män tycker generellt att denna person är vackrare än 69,62 % av personerna och kvinnor tycker generellt att denna person är vackrare än 73,877 %.

Det var antiklimaktiskt, men bättre än jag hade förväntat mig. Ett år in i pandemin kan jag se effekten av stress, vikt och stängda frisörsalonger på mitt utseende. Jag testade om verktyget med två andra bilder på mig själv från Before, som jag gillade båda. Mina poäng förbättrades och knuffade mig nära den översta 25:e percentilen.

Skönhet är ofta subjektiv och personlig: våra nära och kära verkar attraktiva för oss när de är friska och lyckliga, och även när de är ledsna. Andra gånger är det en kollektiv bedömning: rankingsystem som skönhetstävlingar eller tidningslistor över de vackraste människorna visar hur mycket vi behandlar attraktivitet som ett pris. Den här bedömningen kan också vara ful och obekväm: när jag var tonåring ropade pojkarna på min gymnasieskola siffror från ett till tio åt tjejer som gick förbi i korridoren. Men det är något kusligt med en maskin som bedömer skönheten i någons ansikte – den är lika obehaglig som rop i skolan, men matematiken i den känns oroväckande omänsklig.

Min skönhetspoäng är resultatet av Face++

Under huven

Även om konceptet med att rangordna människors attraktionskraft inte är nytt, är hur dessa system fungerar en relativt ny utveckling: Face++ släppte sin skönhetspoängfunktion 2017.

På frågan om detaljer om hur algoritmen fungerar, skulle en talesperson för Megvii bara säga att den utvecklades för cirka tre år sedan som svar på den lokala marknadens intresse för underhållningsrelaterade appar. Företagets webbplats indikerar att kinesiska och sydostasiatiska ansikten användes för att träna systemet, som lockade 300 000 utvecklare strax efter att det lanserades, men det finns lite annan information.

En talesperson för Megvii säger att Face++ är en öppen källkodsplattform och att den inte kan kontrollera hur utvecklare kan använda den, men webbplatsen föreslår kosmetisk försäljning och matchmaking som två potentiella applikationer.

Företagets kända kunder inkluderar den kinesiska regeringens övervakningssystem , som täcker landet med CCTV-kameror, samt Alibaba och Lenovo. Megvii ansökte nyligen om en börsnotering och värderas för närvarande till 4 miljarder dollar. Enligt rapportering i New York Times är det ett av tre ansiktsigenkänningsföretag som hjälpt till den kinesiska regeringen att identifiera medborgare som kan tillhöra den uiguriska etniska minoriteten.

Hur konvolutionella neurala nätverk fungerar

• Konvolutionella neurala nätverk tittar på bilder och videor för att analysera och kategorisera objekten de skildrar på flera nivåer av analys. Ett lager av nätverket kan identifiera, säg, kanterna på en mänsklig hand; en annan kan hitta fingrar, en annan händer, en annan arm och ett annat folk.

• Ytterligare lager svarar på högre abstraktionsnivåer: om detta är ett träd, vad har nätverket lärt sig om träd? Om det är en gata, vad är det för saker på en gata som den bör förvänta sig att se? Till exempel kan ett konvolutionellt neuralt nätverk bedöma en bild av ett ansikte med en skarp käklinje som mycket sannolikt att vara attraktiv eftersom det fastställde att käkskärpa var en särskilt stark indikator på den mänskliga skönhetspoäng som den var tränad att replikera.

Qoves var under tiden mer öppen om hur dess ansiktsanalys fungerar. Företaget, som är baserat i Australien, grundades som ett fotoretuscheringsföretag 2019 men gick över till en kombination av AI-driven analys och plastikkirurgi 2020. Dess system använder en vanlig teknik för djupinlärning känd som en konvolutionerande neurala nätverk , eller CNN. De CNN som används för att bedöma attraktivitet tränar vanligtvis på en datamängd med hundratusentals bilder som redan har bedömts manuellt av människor. Genom att titta på bilderna och de befintliga betygen drar systemet slutsatsen vilka faktorer människor anser vara attraktiva så att det kan göra förutsägelser när nya bilder visas.

Andra stora företag har investerat i skönhets-AI de senaste åren. De inkluderar den amerikanska kosmetikaåterförsäljaren Ulta Beauty, värderad till 18 miljarder dollar, som utvecklade en verktyg för hudanalys . Nvidia och Microsoft stödde en robot skönhetstävling 2016, vilket utmanade deltagare att utveckla den bästa AI för att fastställa attraktionskraft.

Enligt Evan Nisselson, en partner på LDV Capital, är visionteknologi fortfarande i ett tidigt skede, vilket skapar 'betydande investeringsmöjligheter och uppsida.' LDV uppskattar att det kommer att finnas 45 miljarder kameror i världen nästa år, inte inklusive de som används för tillverkning eller logistik och hävdar att visuell data kommer att vara nyckeldatainmatningen för AI-system inom en snar framtid. Nisselson säger att ansiktsanalys är 'en enorm marknad' som med tiden kommer att involvera 'återuppfinning av teknikstacken för att komma till samma eller närmare eller till och med bättre än ett mänskligt öga.'

Qoves grundare Shafee Hassan hävdar att skönhetspoäng kan vara ännu mer utbredd. Han säger att appar och plattformar för sociala medier ofta använder system som skannar människors ansikten, poängsätter dem för attraktionskraft och ger mer uppmärksamhet åt dem som rankas högre. Det vi gör är att göra något som liknar Snapchat, Instagram och TikTok, säger han. men vi gör det mer transparent.

Han tillägger: De använder samma neurala nätverk och de använder samma tekniker, men de säger inte till dig att [de har] identifierat att ditt ansikte har dessa nasolabialveck, det har en tunn vermilion, det har alla dessa saker, därför kommer [de] att straffa dig som en mindre attraktiv individ.

Jag kontaktade ett antal företag – inklusive dejtingtjänster och sociala medieplattformar – och frågade om skönhetspoäng är en del av deras rekommendationsalgoritmer. Instagram och Facebook har förnekat att de använder sådana algoritmer. TikTok och Snapchat avböjde att kommentera rekordet.

JOAN WONG

Stora svarta lådor

De senaste framstegen inom djupinlärning har dramatiskt förändrat noggrannheten hos skönhets-AI:er. Innan djupinlärning förlitade sig ansiktsanalys på funktionsteknik, där en vetenskaplig förståelse av ansiktsdrag skulle vägleda AI. Formeln för ett attraktivt ansikte, till exempel, kan vara inställd på att belöna stora ögon och en vass käke. Föreställ dig att titta på ett mänskligt ansikte och se en Leonardo da Vinci-liknande skildring av alla proportioner och avståndet mellan ögonen och den typen av saker, säger Serge Belongie, professor i datorseende vid Cornell University. Med tillkomsten av djupinlärning, handlade det om big data och stora svarta lådor med neurala nätberäkningar som bara knackade på enorma mängder märkt data, säger han. Och i slutändan fungerar det bättre än alla andra saker som vi slitit på i decennier.

Men det finns en hake. Vi är fortfarande inte helt säkra på hur det fungerar, säger Belongie. Industrin är glad, men akademin är lite förbryllad. Eftersom skönhet är mycket subjektivt, är det bästa en djupinlärande skönhets-AI kan göra att korrekt återuppta inställningarna för träningsdata som används för att lära ut den. Även om vissa AI-system nu betygsätter attraktionskraft lika exakt som människorna i en träningsuppsättning, betyder det att systemen också visar lika mycket fördomar. Och viktigare, eftersom systemet är outgrundligt, är det en svår och beräkningsmässigt kostsam uppgift att placera skyddsräcken på algoritmen som kan minimera bias.

Belongie säger att det finns tillämpningar av den här typen av teknik som är mer anodyna och mindre problematiska än att poängsätta ett ansikte för attraktionskraft - ett verktyg som kan rekommendera det vackraste fotografiet av en solnedgång på din telefon, till exempel. Men skönhetspoäng är annorlunda. Det är för mig en väldigt skrämmande strävan, säger han.

Även om träningsdata och kommersiell användning är så opartisk och säker som möjligt, har datorseende tekniska begränsningar när det kommer till mänskliga hudtoner. De bildchips som finns i kameror är förinställda för att bearbeta ett visst antal av dem. Historiskt sett har vissa hudtoner helt enkelt lämnats utanför bordet, enligt Belongie, vilket betyder att själva bilderna kanske inte ens har framkallats med vissa hudtoner i åtanke. Även de ädlaste ambitionerna när det gäller att fånga alla former av mänsklig skönhet kanske inte har en chans eftersom ljusstyrkavärdena inte ens representeras korrekt.

Och dessa tekniska fördomar visar sig som rasism i kommersiella tillämpningar. 2018 var Lauren Rhue, en ekonom som är biträdande professor i informationssystem vid University of Maryland, College Park, på jakt efter ansiktsigenkänningsverktyg som kan hjälpa henne att studera digitala plattformar när hon snubblade över denna uppsättning ovanliga produkter.

Jag insåg att det fanns poängalgoritmer för skönhet, säger hon. Och jag tänkte, det verkar omöjligt. Jag menar, skönhet ligger helt i betraktarens öga. Hur kan du träna en algoritm för att avgöra om någon är vacker eller inte? Att studera dessa algoritmer blev snart ett nytt fokus för hennes forskning.

När hon tittade på hur Face++ bedömde skönhet, fann hon att systemet konsekvent rankade mörkhyade kvinnor som mindre attraktiva än vita kvinnor, och att ansikten med europeiska drag som ljusare hår och mindre näsor fick högre poäng än de med andra drag, oavsett hur mörk hud var. Den eurocentriska fördomen i AI:n återspeglar fördomen hos de människor som gjorde poäng på bilderna som användes för att träna systemet, kodifiera och förstärka det – oavsett vem som tittar på bilderna. Kinesiska skönhetsnormer, till exempel, prioriterar ljusare hy, vida ögon och små näsor.

En jämförelse av två bilder på Beyonce Knowles från Lauren Rhues forskning med Face++. Dess AI förutspådde att bilden till vänster skulle ha 74,776 % för män och 77,914 % för kvinnor. Bilden till höger fick 87,468 % för män och 91,14 % för kvinnor i sin modell .

Skönhetspoäng, säger hon, är en del av en oroande dynamik mellan en redan ohälsosam skönhetskultur och de rekommendationsalgoritmer vi stöter på varje dag online. När poäng används för att avgöra vems inlägg som dyker upp på sociala medieplattformar, till exempel, förstärker det definitionen av vad som anses attraktivt och tar uppmärksamheten från dem som inte passar in i maskinens strikta ideal. Vi begränsar de typer av bilder som är tillgängliga för alla, säger Rhue.

Det är en ond cirkel: med fler ögon på innehållet med attraktiva människor kan dessa bilder samla högre engagemang, så att de visas för ännu fler människor. Så småningom, även när ett högt skönhetspoäng inte är en direkt anledning till att ett inlägg visas för dig, är det en indirekt faktor.

I en studie publicerad 2019, tittade hon på hur två algoritmer, en för skönhetspoäng och en för åldersförutsägelser, påverkade människors åsikter. Deltagarna fick se bilder av människor och ombads att utvärdera skönheten och åldern hos försökspersonerna. Vissa av deltagarna fick se poängen som genererades av en AI innan de gav sitt svar, medan andra inte alls fick se AI-poängen. Hon fann att deltagare utan kunskap om AI:s betyg inte uppvisade ytterligare partiskhet; Men att veta hur AI rankade människors attraktionskraft fick människor att ge poäng närmare det algoritmiskt genererade resultatet. Rhue kallar detta för förankringseffekten.

Rekommendationsalgoritmer förändrar faktiskt vad våra preferenser är, säger hon. Och utmaningen ur ett teknikperspektiv är förstås att inte begränsa dem för mycket. När det kommer till skönhet ser vi mycket mer av en avsmalning än jag hade förväntat mig.

'Jag såg ingen anledning till att inte utvärdera dina brister, eftersom det finns sätt du kan fixa det.'

Shafee Hassan, Qoves Studio

Hos Qoves säger Hassan att han har försökt ta itu med frågan om ras direkt. När han utför en detaljerad ansiktsanalysrapport – den typ som kunder betalar för – försöker hans studio använda data för att kategorisera ansiktet efter etnicitet så att alla inte bara ska utvärderas mot ett europeiskt ideal. Du kan fly denna eurocentriska fördom bara genom att bli den snyggaste versionen av dig själv, den snyggaste versionen av din etnicitet, den snyggaste versionen av din ras, säger han.

Men Rhue säger att hon oroar sig för att den här typen av etnisk kategorisering är inbäddad djupare i vår tekniska infrastruktur. Problemet är att folk gör det, oavsett hur vi ser på det, och det finns ingen typ av reglering eller tillsyn, säger hon. Om det finns någon typ av stridigheter kommer folk att försöka lista ut vem som hör hemma i vilken kategori.

Låt oss bara säga att jag aldrig har sett en kulturellt känslig skönhets-AI, säger hon.

Rekommendationssystem behöver inte vara utformade för att utvärdera för attraktionskraft för att göra det ändå. Förra veckan rapporterade det tyska TV-bolaget BR att en AI som användes för att utvärdera potentiella anställda visade fördomar baserat på utseende. Och i mars 2020 fick moderbolaget till TikTok, ByteDance, kritik för ett memo som instruerade innehållsmoderatorer att undertrycka videor som visade fula ansiktsutseenden, folk som var knubbiga, de med ett missformat ansikte eller brist på framtänder, äldre personer med för många rynkor och mer. Twitter släppte nyligen ett verktyg för automatisk beskärning för fotografier som verkade prioritera vita människor . När den testades på bilder av Barack Obama och Mitch McConnell, klippte den autobeskärande AI konsekvent bort den tidigare presidenten.

Vem som vackrast i landet är?

När jag först pratade med Qoves grundare Hassan via videosamtal i januari, sa han till mig, jag har alltid trott att attraktiva människor är en egen ras.

När han började 2019, säger han, var hans vänner och familj mycket kritiska till hans affärssatsning. Men Hassan tror att han hjälper människor att bli den bästa möjliga versionen av sig själva. Han hämtar sin inspiration från filmen från 1997 Gattaca , som utspelar sig i en inte alltför avlägsen framtid där genteknik är standardmedlet för befruktning. Genetisk diskriminering segmenterar samhället, och Ethan Hawkes karaktär, som föddes naturligt, måste stjäla identiteten hos en genetiskt fulländad person för att komma runt systemet.

Det anses vanligtvis vara en djupt dystopisk film, men Hassan säger att den lämnade ett oväntat spår.

Relaterad berättelse

Aktivisten demonterar rasistiska polisalgoritmer Hamid Khan vinner sin kamp för avskaffandet av övervakningsteknik som används av LAPD

Det var väldigt intressant för mig, för hela tanken var att en person kan bestämma sitt öde. Hur de vill se ut är en del av deras öde, säger han. Med hur långt modern medicin har kommit, såg jag ingen anledning till att inte utvärdera dina brister, eftersom det finns sätt att fixa det.

Hans kunder verkar hålla med. Han hävdar att många av dem är skådespelare och skådespelerskor, och att företaget får allt från 50 till 100 beställningar på detaljerade medicinska rapporter varje dag - så många att det har svårt att hålla jämna steg med efterfrågan. För Hassan är kärnan i hans uppdrag att bekämpa den kommande klassismen mellan de som anses vackra och de som samhället tycker är fula. Det vi försöker göra är att hjälpa den genomsnittliga personen, sa han till mig.

Det finns dock andra sätt att hjälpa den genomsnittliga personen. Varje expert jag pratade med sa att avslöjande och transparens från företag som använder skönhetspoäng är avgörande. Belongie tror att att pressa företag att avslöja hur deras rekommendationsalgoritmer fungerar kommer att hjälpa till att hålla användarna säkra. Företaget borde äga det och säga ja, vi använder förutsägelse av ansiktsskönhet och här är modellen. Och här är ett representativt galleri med ansikten som vi tror att du, baserat på ditt surfbeteende, tycker är attraktiva. Och jag tycker att användaren ska vara medveten om det och kunna interagera med det. Han säger att funktioner som Facebooks verktyg för annonstransparens är en bra början, men om företagen inte gör det och de gör något som Face++ där de bara slentrianmässigt antar att vi alla är överens om skönhet ... det kan finnas maktmäklare som fattade helt enkelt det beslutet.

Naturligtvis måste industrin först erkänna att den använder dessa poängmodeller i första hand, och allmänheten måste vara medveten om problemet. Och även om det senaste året har fört med sig uppmärksamhet och kritik mot ansiktsigenkänningsteknik , flera forskare jag pratade med sa att de var förvånade över bristen på medvetenhet om denna användning av det. Rhue säger att det mest överraskande med skönhetspoäng har varit hur få människor som undersöker det som ett ämne. Hon är inte övertygad om att tekniken alls ska utvecklas.

När Hassan granskade mina egna brister med mig, försäkrade han mig att en bra fuktkräm och lite viktminskning borde göra susen. Och även om estetiken i mitt ansikte inte kommer att avgöra min karriärbana, uppmuntrade han mig att ta mina resultat på allvar.

Skönhet, påminde han mig, är en valuta.