En AI såg ett beskuret foto av AOC. Det autokompletterade henne i bikini.

Ms Tech | Getty

Språkgenererande algoritmer är kända för att bygga in rasistiska och sexistiska idéer. De är utbildade på internets språk, inklusive de mörka hörnen av Reddit och Twitter som kan inkludera hatretorik och desinformation. Vilka skadliga idéer som än finns i dessa forum normaliseras som en del av deras lärande.

Forskare har nu visat att samma sak kan gälla för bildgenereringsalgoritmer. Mata en ett foto av en man beskuren precis under hans hals, och 43 % av tiden kommer det att autokomplettera honom i kostym. Mata samma en med ett beskuret foto av en kvinna, till och med en berömd kvinna som USA:s representant Alexandria Ocasio-Cortez, och 53 % av gångerna kommer det att autokomplettera henne i en lågskuren topp eller bikini. Detta har konsekvenser inte bara för bildgenerering, utan för alla datorseende applikationer, inklusive videobaserade kandidatbedömningsalgoritmer , ansiktsigenkänning och övervakning.

Ryan Steed, doktorand vid Carnegie Mellon University, och Aylin Caliskan, biträdande professor vid George Washington University, tittade på två algoritmer: OpenAI:s iGPT (en version av GPT-2 som tränas på pixlar istället för ord) och Googles SimCLR . Även om varje algoritm närmar sig inlärning av bilder på olika sätt, delar de en viktig egenskap - de använder båda helt oövervakat lärande , vilket betyder att de inte behöver människor för att märka bilderna.

Detta är en relativt ny innovation från och med 2020. Tidigare datorseendealgoritmer används främst övervakas lärande, vilket innebär att mata dem manuellt märkta bilder: kattfoton med taggen katt och babyfoton med taggen baby. Men 2019 fann forskaren Kate Crawford och konstnären Trevor Paglen att dessa människoskapade etiketter i ImageNet, den mest grundläggande bilddatauppsättningen för träning av datorseendemodeller, ibland innehålla störande språk , som slampa för kvinnor och rasistiska förtal för minoriteter.

Den senaste uppsatsen visar en ännu djupare källa till toxicitet. Även utan dessa mänskliga etiketter kodar själva bilderna för oönskade mönster. Problemet liknar det som NLP-gemenskapen (natural-language processing) redan har upptäckt. De enorma datamängder som sammanställts för att mata dessa datahungriga algoritmer fångar allt på internet. Och internet har en överrepresentation av lättklädda kvinnor och andra ofta skadliga stereotyper.

För att genomföra sin studie anpassade Steed och Caliskan på ett skickligt sätt en teknik som Caliskan tidigare använde för att undersöka bias i oövervakade NLP-modeller. Dessa modeller lär sig att manipulera och generera språk med hjälp av ordinbäddningar, en matematisk representation av språk som grupperar ord som vanligtvis används tillsammans och separerar ord som ofta förekommer. I en 2017 tidning publicerad i Vetenskap , mätte Caliskan avstånden mellan de olika ordparningarna som psykologer använde för att mäta mänskliga fördomar i Implicit Association Test (IAT) . Hon fann att dessa avstånd nästan perfekt återskapade IAT:s resultat. Stereotypa ordparningar som man och karriär eller kvinna och familj låg nära varandra, medan motsatta parningar som man och familj eller kvinna och karriär låg långt ifrån varandra.

iGPT är också baserat på inbäddningar: det grupperar eller separerar pixlar baserat på hur ofta de förekommer samtidigt i sina träningsbilder. Dessa pixelinbäddningar kan sedan användas för att jämföra hur nära eller långt två bilder är i det matematiska rummet.

Relaterad berättelse

De verkliga farorna med AI är närmare än vi tror

Glöm superintelligent AI: algoritmer skapar redan verklig skada. De goda nyheterna: tillbakakampen har börjat.

I sin studie fann Steed och Caliskan återigen att dessa avstånd speglar resultaten från IAT. Foton av män och slipsar och kostymer visas tätt intill varandra, medan bilder av kvinnor syns längre ifrån varandra. Forskarna fick samma resultat med SimCLR, trots att det använde en annan metod för att härleda inbäddningar från bilder.

Dessa resultat har angående konsekvenser för bildgenerering. Andra bildgenereringsalgoritmer, som generativa kontradiktoriska nätverk , har lett till en explosion av djupfalsk pornografi den där nästan uteslutande riktar sig till kvinnor . iGPT i synnerhet lägger till ytterligare ett sätt för människor att skapa sexualiserade bilder av kvinnor.

Men de potentiella nedströmseffekterna är mycket större. Inom NLP-området har oövervakade modeller blivit ryggraden för alla typer av applikationer. Forskare börjar med en befintlig oövervakad modell som BERT eller GPT-2 och använder en skräddarsydd datamängd för att finjustera den för ett specifikt syfte. Detta semi-övervakade tillvägagångssätt, en kombination av både oövervakat och övervakat lärande, har blivit en de facto standard.

Likaså börjar datorseendefältet se samma trend. Steed och Caliskan oroar sig för vad dessa inbyggda fördomar kan betyda när algoritmerna används för känsliga applikationer som polisarbete eller anställning, där modeller redan analyserar kandidatvideoinspelningar för att avgöra om de passar bra för jobbet. Det är väldigt farliga applikationer som fattar följdbeslut, säger Caliskan.

Deborah Raji, en Mozilla-stipendiat som var medförfattare en inflytelserik studie avslöjar fördomar i ansiktsigenkänning, säger studien bör fungera som en väckarklocka till datorseendefältet. Länge handlade mycket av kritiken mot partiskhet om hur vi märker våra bilder, säger hon. Nu säger den här artikeln att den faktiska sammansättningen av datamängden resulterar i dessa fördomar. Vi behöver ansvar för hur vi sammanställer dessa datamängder och samlar in denna information.

Steed och Caliskan efterlyser större transparens från företagen som utvecklar dessa modeller för att öppna dem och låta det akademiska samhället fortsätta sina undersökningar. De uppmuntrar också andra forskare att göra fler tester innan de implementerar en visionmodell, till exempel genom att använda metoderna som de utvecklat för detta dokument. Och slutligen hoppas de att fältet kommer att utveckla mer ansvarsfulla sätt att sammanställa och dokumentera vad som ingår i utbildningsdatauppsättningar.

Caliskan säger att målet i slutändan är att få större medvetenhet och kontroll när man använder datorseende. Vi måste vara väldigt försiktiga med hur vi använder dem, säger hon, men samtidigt kan vi, nu när vi har de här metoderna, försöka använda det här för socialt bästa.

Dölj