Hur vår data kodar för systematisk rasism

Ms Tech

Jag har ofta fått höra att uppgifterna inte ljuger. Det har dock aldrig varit min erfarenhet. För mig ljuger uppgifterna nästan alltid. Googles bildsökningsresultat för frisk hud visar endast ljushyade kvinnor och en fråga på Svarta flickor ger fortfarande tillbaka pornografi . De CelebA ansiktsdataset har etiketter med stor näsa och stora läppar som är oproportionerligt tilldelade till mörkare kvinnliga ansikten som mitt. Etikett för ImageNet-utbildade modeller jag är en dålig person, en narkoman eller ett misslyckande. Datauppsättningar för att upptäcka hudcancer saknas prover av mörkare hudtyper.

Vit överhöghet framträder ofta våldsamt — in skott på en fullsatt Walmart eller gudstjänst , i den skarpa anmärkningen om en hatfylld anklagelse eller ett grovt knuff på gatan - men ibland tar det en mer subtil form, som dessa lögner. När de av oss som bygger AI-system fortsätter att låta den uppenbara lögnen om vit överhöghet inbäddas i allt från hur vi samlar in data till hur vi definierar datamängder och hur vi väljer att använda dem, betyder det en störande tolerans.

Icke-vita människor är inte utstickare. Globalt sett är vi norm , och det verkar inte vara så ändras när som helst snart . Datauppsättningar så specifikt inbyggda i och för vita utrymmen representerar den konstruerade verkligheten, inte den naturliga. Att få noggrannhet beräknad i avsaknad av min levda erfarenhet kränker mig inte bara, utan försätter mig också i verklig fara.

Korrupta data

I en forskningsartikel med titeln Smutsiga data, dåliga förutsägelser , beskriver huvudförfattaren Rashida Richardson ett alarmerande scenario: polisområden som misstänks eller bekräftas ha ägnat sig åt korrupta, rasistiskt partiska eller på annat sätt olagliga metoder fortsätter att bidra med sina data till utvecklingen av nya automatiserade system som är avsedda att hjälpa poliser att fatta polisbeslut.

Målet med prediktiva polisverktyg är att skicka poliser till platsen för ett brott innan det inträffar. Antagandet är att platser där individer tidigare hade arresterats korrelerar med en sannolikhet för framtida illegal verksamhet. Vad Richardson påpekar är att detta antagande förblir obestridligt även när dessa första arresteringar var rasistiskt motiverade eller olagliga, ibland involverade systemisk datamanipulation, poliskorruption, förfalskning av polisrapporter och våld, inklusive rån av invånare, plantering av bevis, utpressning, författningsstridiga sökningar och andra korrupta metoder. Även uppgifter från de sämst uppförande polisavdelningarna är används fortfarande för att informera om verktyg för prediktiv polisverksamhet .

Som den Det rapporterar Tampa Bay Times , kan detta tillvägagångssätt tillhandahålla algoritmiska motiveringar för ytterligare polistrakasserier av minoritets- och låginkomstsamhällen. Att använda sådana felaktiga data för att träna nya system bäddar in polisavdelningens dokumenterade oredlighet i algoritmen och vidmakthåller praxis som redan är känd för att terrorisera de som är mest sårbara för det övergreppet.

Detta kan tyckas beskriva en handfull tragiska situationer. Men det är verkligen normen inom maskininlärning: detta är den typiska kvaliteten på de data vi för närvarande accepterar som vår obestridda grundsanning.

Relaterad berättelse

Vad saknas i företagens uttalanden om rasistiska orättvisor? Den verkliga orsaken till rasism. En analys av 63 senaste uttalanden visar att amerikanska teknikföretag upprepade gånger lagt ansvaret för rasistiska orättvisor på svarta människor.

En dag GPT-2, en tidigare allmänt tillgänglig version av automatiserad språkgenereringsmodell utvecklat av forskningsorganisationen OpenAI, började prata öppet med mig om vita rättigheter. Med tanke på enkla uppmaningar som en vit man är eller en svart kvinna, skulle texten som modellen genererade lansera i diskussioner om vita ariska nationer och utländska och icke-vita inkräktare.

Inte bara inkluderade dessa smutskastningar fruktansvärda förtal som tik, slampa, nigger, chink och slanteye, utan den genererade texten förkroppsligade en specifik amerikansk vit nationalistisk retorik, som beskrev demografiska hot och övergick till antisemitiska sidor mot judar och kommunister.

GPT-2 tänker inte själv – den genererar svar genom att replikera språkmönster som observerats i data som används för att utveckla modellen. Denna datamängd, kallad WebText, innehåller över 8 miljoner dokument för totalt 40 GB text som kommer från hyperlänkar. Dessa länkar valdes själva från de inlägg som mest röstades upp på webbplatsen för sociala medier Reddit, som en heuristisk indikator för om andra användare tyckte att länken var intressant, lärorik eller bara rolig .

Men Reddit-användare – inklusive de som laddar upp och röstar upp – är det kända för att innefatta vita supremacister . I åratal var plattformen full av rasistiskt språk och tillåtna länkar till innehåll som uttrycker rasistisk ideologi. Och även om det finns praktiska alternativ tillgängliga att stävja detta beteende på plattformen, de första allvarliga försöken att vidta åtgärder , av dåvarande vd Ellen Pao 2015, mottogs dåligt av samhället och ledde till intensiva trakasserier och motreaktioner .

Oavsett om det handlar om egensinniga poliser eller egensinniga användare väljer teknologer att tillåta denna speciella förtryckande världsbild att stelna i datamängder och definiera karaktären på modeller som vi utvecklar. OpenAI själv erkände begränsningarna för att hämta data från Reddit, och noterade det många skadliga grupper använder dessa diskussionsforum för att organisera . Men organisationen också fortsätter att använda den Reddit-härledda datamängden , även i efterföljande versioner av dess språkmodell. Datakällornas farligt defekta karaktär avfärdas i praktiken för bekvämlighetens skull, trots konsekvenserna. Skadlig avsikt är inte nödvändig för att detta ska hända, även om en viss otänksam passivitet och försummelse är det.

Små vita lögner

Vit överlägsenhet är den falska tron ​​att vita individer är överlägsna andra raser. Det är inte en enkel missuppfattning utan en ideologi rotad i bedrägeri . Ras är den första myten, överlägsenhet nästa. Förespråkare av denna ideologi håller envist fast vid en uppfinning som privilegierar dem.

Jag hör hur denna lögn mjukar upp språket från en krig mot droger till en opioidepidemi , och skyller på mental hälsa eller tv-spel för vita angripares handlingar även som det tillskriver lättja och brottslighet till icke-vita offer. Jag märker hur det raderar ut de som ser ut som jag, och jag ser det spelas ut i en oändlig parad av bleka ansikten som jag inte verkar kunna fly från – i film, på tidningsomslag och på prisutställningar.

Datauppsättningar så specifikt inbyggda i och för vita utrymmen representerar den konstruerade verkligheten, inte den naturliga.

Den här skuggan följer alla mina rörelser, en obekväm frossa i nacken. När jag hör mord ser jag inte bara polisen med hans knä på en hals eller den missriktad vigilante med en pistol vid hans sida — det är ekonomi som stryper oss, den sjukdom som försvagas oss, och regeringen som tystar oss.

Berätta för mig – vad är skillnaden mellan överpolisiering i minoritetskvarter och partiskheten hos algoritmen som skickade officerare dit ? Vad är skillnaden mellan ett segregerat skolsystem och ett diskriminerande betygsalgoritm ? Mellan en läkare som inte lyssnar och en algoritm som nekar dig en sjukhussäng ? Det finns ingen systematisk rasism skild från våra algoritmiska bidrag, från det dolda nätverket av algoritmiska implementeringar som regelbundet kollapsar på de som redan är mest utsatta.

Motstå teknisk determinism

Tekniken är inte oberoende av oss; det är skapat av oss och vi har fullständig kontroll över det. Data är inte bara godtyckligt politisk — Det finns specifik giftig och felinformerad politik som dataforskare slarvigt låter infiltrera våra datamängder. Vit överhöghet är en av dem.

Vi har redan infogat oss själva och våra beslut i resultatet - det finns inget neutralt förhållningssätt. Det finns ingen framtida version av data som är magiskt opartisk. Data kommer alltid att vara en subjektiv tolkning av någons verklighet, en specifik presentation av de mål och perspektiv vi väljer att prioritera i detta ögonblick. Det är en makt som innehas av de av oss som är ansvariga för att anskaffa, välja och utforma denna data och utveckla modellerna som tolkar informationen. I grund och botten finns det inget utbyte av rättvisa mot noggrannhet – det är ett mytiskt offer, en ursäkt för att inte äga upp vår roll i att definiera prestation och utesluta andra i första hand.

De av oss som bygger dessa system kommer att välja vilket subreddits och onlinekällor att genomsöka , som språk till använda eller ignorera, vilka datamängder till ta bort eller acceptera . Det viktigaste är vi välja vem vi tillämpar dessa algoritmer på , och vilka mål vi optimerar för. Vi väljer de etiketter vi skapar, vilken data vi tar in, de metoder vi använder. Vi väljer vilka vi välkomnar som datavetare och ingenjörer och forskare – och vem Vi gör inte . Det fanns många möjligheter för designen av den teknik vi byggde, och vi valde den här. Vi är ansvariga.

Så varför kan vi inte vara mer försiktiga? När ska vi äntligen ta för vana att avslöja data härkomst , radera problematiska datamängder , och uttryckligen definierar begränsningar av varje modells omfattning ? När kan vi fördöma de som arbetar med en uttalad vit supremacistisk agenda , och ta allvarliga handlingar för inkludering?

En osäker väg framåt

Distraherad av företagens kondoleanser , abstrakta tekniska lösningar och formulerade sociala teorier, jag har sett kamrater gratulera sig själva till osynliga framsteg. I slutändan avundas jag dem, eftersom de har ett val i samma värld där jag, som alla andra svarta personer, inte kan välja bort att bry mig om detta.

När svarta människor nu dör i en kakofoni av naturkatastrofer och onaturliga katastrofer, är många av mina kollegor fortfarande mer upprörda av den senaste produkten eller rymduppskjutningen än den skakande fasan av en verklighet som stryper andan ur mig.

Faktum är att AI inte fungerar förrän det fungerar för oss alla.

I åratal har jag sett denna fråga prisas som viktig, men det är tydligt att hanteringen av det fortfarande ses som en icke-prioriterad fråga, trevligt att ha kompletterande åtgärder - alltid sekundärt till någon definition av modellfunktionalitet som inte inkluderar mig.

Modeller som uppenbarligen fortfarande kämpar för att ta itu med dessa partiska utmaningar får firas som genombrott , medan människor modiga nog att tala om risken bli tystad, eller ännu värre . Det finns en tydlig kulturell självbelåtenhet med saker som vanligt, och även om det är en besvikelse är det inte särskilt överraskande på ett område där den stora majoriteten helt enkelt inte förstår insatserna.

Faktum är att AI inte fungerar förrän det fungerar för oss alla. Om vi ​​hoppas att någonsin kunna ta itu med rasorättvisor, måste vi sluta presentera våra förvrängda data som grundsanning. Det finns ingen rationell och rättvis värld där att anställa verktyg systematiskt utesluter kvinnor från tekniska roller, eller var självkörande bilar är mer benägna att träffa fotgängare med mörkare hud . Sanningen om någon verklighet som jag känner igen finns inte i dessa modeller, eller i de datamängder som informerar dem.

Den maskinlärande gemenskapen fortsätter att acceptera en viss nivå av dysfunktion så länge som bara vissa grupper är drabbade. Detta kräver medveten förändring, och det kommer att kräva lika mycket ansträngning som någon annan kamp mot systematiskt förtryck. När allt kommer omkring skiljer sig lögnerna som är inbäddade i vår data inte mycket från någon annan lögn som vit överhöghet har berättat. De kommer alltså att kräva lika mycket energi och investeringar för att motverka.

Deborah Raji är en Mozilla-stipendiat som är intresserad av algoritmisk revision och utvärdering. Hon har arbetat med flera prisbelönta projekt för att lyfta fram fall av partiskhet i datorseende och förbättra dokumentationspraxis inom maskininlärning.

Dölj