Det finns ett enkelt sätt att göra utlåningen mer rättvis för kvinnor. Problemet är att det är olagligt.

Kreditpoäng överlagrade på manliga och kvinnliga symboler.

Kreditpoäng överlagrade på manliga och kvinnliga symboler. Selman Design





Tidigare denna vecka inledde New Yorks Department of Financial Services en utredning av Goldman Sachs för potentiell kreditdiskriminering efter kön. Undersökningen kom efter att webbentreprenören David Heinemeier Hansson twittrade att Apple Card, som Goldman hanterar, hade gett honom en kreditgräns 20 gånger som sträckte sig till hans fru, även om de två lämnade in gemensamma skattedeklarationer och hon hade bättre kreditvärdighet.

Som svar postade Goldman ett uttalande som sa att det inte tog hänsyn till kön när kreditvärdigheten fastställdes. Logiken var sannolikt tänkt att vara ett försvar - hur kan du diskriminera kvinnor när du inte ens vet att någon är kvinna? Men i själva verket är det just problemet att inte ta hänsyn till kön. Forskning inom algoritmisk rättvisa har tidigare visat att det faktiskt hjälper att överväga kön mildra könsfördom. Ironiskt nog är det dock olagligt att göra det i USA.



Nu utmanar preliminära resultat från en pågående studie finansierad av FN-stiftelsen och Världsbanken återigen rättvisan i könsblinda kreditutlåning. Studien fann att att skapa helt separata kreditvärdighetsmodeller för män och kvinnor gav majoriteten av kvinnorna mer kredit.

Alltså: ska lagen uppdateras?

Sexismen i att vara könsblind

Om du inte vill diskriminera efter kön, varför inte helt enkelt ta bort kön från ekvationen? Detta var premissen för Equal Credit Opportunity Act (ECOA), antogs i USA 1974, under en tid då kvinnor regelbundet nekades kredit. Det gjorde det olagligt för alla borgenärer att diskriminera på grund av kön eller att ta hänsyn till kön vid utvärdering av kreditvärdighet. (1976 uppdaterades den för att förbjuda diskriminering på grund av ras, nationellt ursprung och andra egenskaper som skyddas av den federala regeringen.)



Men inom maskininlärning kan könsblindhet vara problemet. Även när kön inte specificeras kan det lätt härledas från andra variabler som korrelerar starkt med det. Som ett resultat av detta förstärker modeller som tränats på historisk data fråntagen kön fortfarande tidigare ojämlikheter. Detsamma gäller ras och andra egenskaper. Detta är troligen vad som hände i Apple Card-fallet: eftersom kvinnor historiskt sett beviljades mindre kredit, lärde sig algoritmen att vidmakthålla det mönstret.

I en studie från 2018 , fann ett samarbete mellan datavetare och ekonomer att det bästa sättet att mildra dessa problem faktiskt var att återinföra egenskaper som kön och ras i modellen. Genom att göra det får du mer kontroll för att mäta och vända eventuella uppenbara fördomar, vilket resulterar i mer rättvisa överlag.

Könsdifferentierad kreditutlåning

Den senaste studien testar en ny hypotes: skulle separata modeller för män och kvinnor minska könsbias ytterligare? Vid ett evenemang som hölls av FN-stiftelsen på tisdagen presenterade Sean Higgins, en biträdande professor vid Northwestern University och en forskare om studien, preliminära resultat som tyder på att de skulle göra det.



I samarbete med en affärsbank i Dominikanska republiken genomförde forskarna två separata analyser av 20 000 låginkomstpersoner, hälften av dem kvinnor. I den första analysen använde forskarna individernas återbetalningshistorik och kön för att träna en enda maskininlärningsmodell för att förutsäga kreditvärdighet. I den andra analysen tränade forskarna en modell med endast uppgifterna om återbetalning av lån från kvinnorna. De fann att 93 % av kvinnorna fick mer kredit i denna modell än i den där män och kvinnor blandades ihop.

Detta händer, säger Higgins, eftersom kvinnor och män har olika kredithistorik och olika beteenden för återbetalning av lån – oavsett om det är av historiska, kulturella eller andra skäl. Kvinnor är till exempel mer benägna att betala tillbaka sina lån, säger han. Men dessa skillnader tas inte med i den kombinerade modellen, som lär sig att förutsäga kreditvärdighet på basis av genomsnitt för kvinnor och män. Följaktligen underskattar sådana modeller sannolikheten för att kvinnor ska betala tillbaka sina lån och i slutändan ger dem mindre kredit än de förtjänar.

Medan Higgins och hans medarbetare testade denna hypotes specifikt för låginkomstkvinnor i Dominikanska republiken, borde de kvalitativa resultaten stämma oavsett sammanhang. De bör även gälla andra egenskaper än kön och inom andra områden än finans.



Vad ska man göra med lagen

Problemet är att den här typen av enkönsmodell är olaglig. Frågan är om beslutsfattare därför bör uppdatera ECOA.

Higgins är för. Den senaste tidens forskning om algoritmisk rättvisa har kommit till en ganska tydlig slutsats att vi borde använda saker som ras och kön i algoritmerna, säger han. Om bankerna inte har tillgång till dessa variabler och inte ens kan bygga in säkerhetskontrollerna för att se till att deras algoritmer inte är partiska, är det enda sättet vi får reda på dessa fördomar när folk twittrar om skillnader som de möter i det vilda.

Men Andrew Selbst, en biträdande juridikprofessor vid UCLA som är specialiserad på skärningspunkten mellan AI och juridik, varnar för att gå för snabbt. Att skriva om lagen på det sättet öppnar vägar för dåliga skådespelare att börja inkludera rasvariabler och könsvariabler och diskriminera vilt på ett sätt som är väldigt svårt att bevaka, säger han. Han oroar sig också för att denna lösning inte skulle ta hänsyn till icke-binära eller transpersoner och oavsiktligt orsaka dem skada.

För att få fler berättelser som denna levererade direkt till din inkorg, registrera dig för vårt Webby-nominerade AI-nyhetsbrev The Algorithm. Det är gratis.

Dölj