Bias är inte det enda problemet med kreditpoäng - och nej, AI kan inte hjälpa

Ms Tech | Cindy Tang/Unsplash

Vi visste redan att partiska data och partiska algoritmer snedvrider automatiserat beslutsfattande på ett sätt som missgynnar låginkomst- och minoritetsgrupper. Till exempel, programvara som används av banker att förutsäga huruvida någon kommer att betala tillbaka kreditkortsskulder gynnar vanligtvis rikare vita sökande. Många forskare och en mängd nystartade företag försöker lösa problemet genom att gör dessa algoritmer mer rättvisa .

Relaterad berättelse

Det kommande kriget mot de dolda algoritmerna som fångar människor i fattigdom En växande grupp advokater avslöjar, navigerar och bekämpar de automatiserade systemen som nekar de fattiga bostäder, jobb och grundläggande tjänster.

Men i största studien någonsin av real-world bolånedata , ekonomer Laura Blattner vid Stanford University och Scott Nelson vid University of Chicago visar att skillnader i godkännande av bolån mellan minoritets- och majoritetsgrupper inte bara beror på partiskhet, utan på det faktum att minoritets- och låginkomstgrupper har mindre data i sin kredit. historier.

Detta betyder att när dessa data används för att beräkna en kreditpoäng och denna kreditpoäng används för att göra en förutsägelse om låneförfall, då kommer den förutsägelsen att vara mindre exakt. Det är denna brist på precision som leder till ojämlikhet, inte bara partiskhet.

Konsekvenserna är skarpa: rättvisare algoritmer löser inte problemet.

Det är ett riktigt slående resultat, säger Ashesh Rambachan, som studerar maskininlärning och ekonomi vid Harvard University, men inte var involverad i studien. Bias och ojämn kreditupplysning har varit heta problem under en tid, men detta är det första storskaliga experimentet som tittar på låneansökningar från miljoner riktiga människor.

Kreditpoäng pressar ihop en rad socioekonomiska data, såsom anställningshistorik, ekonomiska uppgifter och köpvanor, till ett enda nummer. Förutom att besluta om låneansökningar, används kreditpoäng nu för att fatta många livsförändrande beslut, inklusive beslut om försäkring, anställning och boende.

För att ta reda på varför minoritets- och majoritetsgrupper behandlades olika av hypotekslångivare samlade Blattner och Nelson in kreditrapporter för 50 miljoner anonymiserade amerikanska konsumenter och band var och en av dessa konsumenter till deras socioekonomiska detaljer hämtade från en marknadsföringsdatauppsättning, deras fastighetshandlingar och bolånetransaktioner och uppgifter om de hypotekslångivare som försett dem med lån.

En anledning till att detta är den första studien i sitt slag är att dessa datauppsättningar ofta är proprietära och inte offentligt tillgängliga för forskare. Vi gick till en kreditupplysning och fick i princip betala dem mycket pengar för att göra det här, säger Blattner.

Bullriga data

De experimenterade sedan med olika prediktiva algoritmer för att visa att kreditpoäng inte bara var partiska utan bullriga, en statistisk term för data som inte kan användas för att göra korrekta förutsägelser. Ta en minoritetssökande med en kreditpoäng på 620. I ett partiskt system kan vi förvänta oss att denna poäng alltid överskattar risken för den sökanden och att en mer exakt poäng skulle vara 625, till exempel. I teorin kan denna bias sedan förklaras via någon form av algoritmisk positiv särbehandling, som att sänka tröskeln för godkännande för minoritetsansökningar.

Relaterad berättelse

Podcast: Kan AI fixa din kredit?

Ripplingseffekter av automatisering i kreditvärdering sträcker sig bortom ekonomi

Men Blattner och Nelson visar att justering för partiskhet inte hade någon effekt. De fann att en minoritetssökandes poäng på 620 verkligen var en dålig proxy för hennes kreditvärdighet men att detta berodde på att felet kunde gå åt båda hållen: en 620 kan vara 625 eller det kan vara 615.

Denna skillnad kan tyckas subtil, men den spelar roll. Eftersom felaktigheten kommer från brus i data snarare än partiskhet i hur data används, kan det inte fixas genom att göra bättre algoritmer.

Det är en självförevigande cykel, säger Blattner. Vi ger fel personer lån och en del av befolkningen får aldrig chansen att bygga upp den data som behövs för att ge dem ett lån i framtiden.

Blattner och Nelson försökte sedan mäta hur stort problemet var. De byggde sin egen simulering av en hypotekslångivares förutsägelseverktyg och uppskattade vad som skulle ha hänt om gränssökande som hade accepterats eller avvisats på grund av felaktiga poäng hade fått sina beslut omvända. För att göra detta använde de en mängd olika tekniker, som att jämföra avvisade sökande med liknande som hade blivit accepterade, eller titta på andra kreditlinjer som avvisade sökande hade fått, till exempel billån.

Genom att lägga ihop allt detta kopplade de in dessa hypotetiska korrekta lånebeslut i sin simulering och mätte skillnaden mellan grupperna igen. De fann att när beslut om minoritets- och låginkomstsökande antogs vara lika korrekta som de för rikare, vita, minskade skillnaden mellan grupper med 50 %. För minoritetssökande kom nästan hälften av denna vinst från att ta bort fel där sökanden borde ha godkänts men inte var det. Låginkomstsökande såg en mindre vinst eftersom den kompenserades genom att ta bort fel som gick åt andra hållet: sökande som borde ha fått avslag men inte gjorde det.

Blattner påpekar att att ta itu med denna felaktighet skulle gynna såväl långivare som undertjänade sökande. Det ekonomiska förhållningssättet gör att vi kan kvantifiera kostnaderna för de bullriga algoritmerna på ett meningsfullt sätt, säger hon. Vi kan uppskatta hur mycket kreditfel som uppstår på grund av det.

Rätta till fel

Men att lösa problemet kommer inte att vara lätt. Det finns många anledningar till att minoritetsgrupper har bullriga kreditdata, säger Rashida Richardson, advokat och forskare som studerar teknik och ras vid Northeastern University. Det finns förvärrade sociala konsekvenser där vissa samhällen kanske inte söker traditionell kredit på grund av misstro mot bankinstitutioner, säger hon. Varje fix kommer att behöva ta itu med underliggande orsaker . Att vända generationer av skada kommer att kräva otaliga lösningar, inklusive nya bankregler och investeringar i minoritetssamhällen: Lösningarna är inte enkla eftersom de måste ta itu med så många olika dåliga policyer och metoder.

Relaterad berättelse

Förutsägande polisalgoritmer är rasistiska. De måste demonteras. Brist på transparens och partisk utbildningsdata gör att dessa verktyg inte är lämpliga för ändamålet. Om vi ​​inte kan fixa dem bör vi lämna dem.

Ett alternativ på kort sikt kan vara att regeringen helt enkelt pressar långivare att acceptera risken att ge ut lån till minoritetssökande som avvisas av deras algoritmer. Detta skulle göra det möjligt för långivare att börja samla in korrekta uppgifter om dessa grupper för första gången, vilket skulle gynna både sökande och långivare i det långa loppet.

Några mindre långivare börjar göra det här redan, säger Blattner: Om den befintliga informationen inte säger dig mycket, gå ut och gör ett gäng lån och lär dig om människor. Rambachan och Richardson ser också detta som ett nödvändigt första steg. Men Rambachan tror att det kommer att krävas en kulturell förändring för större långivare. Idén är väldigt vettig för datavetenskapspubliken, säger han. Men när han pratar med dessa team inom banker erkänner de att det inte är en vanlig syn. De kommer att sucka och säga att de inte kan förklara det för affärsteamet, säger han. Och jag är inte säker på vad lösningen på det är.

Blattner tycker också att kreditpoäng bör kompletteras med andra uppgifter om sökande, till exempel banktransaktioner. Hon välkomnar det senaste tillkännagivandet från en handfull banker, inklusive JPMorgan Chase, att de kommer att börja dela data om sina kunders bankkonton som en ytterligare informationskälla för individer med dålig kredithistorik. Men mer forskning kommer att behövas för att se vilken skillnad detta kommer att göra i praktiken. Och vakthundar kommer att behöva se till att ökad tillgång till krediter inte går hand i hand med rovlånebeteende, säger Richardson.

Många är nu medvetna om problemen med partiska algoritmer, säger Blattner. Hon vill att folk ska börja prata om bullriga algoritmer också. Fokus på partiskhet - och tron ​​att det har en teknisk fix - betyder att forskare kanske förbiser det bredare problemet.

Richardson oroar sig för att beslutsfattare kommer att övertygas om att tekniken har svaren när den inte gör det. Ofullständiga data är oroande eftersom att upptäcka det kommer att kräva att forskare har en ganska nyanserad förståelse för samhälleliga orättvisor, säger hon. Om vi ​​vill leva i ett rättvist samhälle där alla känner att de hör hemma och behandlas med värdighet och respekt, då måste vi börja vara realistiska om allvaret och omfattningen av frågor vi står inför.

Dölj