Podcast: Kan AI fixa din kredit?

Ms Tech | Pexels

Kreditpoäng har använts i årtionden för att bedöma konsumenternas kreditvärdighet, men deras omfattning är mycket större nu när de drivs av algoritmer. De tar inte bara hänsyn till mycket mer data, både i volym och typ, utan de påverkar i allt högre grad om du kan köpa en bil, hyra en lägenhet eller få ett heltidsjobb. I den här andra av en serie om automation och våra plånböcker utforskar vi hur mycket maskinerna som bestämmer vår kreditvärdighet har kommit att påverka mycket mer än våra ekonomiska liv.

Vi träffas:

• Chi Chi Wu, personaljurist vid National Consumer Law Center
• Michele Gilman, professor i juridik vid University of Baltimore
• Mike de Vere, VD för Zest AI

Krediter:

Det här avsnittet producerades av Jennifer Strong, Karen Hao, Emma Cillekens och Anthony Green. Vi är redigerade av Michael Reilly.

Transkript:

[TECH REVIEW ID]

Miriam : Det var inte ovanligt att bli utestängd från vårt hotellrum eller att en nyckel inte fungerade och han fick gå ner till receptionen och hantera det. Och det var inte ovanligt att betala en räkning på en restaurang och sedan få checken tillbaka.

Jennifer: Vi kommer att kalla den här kvinnan Miriam för att skydda hennes integritet. Hon var 21 när hon träffade mannen hon skulle gifta sig med... och... inom några korta år... vända upp och ner på hennes liv... och sin ekonomiska ställning.

Miriam: Men han hade alltid en anledning och det var alltid någon annans fel.

Jennifer: När de träffades första gången arbetade Miram med två jobb, hon skrev budgetar på en whiteboardtavla och hon höll på att ta tag i sin studieskuld.

Hennes kredit var ren.

Miriam: Han tog mig ut på middag och han tog mig med på små resor, du vet, två eller tre nätters semestererbjudanden till stranden eller, du vet, lokala saker. Och han betalade alltid för allt och jag tyckte bara att det var så roligt.

Miriam: Och sedan började han fråga om han kunde använda mina tomma kreditkort för ett av sina företag. Och han skulle ta ut hela beloppet, cirka 5 000 och sedan betala av det inom, jag menar, två eller tre dagar varje gång. Och han kallade det bara flipping. Det hände ett tag. Och under det blev det bara en normal sak. Så jag slutade liksom uppmärksamma det.

Jennifer: Tills en dag... hela hennes värld rasade samman.

Miriam: Jag hade, låt oss se en sexåring, en tvååring och en fyraåring och det är halloweenmorgon och vi är i matsalen och gör oss redo att ta henne till förskolan. Och, um, FBI kom och arresterade min man och liksom, det är precis som filmerna, du vet, de går igenom alla dina grejer och de skickar in ett gäng män med leriga stövlar och vapen till ditt hus.

Jennifer: En federal domare dömde hennes man för att ha begått en kvarts miljon dollar i bedrägeri... och Miriam upptäckte tiotusentals dollar i skulder i hennes namn.

Hon lämnades att plocka upp bitarna... och ekonomin.

Miriam : Jag menar att min kreditpoäng var under 500 vid ett tillfälle. Jag menar, det bara rasade och det tar lång tid att gräva ur, men jag har lärt mig att det är lite i taget... som jag var tvungen att utbilda mig om. Jag menar, sedan hela debaclet här, um, har jag aldrig missat något. Det är som... viktigare för mig än de flesta saker... är att hålla min kreditvärdighet gyllene.

Jennifer: Hon är en överlevande av vad som kallas tvångsskuld. Det är en form av ekonomiskt övergrepp... vanligtvis av en partner eller familjemedlem.

Miriam: Det finns inga fysiska sår. Höger. Och det är, det här, är inte något du bara kan ringa polisen på någon. Och det är vanligtvis inte en fientlig situation. Det brukar vara snyggt, det är ett lugnt samtal där han jobbar sig in och sedan får som han vill.

Jennifer: Ekonomiskt missbruk är inte nytt... men liksom identitetsstöld har det blivit mycket lättare i en digital värld av onlineformulär och automatiserade beslut.

Miriam: Jag vet vad en algoritm är. Jag förstår det. Men liksom, vad menar du med min kreditalgoritm?

Jennifer: Hon kom på fötter igen ... men många gör det inte ... och eftersom algoritmer fortsätter att ta över vårt finansiella kreditsystem ... en del hävdar att detta kan bli mycket värre.

Gilman: Vi har ett system som får människor som upplever svårigheter utanför deras kontroll att se ut som döda takter, vilket i sin tur påverkar deras förmåga att få de möjligheter som krävs för att fly fattigdom och få ekonomisk stabilitet.

Jennifer: Men andra hävdar det höger algoritmer för kreditbetyg... kan vara inkörsporten till en bättre framtid... där fördomar kan utrotas... och systemet göras rättvisare.

Från Vere: Så ur mitt perspektiv är kredit lika med möjligheter. Det är verkligen viktigt som samhälle att vi får det rätt. Vi tror att det kan finnas en 2.0-version av det som utnyttjar maskininlärning.

Jennifer: Jag heter Jennifer Strong och i denna andra av en serie om automation och våra plånböcker... utforskar vi hur mycket maskinerna som avgör vår kreditvärdighet... har kommit att påverka mycket mer än våra ekonomiska liv.

[IMWT ID]

Jennifer: Det brukade vara när någon ville ha ett lån ... de bildade relationer med människor på en bank eller kreditförening som fattade beslut om hur säker eller riskabel den investeringen verkade.

Som den här scenen från 1940-talets julklassiker, It’s a Wonderful Life... där filmens huvudkaraktär bestämmer sig för att låna ut sina egna pengar till kunder för att hålla sitt företag flytande... efter ett försök att springa på banken.

George: Jag fick 2 000 dollar! Här är 2 000 $ som kommer att binda oss tills banken öppnar igen. Okej, Tom, hur mycket behöver du?

Tom: 242 USD.

George: Åh Tom. Precis tillräckligt för att få dig över tills banken öppnar igen—.

Tom: Jag tar $242!

George: Där är du.

Tom: Det kommer att stänga mitt konto.

George: Ditt konto finns fortfarande kvar. Det är ett lån!

Jennifer: Nuförtiden gör banker lån utan att någonsin träffa många av sina kunder... Ofta är dessa beslut automatiserade... baserat på data från din kreditupplysning... som spårar saker som kreditkortsaldon, billån, studieskulder... och inkluderar en blandning av andra personlig information…

På 1950-talet ville industrin ha ett sätt att standardisera dessa rapporter... så datavetare kom på ett sätt att ta den informationen... köra den genom en datormodell och spotta ut ett nummer...

Det är din kreditpoäng... och det är inte bara banker som använder dem för att fatta beslut. Beroende på var du bor, hänvisar alla möjliga grupper till detta nummer... inklusive hyresvärdar...försäkringsbolag... till och med arbetsgivare.

Wu: Konsumenter är inte kunder för kreditupplysningsföretag. Det är vi, eller så är vår data varan. Vi är inte kunderna, vi är hönan. Vi, vi är det som säljs...

Jennifer: Chi Chi Wu är konsumentadvokat och advokat vid National Consumer Law Center.

Wu: Och så, som ett resultat, är incitamenten på den här marknaden lite trassliga. Incitamenten är att tillgodose behoven hos kreditgivare och andra användare av rapporter och inte konsumenter.

Jennifer: När det kommer till kreditupplysningar finns det tre nyckelvakter... Equifax, Experian och Transunion.

Men dessa rapporter är långt ifrån heltäckande... och de kan vara felaktiga.

Wu: Det finns oacceptabelt höga nivåer av fel i kreditupplysningar. Nu fann data från den definitiva studien av den federala handelskommissionen att en av fem konsumenter hade ett verifierat fel på sin kreditupplysning. Och en av 20 eller 5 % hade ett fel så allvarligt att det skulle leda till att de nekades kredit, eller så skulle de behöva betala mer.

Jennifer: Klagomål till den federala regeringen om dessa rapporter har exploderat under de senaste åren ... och förra året under pandemin? Klagomålen om fel fördubblades.

Dessa utgör mer än hälften av alla klagomål som lämnas in till C-F-P-B -- eller Consumer Financial Protection Bureau i den amerikanska regeringen.

Men Wu tror att även utan några fel, hur kreditpoäng används... är ett problem.

Wu: Så problemet är arbetsgivare... hyresvärdar. De börjar titta på kreditupplysningar och kreditpoäng som någon slags återspegling av en persons underliggande ansvar, deras värde som person, deras karaktär. Och det är bara helt fel. Vad vi ser är att människor får negativ information på sin kreditupplysning eftersom de har kämpat ekonomiskt för att något dåligt har hänt dem. Alltså människor som har förlorat sina jobb, som har blivit sjuka. De kan inte betala sina räkningar. Och den här pandemin är den perfekta illustrationen av det och du kan verkligen se detta i rasskillnaderna i kreditvärdering. Kreditvärdena för svarta samhällen är mycket lägre än för vita samhällen och för Latin X-samhällen, det är någonstans mittemellan. Och har inget med karaktär att göra. Det har allt med ojämlikhet att göra.

Jennifer: Och eftersom branschen ersätter äldre metoder för kreditbetyg med maskininlärning ... oroar hon sig för att detta kan förstärka problemet.

Wu: Och om det lämnas okontrollerat, om det inte finns någon avsiktlig kontroll för detta, om vi inte är försiktiga med detta, kommer samma sak att hända med de algoritmer som hände med kreditvärdering, vilket kommer att vara, de kommer att hindra utvecklingen för de historiskt marginaliserade samhällena .

Jennifer: Hon oroar sig särskilt för företag som lovar att deras kreditvärderingsalgoritmer är mer rättvisa eftersom de använder alternativa data....data som förmodligen är mindre benägna att ha rasistiska fördomar...

Wu: Som din mobiltelefonräkning, eller din hyra, um, till de mer häftiga fransiga, big data. Vad finns i ditt sociala mediaflöde för den första typen av alternativ data som är typ av konventionell eller finansiell, um, mitt mantra har varit djävulens i detalj. En del av de uppgifterna ser lovande ut. Andra typer av data kan vara mycket riskabla. Så det är min oro för artificiell intelligens och maskininlärning. Inte för att vi aldrig ska använda dem. Du bara, du måste använda dem, eller hur? Du måste använda dem med avsikt. De kan vara lösningen. Om de får höra är ett av dina mål att minimera skillnaderna för marginaliserade grupper. Du vet att ditt mål är att vara lika förutsägande eller mer förutsägande med mindre skillnader.

Jennifer: Kongressen överväger att begränsa arbetsgivarnas användning av kreditupplysningar... och vissa stater har flyttat för att förbjuda dem att fastställa försäkringspriser... eller tillgång till bostäder till överkomliga priser.

Men medvetenhet är också en fråga.

Gilman: Det finns många kreditupplysningsskador som påverkar människor utan deras vetskap. Och om du inte vet att du har blivit skadad kan du inte få hjälp eller botemedel,

Jennifer: Michelle Gilman är professor i klinisk juridik vid University of Baltimore...

Gilman: Jag fick inte lära mig om algoritmiskt beslutsfattande i juridikskolan och de flesta juridikstudenter är det fortfarande inte. Och de kan bli väldigt skrämda av tanken på att behöva utmana en algoritm.

Jennifer: Hon är inte säker på när hon först märkte att algoritmer fattade beslut för hennes kunder. Men ett fall sticker ut... av en äldre och funktionshindrad klient vars hemsjukvårdstimmar under Medicaid-programmet minskade drastiskt... trots att klienten blev sjukare...

Gilman: Och det var inte förrän vi stod inför en förvaltningsrättsdomare i en omtvistad förhandling som det stod klart att nedskärningen i timmar berodde på en algoritm. Och ändå kunde statens vittne som var sjuksköterska inte förklara något om algoritmen. Hon upprepade bara om och om igen att det var internationellt och statistiskt validerat, men hon kunde inte berätta hur det fungerade, vilken data som matades in i den, vilka faktorer den vägde, hur faktorerna vägdes. Och så tittar min advokatstudent på mig och vi tittar på varandra och tänker, hur korsundersöker vi en algoritm?

Jennifer: Hon tog kontakt med andra advokater runt om i landet som upplevde samma sak. Och hon insåg att problemet var mycket större...

Gilman: Och när det kommer till algoritmer fungerar de i nästan alla aspekter av vår klients liv.

Jennifer: Och kreditupplysningsalgoritmer är de mest genomgripande.

Hennes företag ser offer som fastnar med oväntade skulder ... ibland på grund av svårigheter ... andra gånger från sjukvårdsräkningar ... eller ... på grund av identitetsstöld, där någon annan tar lån i ditt namn ...

Men effekten är densamma ... det tynger kreditpoäng ... och även när skulden rensas kan det få långsiktiga effekter.

Gilman: Som en bra konsumentadvokat behöver vi veta att det ibland inte räcker att bara lösa själva tvisten framför dig. Du måste också gå ut och rensa upp krusningseffekterna av dessa algoritmiska system. Många fattigdomsadvokater delar samma fördomar som den allmänna befolkningen har när det gäller att se ett datorgenererat resultat och tro att det är neutralt, det är objektivt, det är korrekt. Det är på något sätt magiskt. Det är som en miniräknare. Och inga av dessa antaganden är sanna, men vi behöver utbildningen och resurserna för att förstå hur dessa system fungerar. Och då behöver vi som gemenskap utveckla bättre verktyg så att vi kan förhöra dessa system så att vi kan utmana dessa system.

Jennifer: Efter pausen... Vi tittar på arbetet med att automatisera rättvisa i kreditupplysningar.

[midroll]

Från Vere: AI hjälper på två sätt: det är mer data och bättre matematik. Och så om du tänker på begränsningar för nuvarande matematik, du vet, de kan dra in ett par dussin variabler. Och, eh, om jag försökte beskriva för dig Jennifer, eh, med två dussin variabler, du vet, jag skulle förmodligen kunna få en ganska bra beskrivning, men tänk om jag kunde dra in mer data och jag beskrev dig med 300 till tusen variabler som signalerar och upplösning resulterar i en mycket mer exakt förutsägelse av din kreditvärdighet som låntagare.

Jennifer: Mike de Vere är VD för Zest AI. Det är ett av flera företag som vill lägga till transparens i kredit- och lånegodkännandeprocessen... med programvara utformad för att ta hänsyn till några av de aktuella problemen med kreditvärderingar... inklusive ras, kön och annan potentiell fördom.

För att förstå hur det fungerar... behöver vi först lite sammanhang. I USA är det olagligt för långivare (andra än hypotekslångivare) att samla in data om ras. Detta var ursprungligen meningen förhindra diskriminering.

Men en persons ras har ett starkt samband med deras namn ... var de bor ... var de gick i skolan ... och hur mycket de får betalt. Det betyder ... även utan rasdata ... en maskininlärningsalgoritm kan lära sig att diskriminera ändå ... helt enkelt för att den är inbakad.

Så långivare försöker kontrollera detta och rensa bort diskrimineringen i sina utlåningsmodeller. Det enda problemet? För att verifiera hur det går för dig behöver du känna till låntagarnas ras... utan det... tvingas långivare göra en välgrundad gissning.

Från Vere: Så den accepterade metoden är en akronym BISG och den använder i princip två variabler, ditt postnummer och ditt efternamn. Och så jag heter Mike De Vere och den del av Kalifornien jag kommer från, med ett sådant namn skulle jag komma ut som latinamerikansk eller latinsk X, men ändå är jag irländsk.

Jennifer: Med andra ord ... branschstandarden för hur man gör detta är ofta helt fel. Så hans företag tar ett annat tillvägagångssätt.

Från Vere: Vi tror att det kan finnas en 2.0-version av det – att utnyttja maskininlärning.

Jennifer: Istället för att förutsäga ras på bara två variabler ... använder den många fler ... som personens för- och mellannamn ... och andra geografiska data - som deras folkräkning ... eller skolstyrelsedistrikt.

Han säger i ett nyligen genomfört test i Florida att denna metod överträffade standardmodellen med 60 procent.

Från Vere: Varför spelar det någon roll? Det är viktigt eftersom det är din gård som fastnar för hur du gör.

Jennifer: Sedan tar han ett tillvägagångssätt som kallas adversarial de biasing.

Grundtanken är detta . Företaget börjar med en maskininlärningsmodell som är tränad för att förutsäga hur riskabel en given låntagare är.

Från Vere: Låt oss säga att den har 300 till 500 datapunkter för att tilldela risk för en individ.

Jennifer: Den har då en andra maskininlärningsmodell som försöker gissa den låntagarens ras... (baserat på resultaten av den första).

Om förutsägelserna för den andra modellen matchar utdata från rasprediktorn... säger han att det betyder att systemet kodar bias...och bör justeras... genom att justera hur mycket det väger var och en av datapunkterna.

Från Vere: Så de där 300 till 500 signalerna kan vi ställa in eller ställa in om det blir en proxy för ras. Och så det du slutar med är inte bara en presterande modell som levererar bra ekonomi, utan samtidigt har du en modell som är nästan färgblind i den processen.

Jennifer: Han säger att det har lett till mer inkluderande utlåningsmetoder.

Från Vere: Vi arbetar med en av de största kreditföreningarna i USA utanför Florida. Och så vad det betyder för vår kreditförening är fler ja för fler av deras medlemmar. Men vad de verkligen var entusiastiska över är att det var en ökning med 26 % av godkännandet för kvinnor. Tjugofem procents ökning av godkännandet för färgade medlemmar.

Jennifer: Även om det är uppmuntrande... Alla som påstår sig ha en lösning på årtionden av skada orsakad av algoritmiskt beslutsfattande... kommer att ha mycket att övervinna för att vinna folks förtroende.

Det är en uppgift som blir ännu svårare när den föreslagna fixen till en dålig algoritm... är en annan algoritm.

Treasury Department utfärdade nyligen vägledning - som lyfter fram användningen av AI-kreditgarantier som en nyckelrisk för banker... varnar för kostnaderna som kommer med deras ogenomskinliga natur... och lägger till en anteckning som, citat, bankledningen?.. borde kunna förklara och försvara beslut om emissionsgarantier och modellering.

Vilket... även med de mest genomskinliga verktygen... fortfarande känns som en stor order.

Och utan modern reglering är det också oklart vem som övervakar dessa kreditvärderingsmonitorer ... och vem bestämmer om saker som telefondata eller information från sociala medier är rättvist spel?

Särskilt medan slutresultaten fortsätter att användas för icke-kreditändamål... som anställning eller försäkring.

[KREDIT]

Det här avsnittet producerades av mig, Karen Hao, Emma Cillekens och Anthony Green. Vi är redigerade av Michael Reilly.

Tack för att du lyssnade, jag heter Jennifer Strong.

[TECH REVIEW ID]

Dölj