AI har förvärrat rasfördomar i bostäder. Kan det hjälpa till att eliminera det istället?

En diskussion om huruvida maskiner någonsin kan vara rättvisare än människor. Förbi

• Charlton McIlwain arkivsida

20 oktober 2020

Andrea Daquino

Vårt kommande tidningsnummer ägnas åt långsiktiga problem. Få problem är långsiktiga eller mer svårlösta än USA:s systemiska rasmässiga ojämlikhet. Och en särskilt förankrad form av det är bostadsdiskriminering.

En lång historia av policyer från banker, försäkringsbolag och fastighetsmäklare har nekat färgade personer en rättvis chans till husägande, koncentrerat rikedom och egendom i händerna på vita människor och samhällen, och upprätthållit de facto segregationen. Även om dessa policyer – med namn som redlining, blockbusting, raszonindelning, restriktiva förbund och rasstyrning – inte längre är lagliga, kvarstår deras konsekvenser, och de praktiseras ibland fortfarande i hemlighet eller oavsiktligt.

Den här historien var en del av vårt novembernummer 2020

• Se resten av frågan
• Prenumerera

Tekniken har i vissa fall förvärrat USA:s systemiska rasfördomar. Algoritmiskt baserad ansiktsigenkänning, förutsägande polisarbete och beslut om straff och borgen har till exempel visat sig ge sämre resultat för svarta människor. Även inom bostadsområdet visade ny forskning från University of California, Berkeley, att ett AI-baserat hypotekslånesystem debiterade svarta och latinamerikanska låntagare högre räntor än vita människor för samma lån.

Skulle teknik kunna användas för att mildra partiskheten i bostäder istället? Vi samlade några experter för att diskutera möjligheterna. Dom är:

Lisa Rice

VD och koncernchef för National Fair Housing Alliance, det största konsortiet av organisationer som ägnar sig åt att få ett slut på bostadsdiskriminering.

Bobby Bartlett

Juridikprofessor vid UC Berkeley som ledde forskningen och gav några av de första storskaliga bevisen för hur artificiell intelligens skapar diskriminering vid hypotekslån.

Charlton McIlwain

Professor i media, kultur och kommunikation vid NYU och författare till Black Software: Internet & Racial Justice, från Afronet till Black Lives Matter .

---

Denna diskussion har redigerats och komprimerats för tydlighetens skull.

McIlwain: När jag vittnade inför kongressen i december förra året om effekterna av automation och AI i finansbranschen, citerade jag en nyligen genomförd studie som fann att till skillnad från mänskliga låneansvariga, godkände automatiserade hypotekslån ganska bra bostadslån, utan att diskriminera baserat på ras. Men de automatiserade systemen tar fortfarande ut svarta och latinamerikanska låntagare betydligt högre priser för dessa lån.

Detta gör mig skeptisk till att AI kan eller kommer att göra bättre än människor. Bobby – det här var ditt arbetsrum. Drade du samma slutsatser?

Bartlett: Vi hade tillgång till en datauppsättning som gjorde det möjligt för oss att identifiera den registrerade långivaren och huruvida den långivaren använde ett helt automatiserat system, utan någon mänsklig inblandning – åtminstone när det gäller godkännandet och försäkringsgarantin. Vi hade information om ras och etnicitet för den registrerade låntagaren och kunde identifiera huruvida prissättningen för godkända lån skilde sig åt beroende på ras. Faktum är att det gjorde det, med ungefär 800 miljoner dollar per år.

Varför är det så att dessa algoritmer, som är förblindade för låntagarens ras eller etnicitet, skulle diskriminera på detta sätt? Vår arbetshypotes är att algoritmerna ofta helt enkelt försöker maximera priset. Förmodligen är den som designar algoritmen omedveten om den rasmässiga konsekvensen av detta målmedvetna fokus på lönsamhet. Men de måste förstå att det finns denna rasdynamik, att proxyvariablerna de använder – med all sannolikhet är det där diskrimineringen ligger. I någon mening går det faktiskt in en redlining av den rödaste sorten genom koden. Det liknar vad som händer på bolånemarknaden generellt. Vi vet att mäklare kommer att citera högre priser till minoritetslåntagare, med vetskapen om att vissa kommer att avvisa det, men andra kommer att vara mer benägna att acceptera det av en mängd olika skäl.

McIlwain: Jag har en teori om att en av anledningarna till att vi slutar med partiska system – även när de byggdes för att vara mindre diskriminerande – är att de som designar dem inte riktigt förstår problemets underliggande komplexitet. Det förefaller mig finnas en viss naivitet i att tro att ett system skulle vara fördomsfritt bara för att det är rasblind.

Ris: Du vet, Charlton, vi hade samma perspektiv som du hade på 90-talet och början av 2000-talet. Vi förbjöd finansiella institutioner att använda försäkringsvärderingssystem, riskbaserad prissättning eller kreditvärderingssystem för just detta syfte. Vi insåg att systemen i sig visade partiskhet. Men sedan började vi säga att du bara kan använda dem om de hjälper människor, utökar åtkomsten eller genererar rättvisare priser.

McIlwain: Går människor som designar dessa system fel eftersom de verkligen inte i grunden förstår det underliggande problemet med bostadsdiskriminering? Och kommer din källa till optimism från det faktum att du och organisationer som din förstår den komplexiteten?

Ris: Vi är en medborgarrättsorganisation. Det är vad vi är. Vi gör allt vårt arbete utifrån ett rasistiskt jämställdhetsperspektiv. Vi är en antirasismorganisation.

Under loppet av att lösa ärenden om redlining och omvänd redlining uppmuntrade vi finansinstituten och försäkringsbyråerna att ompröva sina affärsmodeller, att ompröva hur de marknadsförde, att ompröva sina emissionsriktlinjer, att ompröva de produkter som de utvecklade. Och jag tror att anledningen till att vi kunde göra det är för att vi är en medborgarrättsbyrå.

Relaterad berättelse

Naturligtvis vidmakthåller teknik rasism. Det var designat på det sättet. Svarta amerikaner har sett teknik som används för att rikta dem om och om igen. Att stoppa det innebär att se på problemet annorlunda.

Vi börjar med att hjälpa företag att förstå historien om bostäder och finans i USA och hur alla våra bostads- och finanspolicyer har utkrävts genom en rasistisk lins. Du kan inte börja på noll när det gäller att utveckla ett system och tro att det systemet kommer att bli rättvist. Du måste utveckla det på ett sätt som använder antirasistiska teknologier och metoder.

McIlwain: Kan vi fortfarande realistiskt göra ett grepp om detta problem med hjälp av de tekniska verktyg som står till vårt förfogande? Om så är fallet, var ska vi börja?

Ris: Ja – när finanskrisen 2008 väl var över lite grann och vi tittade upp, var det som att tekniken hade gått om oss. Så vi bestämde oss för att om vi inte kan slå det kanske vi går med. Så vi spenderade mycket tid på att försöka lära oss hur algoritmbaserade system fungerar, hur AI fungerar, och vi har faktiskt kommit till den punkt där vi tror att vi nu kan använda teknik för att minska diskriminerande resultat.

Om vi ​​förstår hur dessa system uppenbarar fördomar, kan vi förhoppningsvis komma in i det inre, och sedan göra dessa system fördomsfria och bygga nya system som ingjuter de-biasing-teknikerna inom dem.

Vi har verkligen inga tillsynsmyndigheter som förstår hur man genomför en undersökning av ett långivande institut för att ta reda på om dess system är partiskt eller inte.

Men när du tänker på hur långt bakom kurvan vi är, är det verkligen skrämmande att tänka på allt arbete som behöver göras, all forskning som behöver göras. Vi behöver fler världens Bobbys. Men också all utbildning som behöver göras för att datavetare ska förstå dessa frågor.

Ris: Vi försöker få tillsynsmyndigheter att förstå hur system uppenbarar partiskhet. Du vet, vi har verkligen inte en grupp examinatorer på tillsynsmyndigheter som förstår hur man genomför en undersökning av ett långivande institut för att ta reda på om dess system – dess automatiserade försäkringssystem, dess marknadsföringssystem, dess servicesystem – är eller inte partisk. Men institutionerna utvecklar själva sin egen organisationspolicy som kan hjälpa.

Det andra vi måste göra är att verkligen öka mångfalden inom teknikområdet. Vi måste få in fler studenter från olika bakgrunder till STEM-fält och till det tekniska området för att hjälpa till att genomföra förändringar. Jag kan komma på ett antal exempel där bara att ha en färgad person i laget gjorde en djupgående skillnad när det gäller att öka rättvisan hos den teknik som utvecklades.

McIlwain: Vilken roll spelar politiken? Jag förstår att på samma sätt som medborgarrättsorganisationer låg bakom branschen när det gäller att förstå hur algoritmiska system fungerar, ligger många av våra beslutsfattare bakom kurvan. Jag vet inte hur mycket jag skulle tro på deras förmåga att realistiskt fungera som en effektiv kontroll av systemet, eller på att de nya AI-systemen snabbt tar sig in på hypoteksområdet.

McIlwain: Jag förblir skeptisk. För nu, för mig, är omfattningen av problemet fortfarande mycket större än både vår kollektiva mänskliga vilja och vår tekniks kapacitet. Bobby, tror du att teknik någonsin kan hjälpa
det här problemet?

Bartlett: Jag måste svara på det med advokat. Det beror på. Vad vi ser, åtminstone i utlåningssammanhang, är att du kan eliminera källan till partiskhet och diskriminering som du observerade med ansikte mot ansikte interaktioner genom någon form av algoritmiskt beslutsfattande. Baksidan är att om den implementeras på ett felaktigt sätt kan du sluta med en beslutsapparat som är lika dålig som en redlining-regim. Så det beror verkligen på utförandet, typen av teknik och omsorgen med vilken den används. Men en rättvis utlåningsregim som operationaliseras genom automatiserat beslutsfattande? Jag tycker att det är ett riktigt utmanande förslag. Och jag tror att juryn fortfarande är ute.

Dölj