Det kommande kriget mot de dolda algoritmerna som fångar människor i fattigdom

Daniel Zender

Miriam var bara 21 när hon träffade Nick. Hon var en fotograf, nybörjare från college, väntande bord. Han var 16 år äldre än henne och en lokal företagare som hade arbetat med finans. Han var charmig och karismatisk; han tog ut henne på fina dejter och betalade för allt. Hon föll snabbt in i hans bana.

Det började med ett kreditkort. På den tiden var det den enda hon hade. Nick skulle maxa ut det med 5 000 $ i företagsköp och omedelbart betala av det nästa dag. Miriam, som bad mig att inte använda deras riktiga namn av rädsla för att störa deras pågående skilsmässaförfarande, upptäckte att detta höjde hennes kreditvärdighet. Efter att ha vuxit upp med en ensamstående pappa i ett låginkomsthushåll litade hon på Nicks kunnande framför sitt eget. Han uppmuntrade lätt dynamiken och sa till henne att hon inte förstod ekonomi. Hon öppnade upp fler kreditkort för honom under sitt namn.

Problemet började tre år in. Nick bad henne att sluta sitt jobb för att hjälpa till med sitt företag. Hon gjorde. Han sa åt henne att gå på gymnasiet och inte oroa sig för att förvärra hennes befintliga studieskuld. Hon gjorde. Han lovade att ta hand om allt, och hon trodde på honom. Strax efter slutade han att lösa hennes kreditkortssaldon. Hennes poäng började kratra.

Ändå stannade Miriam hos honom. De gifte sig. De fick tre barn. Så en dag kom FBI till deras hus och arresterade honom. I federal domstol dömde domaren honom för nästan 250 000 dollar för bedrägeri. Miriam upptäckte hela omfattningen av de tiotusentals dollar i skulder han hade samlat på sig i hennes namn. Dagen som han gick i fängelse hade jag 250 dollar kontanter, ett hus i utestängning, en bil för återtagande, tre barn, säger hon. Jag gick inom en månad från att ha en barnskötare och bo i ett fint hus och allt till att bli riktigt jävla fattigdom.

Miriam är en överlevande av vad som kallas tvångsskuld, en form av övergrepp som vanligtvis begås av en intim partner eller familjemedlem. Även om ekonomiskt missbruk är ett långvarigt problem, har digital bankverksamhet gjort det lättare att öppna konton och ta lån i ett offers namn, säger Carla Sanchez-Adams, advokat vid Texas RioGrande Legal Aid. I en tid präglad av automatiserade kreditvärderingsalgoritmer kan återverkningarna också vara mycket mer förödande.

Kreditpoäng har använts i årtionden för att bedöma konsumenternas kreditvärdighet, men deras omfattning är mycket större nu när de drivs av algoritmer: de tar inte bara hänsyn till mycket mer data, både i volym och typ, utan de påverkar i allt högre grad om du kan köpa en bil, hyra en lägenhet eller få ett heltidsjobb. Deras omfattande inflytande innebär att om din poäng förstörs kan det vara nästan omöjligt att återhämta sig. Ännu värre är att algoritmerna ägs av privata företag som inte avslöjar hur de kommer till sina beslut. Offren kan skickas i en nedåtgående spiral som ibland slutar i hemlöshet eller en återgång till sin förövare.

Kreditvärderingsalgoritmer är inte de enda som påverkar människors ekonomiska välbefinnande och tillgång till grundläggande tjänster. Algoritmer avgör nu vilka barn som kommer in i fosterhem, vilka patienter som får sjukvård, vilka familjer som får tillgång till ett stabilt boende. De av oss med medel kan passera våra liv omedvetna om något av detta. Men för individer med låg inkomst har den snabba tillväxten och antagandet av automatiserade beslutssystem skapat en dold väv av sammankopplade fällor.

Lyckligtvis börjar en växande grupp civila jurister organisera sig kring denna fråga. Genom att låna en spelbok från den kriminella försvarsvärldens stötande mot riskbedömningsalgoritmer, försöker de utbilda sig själva om dessa system, bygga en gemenskap och utveckla rättstvister. I princip varje civil advokat börjar ta itu med det här, eftersom alla våra klienter på något eller annat sätt berörs av dessa system, säger Michele Gilman, professor i klinisk juridik vid University of Baltimore. Vi måste vakna upp, träna. Om vi ​​vill bli riktigt bra holistiska jurister måste vi vara medvetna om det.

Kommer jag att korsförhöra en algoritm?

Gilman har utövat juridik i Baltimore i 20 år. I hennes arbete som civiladvokat och fattigdomsadvokat har hennes fall alltid kommit till samma saker: att representera människor som har förlorat tillgången till grundläggande behov, som bostad, mat, utbildning, arbete eller hälsovård. Ibland innebär det att möta en statlig myndighet. Andra gånger är det hos en kreditupplysningsbyrå eller en hyresvärd. Kampen om en klients behörighet involverar nu allt mer någon form av algoritm.

Det här händer över hela linjen för våra kunder, säger hon. De är inblandade i så många olika algoritmer som hindrar dem från grundläggande tjänster. Och klienterna kanske inte är medvetna om det, eftersom många av dessa system är osynliga.

För låginkomsttagare kan en tillfällig ekonomisk svårighet leda till en ond cirkel som ibland slutar i konkurs eller hemlöshet.

JON TYSON / UNSPLASH

Hon minns inte exakt när hon insåg att vissa valbarhetsbeslut fattades av algoritmer. Men när den övergången först började ske var det sällan uppenbart. En gång representerade hon en äldre, funktionshindrad klient som oförklarligt hade blivit avskuren från hennes Medicaid-finansierade hemsjukvård. Vi kunde inte ta reda på varför, minns Gilman. Hon höll på att bli sjukare, och om man blir sjukare får man vanligtvis fler timmar, inte färre.

Inte förrän de stod i rättssalen mitt under en förhandling avslöjade vittnet som representerade staten att regeringen precis hade antagit en ny algoritm. Vittnet, en sjuksköterska, kunde inte förklara något om det. Naturligtvis inte – de köpte det från hyllan, säger Gilman. Hon är sjuksköterska, inte datavetare. Hon kunde inte svara på vilka faktorer som spelar in. Hur vägs det? Vilka är resultaten du letar efter? Så där är jag med min advokatstudent, som är på min klinik med mig, och det är som 'Åh, ska jag korsförhöra en algoritm?'

För Kevin De Liban, en advokat på Legal Aid of Arkansas, var förändringen lika lömsk. Under 2014 införde hans stat också ett nytt system för att distribuera Medicaid-finansierad hemhjälp, vilket skar bort en hel mängd människor som tidigare varit berättigade. Vid den tiden kunde han och hans kollegor inte identifiera rotproblemet. De visste bara att något var annorlunda. Vi kunde känna igen att det skett en förändring i bedömningssystemen från ett frågeformulär med 20 frågor till ett elektroniskt frågeformulär med 283 frågor, säger han.

Det var två år senare, när ett fel i algoritmen återigen förde den under juridisk granskning, som De Liban äntligen kom till botten med frågan. Han insåg att sjuksköterskor sa till patienterna: Tja, datorn gjorde det – det är inte jag. Det var det som tipsade oss, säger han. Om jag hade vetat vad jag visste 2016 hade jag förmodligen gjort ett bättre jobb som förespråkare 2014, tillägger han.

En person går igenom så många system på en daglig basis

Gilman har sedan dess blivit mycket mer kunnig. Från sin synvinkel som representerar kunder med en rad problem, har hon observerat uppkomsten och kollisionen mellan två algoritmiska nät. Den första består av kreditrapporteringsalgoritmer, som de som fastnade Miriam, som påverkar tillgången till privata varor och tjänster som bilar, hem och sysselsättning. Den andra omfattar algoritmer som antagits av statliga myndigheter och som påverkar tillgången till offentliga förmåner som sjukvård, arbetslöshet och barnstöd.

På kreditrapporteringssidan har tillväxten av algoritmer drivits av spridningen av data, vilket är lättare än någonsin att samla in och dela. Kreditupplysningar är inte nya, men nuförtiden är deras fotavtryck mycket mer expansivt. Konsumentrapporteringsbyråer, inklusive kreditupplysningsföretag, företag som kontrollerar hyresgäster, eller checkverifieringstjänster, samlar denna information från en mängd olika källor: offentliga register, sociala medier, webbsurfning, bankverksamhet, appanvändning och mer. Algoritmerna tilldelar sedan människor värdighetspoäng, som spelar en stor roll i bakgrundskontroller som utförs av långivare, arbetsgivare, hyresvärdar, till och med skolor.

Statliga myndigheter, å andra sidan, drivs att anta algoritmer när de vill modernisera sina system. Strävan att använda webbaserade appar och digitala verktyg började i början av 2000-talet och har fortsatt med en övergång mot mer datadrivna automatiserade system och AI. Det finns goda skäl att söka dessa förändringar. Under pandemin kämpade många arbetslöshetssystem för att hantera den enorma mängden nya förfrågningar, vilket ledde till betydande förseningar. Att modernisera dessa äldre system lovar snabbare och mer tillförlitliga resultat.

Men mjukvaruanskaffningsprocessen är sällan transparent och saknar därför ansvar. Offentliga myndigheter köper ofta automatiserade beslutsfattande verktyg direkt från privata leverantörer. Resultatet är att när systemen går snett lämnas de berörda individerna – och deras advokater – i mörker. De annonserar inte det någonstans, säger Julia Simon-Mishel, en advokat på Philadelphia Legal Assistance. Det är ofta inte skrivet i någon form av policyguider eller policymanualer. Vi är i underläge.

Bristen på offentlig granskning gör också systemen mer benägna att göra fel. Ett av de mest allvarliga felen inträffade i Michigan 2013. Efter en stor ansträngning att automatisera statens arbetslöshetsersättningssystem, algoritmen felaktigt flaggade över 34 000 personer för bedrägeri . Det orsakade en massiv förlust av förmåner, säger Simon-Mishel. Det fanns konkurser; det var tyvärr självmord. Det var en hel röra.

Gilman oroar sig för att koronavirusrelaterade skulder och vräkningar kommer att kodifieras till kreditpoäng, vilket gör det permanent svårare för människor att få jobb, lägenheter och lån.

SCOTT HEINS/GETTY IMAGES

Individer med låg inkomst bär bördan av övergången till algoritmer. De är de människor som är mest sårbara för tillfälliga ekonomiska svårigheter som kodifieras i konsumentrapporter, och de som behöver och söker offentliga fördelar. Gilman har genom åren sett fler och fler fall där klienter riskerar att hamna i en ond cirkel. En person går igenom så många system på en daglig basis, säger hon. Jag menar, det gör vi alla. Men konsekvenserna av det är mycket hårdare för fattiga människor och minoriteter.

Hon tar upp ett aktuellt fall på sin klinik som exempel. En familjemedlem förlorade jobbet på grund av pandemin och nekades arbetslöshetsersättning på grund av ett automatiserat systemfel. Familjen hamnade sedan på efterkälken när det gäller hyresbetalningar, vilket fick deras hyresvärd att stämma dem för vräkning. Även om vräkningen inte kommer att vara laglig på grund av CDC:s moratorium , kommer stämningen fortfarande att loggas i offentliga register. Dessa register kan sedan ingå i algoritmer för granskning av hyresgäster, vilket kan göra det svårare för familjen att hitta ett stabilt boende i framtiden. Deras misslyckande med att betala hyra och verktyg kan också påverka deras kreditvärdighet, vilket återigen får återverkningar. Om de försöker sätta upp mobiltelefontjänst eller ta ett lån eller köpa en bil eller ansöka om ett jobb, har det bara dessa kaskadeffekter, säger Gilman.

Varje fall kommer att förvandlas till ett algoritmfall

I september skrev Gilman, som för närvarande är fakultetsstipendiat vid forskningsinstitutet Data and Society, släppt en rapport dokumenterar alla olika algoritmer som fattigdomsadvokater kan stöta på. Kallad Fattigdomslaggorithmer , det är tänkt att vara en guide för hennes kollegor på området. Indelad i specifika praxisområden som konsumenträtt, familjerätt, bostäder och allmänna förmåner, förklarar den hur man hanterar frågor som ställs av algoritmer och annan datadriven teknik inom ramen för befintliga lagar.

Om en klient nekas en lägenhet på grund av en dålig kreditvärdering, till exempel, rekommenderar rapporten att en advokat först kontrollerar om uppgifterna som matas in i poängsystemet är korrekta. Enligt Fair Credit Reporting Act är rapporteringsbyråer skyldiga att säkerställa giltigheten av deras information, men detta händer inte alltid. Att bestrida eventuella felaktiga anspråk kan hjälpa till att återställa kundens kredit och därmed tillgång till bostad. Rapporten erkänner dock att befintliga lagar bara kan gå så långt. Det finns fortfarande regulatoriska luckor att fylla, säger Gilman.

Gilman hoppas att rapporten ska vara en väckarklocka. Många av hennes kollegor inser fortfarande inte att något av detta pågår, och de kan inte ställa de rätta frågorna för att avslöja algoritmerna. De som är medvetna om problemet är utspridda runt om i USA och lär sig om, navigerar och bekämpar dessa system isolerat. Hon ser en möjlighet att koppla ihop dem och skapa en bredare gemenskap av människor som kan hjälpa varandra. Vi behöver alla mer utbildning, mer kunskap – inte bara i juridik, utan i dessa system, säger hon. I slutändan är det som att varje fall kommer att förvandlas till ett algoritmfall.

Relaterad berättelse

Logga in för att bli utslängd: Inuti Amerikas virtuella vräkningskris Tusentals hyresgäster kastas ut från sina hem via telefon och videosamtal.

På sikt vänder hon sig till den straffrättsliga världen för inspiration. Brottsadvokater har varit före kurvan, säger hon, när de organiserar sig som en gemenskap och driver tillbaka mot riskbedömningsalgoritmer som bestämmer straffmätningen. Hon vill se civilrättsliga advokater göra samma sak: skapa en rörelse för att få mer offentlig granskning och reglering till det dolda nätet av algoritmer som deras klienter möter. I vissa fall borde det förmodligen bara stängas av eftersom det inte finns något sätt att göra det rättvist, säger hon.

När det gäller Miriam, efter Nicks övertygelse, gick hon därifrån för gott. Hon flyttade med sina tre barn till en ny stat och kopplade till en ideell organisation som stöder överlevande av tvångsskulder och våld i hemmet. Genom dem tog hon en serie kurser som lärde henne hur hon skulle hantera sin ekonomi. Organisationen hjälpte henne att avfärda många av sina påtvingade skulder och lära sig mer om kreditalgoritmer. När hon gick för att köpa en bil, räckte hennes kreditpoäng knappt till minimum med hennes pappa som medundertecknare. Sedan dess har hennes konsekventa betalningar på hennes bil och hennes studieskuld sakta fyllt på hennes kreditvärdighet.

Miriam måste fortfarande vara vaksam. Nick har sitt personnummer och de är ännu inte skilda. Hon oroar sig hela tiden för att han skulle kunna öppna fler konton, ta fler lån i hennes namn. Ett tag kontrollerade hon sin kreditupplysning dagligen för bedräglig aktivitet. Men nu för tiden har hon också något att se fram emot. Hennes pappa, i mitten av 60-årsåldern, vill gå i pension och flytta in. De två är nu laserfokuserade på att förbereda sig för att köpa ett hem. Jag är ganska peppad över det. Mitt mål är att i slutet av året få det till 700, säger hon om sitt resultat, och då är jag definitivt redo för bostadsköpare.

Jag har aldrig bott i ett hus som jag har ägt, någonsin, tillägger hon. Han och jag arbetar tillsammans för att spara till ett evigt hem.

Dölj