211service.com
Kan du göra AI rättvisare än en domare? Spela vårt rättssalsalgoritmspel
Selman Design
Som barn utvecklar du en känsla för vad rättvisa betyder. Det är ett koncept som du lär dig tidigt när du kommer överens med världen omkring dig. Något känns antingen rättvist eller så gör det det inte.
Men alltmer har algoritmer börjat bedöma rättvisa för oss. De bestämmer vem som ser bostadsannonser, vem som blir anställd eller avskedad, och till och med vem som skickas i fängelse. Följaktligen uppmanas människorna som skapar dem – mjukvaruingenjörer – att formulera vad det innebär att vara rättvis i sin kod. Det är därför tillsynsmyndigheter runt om i världen nu brottas med en fråga: Hur kan man matematiskt kvantifiera rättvisa?
Denna berättelse försöker ge ett svar. Och för att göra det behöver vi din hjälp. Vi kommer att gå igenom en riktig algoritm, en som används för att bestämma vem som ska skickas till fängelse, och ber dig att justera dess olika parametrar för att göra resultatet mer rättvist. (Oroa dig inte – det här innebär inte att du tittar på koden!)
Algoritmen vi undersöker är känt som COMPAS, och det är ett av flera olika riskbedömningsverktyg som används i USA:s straffrättsliga system.
På hög nivå är COMPAS tänkt att hjälpa domare att avgöra om en tilltalad ska hållas i fängelse eller släppas ut i väntan på rättegång. Den tränar på historiska svarandedata för att hitta korrelationer mellan faktorer som någons ålder och historia med det straffrättsliga systemet, och huruvida personen greps på nytt eller inte. Den använder sedan korrelationerna för att förutsäga sannolikheten att en åtalad kommer att gripas för ett nytt brott under väntetiden för rättegången.1
Fotnot
1. arresteringar kontra fällande domar
Denna process är mycket ofullkomlig. Verktygen använder arresteringar som en proxy för brott, men det finns faktiskt stora skillnader mellan de två eftersom polisen har en historia av att oproportionerligt arrestera rasminoriteter och manipulera data. Återgripanden görs dessutom ofta för tekniska överträdelser, som att inte inställa sig i domstol, snarare än för upprepad brottslig verksamhet. I den här historien förenklar vi för att undersöka vad som skulle hända om arresteringar motsvarade faktiska brott.
Denna förutsägelse är känd som svarandens riskpoäng, och den är avsedd som en rekommendation: högriskåtalade bör fängslas för att förhindra att de orsakar potentiell skada för samhället; åtalade med låg risk bör släppas före rättegången. (I verkligheten, domare följ inte alltid dessa rekommendationer, men riskbedömningarna förblir inflytelserika.)
Förespråkare för riskbedömningsverktyg hävdar att de gör det straffrättsliga systemet mer rättvist. De ersätter domarnas intuition och partiskhet – i synnerhet rasfördomar – med en till synes mer objektiv utvärdering. Det kan de också ersätta praxis med borgen i USA, vilket kräver att de tilltalade betalar en summa pengar för att de ska friges. Borgen diskriminerar fattiga amerikaner och drabbar oproportionerligt mycket svarta åtalade, som är överrepresenterade i det straffrättsliga systemet.
Fotnot
2. ProPublicas metodik
För åtalade som fängslades före rättegången undersökte ProPublica om de greps på nytt inom två år efter frigivningen. Den använde sedan det för att uppskatta om de tilltalade skulle ha gripits på nytt före rättegången om de inte hade fängslats.
Som krävs enligt lag inkluderar COMPAS inte ras i beräkningen av sina riskpoäng. Under 2016 har dock en ProPublica utredning hävdade att verktyget var fortfarande partisk mot svarta. ProPublica fann att bland åtalade som aldrig greps på nytt var det dubbelt så stor sannolikhet för svarta åtalade som vita att ha blivit stämplade som högrisk av COMPAS.2
Så vår uppgift nu är att försöka göra COMPAS bättre. Redo?
Låt oss börja med samma datamängd som ProPublica använt i sin analys. Det inkluderar varje svarande som fått poäng av COMPAS-algoritmen i Broward County, Florida, från 2013 till 2014. Totalt är det över 7 200 profiler med varje persons namn, ålder, ras och COMPAS riskpoäng, och noterar om personen slutligen arresterades på nytt antingen efter släpps eller fängslas före rättegång.
För att göra data lättare att visualisera har vi slumpmässigt tagit 500 svarta och vita svarande från hela uppsättningen.
Vi har representerat varje svarande som en prick.
Kom ihåg: alla dessa prickar är personer anklagade (men inte dömda) för ett brott. Vissa kommer att fängslas före rättegången; andra kommer att släppas omedelbart. Vissa kommer att fortsätta att bli arresterade på nytt efter att de släppts; andra kommer inte. Vi vill jämföra två saker: förutsägelserna (vilka åtalade fick höga respektive låga riskpoäng) och de verkliga resultaten (vilka åtalade faktiskt blev återgripen efter att ha släppts).
COMPAS betygsätter åtalade på en skala från 1 till 10, där 1 ungefär motsvarar 10 % chans att återgripas, 2 till 20 % och så vidare.
Låt oss titta på hur COMPAS gjorde poäng för alla.
Fotnot
3. COMPAS:s poäng
COMPAS utformades för att göra aggregerade förutsägelser om grupper av människor som delar liknande egenskaper, snarare än förutsägelser om specifika individer. Metodiken bakom poängen och rekommendationerna för hur man använder dem är mer komplicerade än vi hade utrymme att presentera; du kan läsa om dem på länken ovan.
Även om COMPAS bara kan erbjuda en statistisk sannolikhet att en åtalad kommer att gripas på nytt före rättegången, måste domare naturligtvis fatta ett allt-eller-inget-beslut: om de ska släppa eller kvarhålla den tilltalade. I den här berättelsens syfte kommer vi att använda COMPAS:s högrisktröskel, en poäng på 7 eller högre, för att representera en rekommendation om att en åtalad ska häktas.3
Från och med nu är du ansvarig. Ditt uppdrag är att designa om det sista steget i denna algoritm genom att hitta en mer rättvis plats för att sätta högrisktröskeln.
Så här kommer din tröskel att se ut. Försök att klicka på den och dra runt den.
Så först, låt oss föreställa oss det bästa scenariot: alla svarande som dina algoritmetiketter med hög riskpoäng fortsätter att bli arresterade på nytt, och alla svarande som får låg riskpoäng gör det inte. Nedan visar vår grafik hur detta kan se ut. De ifyllda cirklarna är åtalade som greps på nytt; de tomma cirklarna är de som inte var det.
Flytta nu tröskeln för att göra din algoritm så rättvis som möjligt.
(Med andra ord bör endast återgripna åtalade fängslas.)
Bra! Det var enkelt. Din tröskel bör ställas in mellan 6 och 7. Ingen greps i onödan, och ingen som släpptes greps sedan igen.
Men det här idealiska scenariot inträffar naturligtvis aldrig. Det är omöjligt att perfekt förutsäga resultatet för varje person. Detta innebär att de fyllda och tomma prickarna inte kan separeras så snyggt.
Så här är vem som faktiskt blir återgripen.
Flytta nu tröskeln igen för att göra din algoritm så rättvis som möjligt.
(Tips: du vill maximera dess noggrannhet.)
Du kommer att märka att oavsett var du placerar tröskeln så är den aldrig perfekt: vi fängslar alltid några åtalade som inte blir gripna igen (tomma prickar till höger om tröskeln) och släpper några åtalade som blir återgripna (fyllda prickar till till vänster om tröskeln). Detta är en avvägning som vårt straffrättssystem alltid har hanterat, och det är inte annorlunda när vi använder en algoritm.
För att göra dessa avvägningar mer tydliga, låt oss se procentandelen felaktiga förutsägelser som COMPAS gör på varje sida av tröskeln, istället för att bara mäta den totala noggrannheten. Nu kommer vi explicit att kunna se om vår tröskel gynnar att i onödan hålla människor i fängelse eller att släppa människor som sedan återgrips.4 Lägg märke till att COMPAS standardtröskel gynnar de senare.
Fotnot
4. Tekniska definitioner
Dessa två felprocent är också kända som den falska negativa frekvensen (som vi har märkt som släppt men återgripen) och den falska positiva frekvensen (som vi har märkt onödigt fängslad).
Hur ska vi balansera denna avvägning rättvist? Det finns inget universellt svar, men på 1760-talet skrev den engelske domaren William Blackstone: Det är bättre att tio skyldiga rymmer än att en oskyldig lider.
Blackstones förhållande är fortfarande mycket inflytelserik i USA idag. Så låt oss använda det för inspiration.
Flytta tröskeln till där procentandelen släppta men återgripna är ungefär 10 gånger procentandelen onödigt fängslade.
Du kan redan se två problem med att använda en algoritm som COMPAS. Den första är att bättre förutsägelser alltid kan hjälpa till att minska felfrekvensen över hela linjen, men det kan aldrig eliminera dem helt. Oavsett hur mycket data vi samlar in kan två personer som ser likadana ut för algoritmen alltid göra olika val.
Det andra problemet är att även om du följer COMPAS rekommendationer konsekvent, måste någon – en människa – först bestämma var den höga risktröskeln ska ligga, antingen genom att använda Blackstones förhållande eller något annat. Det beror på alla typer av överväganden – politiska, ekonomiska och sociala.
Nu kommer vi till ett tredje problem. Det är här våra utforskningar av rättvisa börjar bli intressanta. Hur jämför felfrekvenserna mellan olika grupper? Finns det vissa typer av människor som är mer benägna att bli fängslade i onödan?
Låt oss se hur vår data ser ut när vi tar hänsyn till de tilltalades ras.
Flytta nu varje tröskel för att se hur det påverkar svarta och vita svarande på olika sätt.
Ras är ett exempel på en skyddad klass i USA, vilket innebär att diskriminering på den grunden är olaglig. Andra skyddade klasser inkluderar kön, ålder och funktionshinder.
Nu när vi har separerat svarta och vita svarande har vi upptäckt att även om ras inte används för att beräkna COMPAS riskpoäng, har poängen olika felfrekvenser för de två grupperna. Vid standardtröskeln för COMPAS mellan 7 och 8 har 16 % av de svarta åtalade som inte blir återgripna i onödan fängslats, medan detsamma gäller för endast 7 % av de vita åtalade. Det verkar inte alls rättvist! Detta är precis vad ProPublica markerad i sin utredning.
Okej, så låt oss fixa detta.
Flytta varje tröskel så att vita och svarta åtalade i onödan fängslas i ungefär samma takt.
(Det finns ett antal lösningar. Vi har valt en, men du kan försöka hitta andra.)
Vi försökte nå Blackstones förhållande igen, så vi kom fram till följande lösning: vita svarande har en tröskel mellan 6 och 7, medan svarta svarande har en tröskel mellan 8 och 9. Nu ungefär 9 % av både svarta och vita svarande som har De som inte blir återgripna fängslas i onödan, medan 75 % av dem som gör det arresteras på nytt efter att inte ha tillbringat någon tid i fängelse. Bra jobbat! Din algoritm verkar mycket mer rättvis än COMPAS nu.
Men vänta - är det? I processen att matcha felfrekvensen mellan loppen förlorade vi något viktigt: våra trösklar för varje grupp är på olika ställen, så våra riskpoäng betyder olika saker för vita och svarta svarande.
Vita åtalade får fängelse för ett riskpoäng på 7, men svarta åtalade släpps för samma poäng. Än en gång verkar detta inte rättvist. Två personer med samma riskpoäng har samma sannolikhet att bli gripna på nytt, så borde de inte få samma behandling? I USA kan användning av olika trösklar för olika raser också leda till komplicerade rättsliga förhållanden frågor med det 14:e tillägget, likaskyddsklausulen i konstitutionen.
Så låt oss prova detta en gång till med en enda tröskel som delas mellan båda grupperna.
Flytta tröskeln igen så att vita och svarta åtalade fängslas i onödan i samma takt.
Om du blir frustrerad finns det goda skäl. Det finns ingen lösning.
Vi gav dig två definitioner av rättvisa: håll felfrekvensen jämförbar mellan grupper och behandla personer med samma riskpoäng på samma sätt. Båda dessa definitioner är helt försvarbara! Men att tillfredsställa båda samtidigt är omöjligt.
Anledningen är att svarta och vita åtalade grips på nytt i olika takt. Medan 52 % av de svarta åtalade greps på nytt i våra Broward County-data, var det bara 39 % av de vita åtalade. Det finns en liknande skillnad i många jurisdiktioner över hela USA, delvis på grund av landets historia av att polisen oproportionerligt riktar in sig på minoriteter (som vi tidigare nämnt).
Förutsägelser återspeglar data som används för att göra dem – oavsett om de är algoritmer eller inte. Om svarta åtalade arresteras i en högre takt än vita åtalade i den verkliga världen, kommer de att ha en högre andel förutspådda arresteringar också. Detta innebär att de också kommer att ha högre riskpoäng i genomsnitt, och en större andel av dem kommer att betecknas som högrisk— både korrekt och felaktigt . Detta är sant oavsett vilken algoritm används, så länge den är utformad så att varje riskpoäng betyder samma sak oavsett ras.
Denna märkliga konflikt mellan rättvisa definitioner är inte bara begränsad till riskbedömningsalgoritmer i det straffrättsliga systemet. Samma typer av paradoxer gäller för kreditvärdering, försäkringar och anställningsalgoritmer. I alla sammanhang där ett automatiserat beslutssystem måste fördela resurser eller straff mellan flera grupper som har olika resultat, kommer olika definitioner av rättvisa oundvikligen att visa sig vara ömsesidigt uteslutande.
Det finns ingen algoritm som kan fixa detta; detta är inte ens en algoritmisk problem, verkligen. Det är mänskliga domare för närvarande göra samma slags påtvingade avvägningar – och har gjort det genom historien.
Men här är vad en algoritm har ändrats. Även om domare kanske inte alltid är transparenta om hur de väljer mellan olika uppfattningar om rättvisa, kan människor bestrida sina beslut. Däremot är COMPAS, som görs av det privata företaget Northpointe, en affärshemlighet som inte kan granskas eller förhöras offentligt. De tilltalade kan inte längre ifrågasätta resultatet, och statliga myndigheter förlorar förmågan att granska beslutsprocessen. Det finns inget mer offentligt ansvar.
Så vad ska tillsynsmyndigheterna göra? Den föreslagna lagen om algoritmisk ansvarighet från 2019 är ett exempel på en bra start, säger Andrew Selbst, en juridikprofessor vid University of California som är specialiserad på AI och juridik. Lagförslaget, som syftar till att reglera partiskhet i automatiserade beslutssystem, har två anmärkningsvärda egenskaper som fungerar som mall för framtida lagstiftning. För det första skulle det kräva att företag granskar sina maskininlärningssystem för partiskhet och diskriminering i en konsekvensbedömning. För det andra specificerar den inte en definition av rättvisa.
Med en konsekvensanalys är man väldigt transparent med hur man som företag ställer sig till rättvisefrågan, säger Selbst. Det för tillbaka offentlig ansvarighet in i debatten. Eftersom rättvisa betyder olika saker i olika sammanhang, tillägger han, möjliggör att undvika en specifik definition den flexibiliteten.
Men huruvida algoritmer ska användas för att avgöra rättvisa i första hand är en komplicerad fråga. Maskinlärande algoritmer tränas på data som producerats genom historier om utanförskap och diskriminering, skriver Ruha Benjamin, docent vid Princeton University, i sin bok Race After Technology . Riskbedömningsverktyg är inte annorlunda. Den större frågan om att använda dem - eller alla algoritmer som används för att rangordna människor - är om de minskar befintliga orättvisor eller gör dem värre.
Selbst rekommenderar att du går tillväga med försiktighet: Närhelst du förvandlar filosofiska föreställningar om rättvisa till matematiska uttryck, tappar de sin nyans, sin flexibilitet, sin formbarhet, säger han. Det är inte att säga att några av effektiviteten med att göra det så småningom inte kommer att vara värt besväret. Jag har bara mina tvivel.
Ord och kod av Karen Hao och Jonathan Stray. Designrådgivning från Emily Luong och Emily Caulfield. Redigering av Niall Firth och Gideon Lichfield. Särskilt tack till Rashida Richardson från AI Now, Mutale Nkonde från Berkman Klein Center, och William Isaac från DeepMind för deras granskning och konsultation.
Korrektion: En tidigare version av artikeln länkade till information om ett riskbedömningsverktyg som skiljer sig från COMPAS. Den har tagits bort för att undvika förvirring.