211service.com
Inspektera algoritmer för bias
Domstolar, banker och andra institutioner använder automatiserade dataanalyssystem för att fatta beslut om ditt liv. Låt oss inte överlåta det till algoritmtillverkarna att avgöra om de gör det på rätt sätt. 12 juni 2017
Paul Delcan
Det var en slående historia. Machine Bias, rubriken läst och teasern förkunnade : Det finns programvara som används över hela landet för att förutsäga framtida brottslingar. Och det är partiskt mot svarta.
ProPublica, en Pulitzer-prisvinnande ideell nyhetsorganisation, hade analyserat riskbedömningsprogramvara känd som COMPAS. Den används för att förutsäga vilka brottslingar som är mest benägna att återfalla. Med ledning av sådana prognoser fattar domare i rättssalar i hela USA beslut om framtiden för åtalade och dömda, och bestämmer allt från borgensbelopp till straff. När ProPublica jämförde COMPAS riskbedömningar för mer än 10 000 personer arresterades i ett län i Florida med hur ofta dessa personer faktiskt fortsatte med att begå återfall, upptäckte den att algoritmen korrekt förutspådde återfall för svarta och vita åtalade i ungefär samma takt. Men när algoritmen var fel var den fel på olika sätt för svarta och vita. Närmare bestämt är det nästan dubbelt så stor risk för svarta som vita att märkas som en högre risk men att de faktiskt inte begår igen. Och COMPAS tenderade att göra det motsatta misstaget med vita: De är mycket mer benägna än svarta att märkas med lägre risk men fortsätter att begå andra brott.
Saker granskade
Maskinförspänning
ProPublica, 23 maj 2016
COMPAS Riskskalor: Visar noggrannhet och prediktiv paritet
Northpointe, 8 juli 2016
Tekniskt svar till Northpointe
ProPublica, 29 juli 2016
Falska positiva, falska negativa och falska analyser: en replik till 'Machine Bias'
Anthony Flores, Christopher Lowenkamp och Kristin Bechtel
10 augusti 2016
Den här historien var en del av vårt julinummer 2017
- Se resten av frågan
- Prenumerera
Huruvida det är lämpligt att använda system som COMPAS är en fråga som går längre än rasfördomar. USA:s högsta domstol kan snart ta upp fallet med en dömd i Wisconsin som säger att hans rätt till rättegång kränktes när domaren som dömde honom rådfrågade COMPAS, eftersom systemets funktion var ogenomskinlig för den tilltalade. Potentiella problem med andra automatiserade beslutssystem (ADM) finns också utanför rättssystemet. På basis av personlighetstest online hjälper ADM:er till att avgöra om någon är rätt person för ett jobb. Kreditvärderingsalgoritmer spelar en enorm roll i om du får ett bolån, ett kreditkort eller till och med de mest kostnadseffektiva mobiltelefonaffärerna.
Det är inte nödvändigtvis en dålig idé att använda riskbedömningssystem som COMPAS. I många fall kan ADM-system öka rättvisan. Mänskligt beslutsfattande är ibland så osammanhängande att det behöver övervakas för att få det i linje med våra normer för rättvisa. Som en särskilt oroväckande studie visade, var villkorlig dom mer sannolikt att fria straffångar om domarna bara hade haft en matrast. Detta hade förmodligen aldrig fallit domarna upp för. Ett ADM-system skulle kunna upptäcka sådana inkonsekvenser och förbättra processen.
Men ofta vet vi inte tillräckligt om hur ADM-system fungerar för att veta om de är rättvisare än vad människor skulle vara på egen hand. Delvis eftersom systemen gör val utifrån underliggande antaganden som inte är tydliga ens för systemens designers, är det inte nödvändigtvis möjligt att avgöra vilka algoritmer som är partiska och vilka som inte är det. Och även när svaret verkar klart, som i ProPublicas resultat om COMPAS, är sanningen ibland mer komplicerad.
Lagstiftare, domstolar och en informerad allmänhet bör bestämma vad vi vill att algoritmer ska prioritera.
Vad ska vi göra för att få bättre grepp om ADM? Demokratiska samhällen behöver mer tillsyn över sådana system än vad de har nu. AlgorithmWatch, en Berlin-baserad ideell organisation som jag grundade tillsammans med en datavetare, en rättsfilosof och en annan journalist, syftar till att hjälpa människor att förstå effekterna av sådana system. Det faktum att de flesta ADM-procedurer är svarta lådor för de personer som berörs av dem är ingen naturlag. Det måste ta slut, hävdar vi i vårt manifest . Ändå är vår syn på frågan annorlunda än många kritikers – eftersom vår rädsla är att tekniken skulle kunna demoniseras oförtjänt. Det som är viktigt är att samhällen, och inte bara algoritmtillverkare, gör de värdebedömningar som ingår i ADM.
Åtgärder för rättvisa
COMPAS bestämmer sina riskpoäng från svar till a frågeformulär som utforskar en åtalads kriminella historia och attityder om brott. Ger detta partiska resultat?
Efter ProPublicas undersökning bestred Northpointe, företaget som utvecklade COMPAS, historien och hävdade att journalisterna misstolkade uppgifterna. Det gjorde även tre forskare inom straffrättsliga frågor , inklusive en från en rättvisereformorganisation. Vem har rätt – reportrarna eller forskarna? Krishna Gummadi, chef för Networked Systems Research Group vid Max Planck Institute for Software Systems i Saarbrücken, Tyskland, ger ett överraskande svar: det är de alla.
Gummadi, som mycket har undersökt rättvisa i algoritmer, säger att ProPublicas och Northpointes resultat inte motsäger varandra. De skiljer sig åt eftersom de använder olika mått på rättvisa.
Om de används på rätt sätt erbjuder straffrättsliga algoritmer chansen för en generation, och kanske en livstid, att reformera straffmätningen och varva ner massfängelse på ett vetenskapligt sätt.
Föreställ dig att du designar ett system för att förutsäga vilka brottslingar som kommer att begå återfall. Ett alternativ är att optimera för sanna positiva effekter, vilket innebär att du kommer att identifiera så många personer som möjligt som löper stor risk att begå ett annat brott. Ett problem med detta tillvägagångssätt är att det tenderar att öka antalet falska positiva: människor som orättvist kommer att klassas som sannolika återfallsförbrytare. Urtavlan kan justeras för att ge så få falska positiva resultat som möjligt, men det tenderar att skapa fler falska negativa: sannolikt återfallsförbrytare som glider igenom och får en mildare behandling än vad som är motiverat.
Att höja förekomsten av sanna positiva eller sänka de falska positiva är båda sätten att förbättra ett statistiskt mått som kallas positivt prediktivt värde, eller PPV. Det är procentandelen av alla positiva som är sanna.
Som Gummadi påpekar jämförde ProPublica falska positiva siffror och falska negativa siffror för svarta och vita och fann att de var snedställda till förmån för vita. Northpointe däremot jämförde PPV för olika raser och fann att de var lika. Delvis eftersom återfallsfrekvensen för svarta och vita faktiskt skiljer sig, är det matematiskt troligt att de positiva prediktiva värdena för människor i varje grupp kommer att vara liknande medan andelen falska negativa inte är det.
En sak som detta säger oss är att det bredare samhället – lagstiftare, domstolar, en informerad allmänhet – bör bestämma vad vi vill att sådana algoritmer ska prioritera. Är vi främst intresserade av att ta så få chanser som möjligt att någon hoppar över borgen eller återfaller? Vilka avvägningar bör vi göra för att säkerställa rättvisa och sänka de enorma sociala kostnaderna för fängelse?
Oavsett på vilket sätt ratten är inställda, kommer alla algoritmer att ha fördomar - det är trots allt att göra en förutsägelse baserad på generaliserad statistik, inte på någons individuella situation. Men vi kan fortfarande använda sådana system för att vägleda beslut som är klokare och mer rättvisa än de som människor tenderar att fatta på egen hand.
Kontroversen kring New York Police Departments stop-and-frisk-praxis hjälper till att visa varför. Mellan januari 2004 och juni 2012 genomförde polisen i New York 4,4 miljoner stopp under ett program som gjorde det möjligt för poliser att tillfälligt kvarhålla, förhöra och genomsöka människor på gatan efter vapen och annat smuggelgods. Men i själva verket resulterade 88 procent av de 4,4 miljoner stoppen i ingen ytterligare åtgärd – vilket betyder att en stor majoritet av de stoppade inte gjorde något fel, New York Times sa i en ledare som förnekar praktiken. Vad mer: I cirka 83 procent av fallen var personen som stoppades svart eller latinamerikansk, även om de två grupperna stod för drygt halva befolkningen. Detta exempel på mänsklig fördom, belyst genom dataanalys, är en påminnelse om att ADM-system skulle kunna spela en positiv roll i straffrättsliga frågor. Rätt använda ger de chansen för en generation, och kanske en livstid, att reformera straffmätningen och varva ner massfängelse på ett vetenskapligt sätt, enligt Anthony Flores, Christopher Lowenkamp och Kristin Bechtel, tre forskare som fann brister i metodiken som ProPublica används för att analysera COMPAS. Författarna oroar sig för att denna möjlighet försvinner på grund av felaktig information och missförstånd om tekniken.
Men om vi accepterar att algoritmer kan göra livet mer rättvist om de är väldesignade, hur kan vi då veta om de är så utformade?
Demokratiska samhällen borde arbeta nu för att avgöra hur mycket transparens de förväntar sig av ADM-system. Behöver vi nya regler för programvaran för att säkerställa att den kan inspekteras korrekt? Lagstiftare, domare och allmänheten bör ha inflytande över vilka rättvisemått som prioriteras av algoritmer. Men om algoritmerna inte faktiskt återspeglar dessa värdebedömningar, vem kommer att hållas ansvarig?
Det här är de svåra frågorna vi behöver besvara om vi förväntar oss att dra nytta av framsteg inom algoritmisk teknik.
Matthias Spielkamp är verkställande direktör för AlgorithmWatch, en påverkansgrupp som analyserar riskerna och möjligheterna med automatiserat beslutsfattande.