AI skickar folk till fängelse – och gör fel

Ian Waldie/Getty Images

AI kanske inte verkar ha någon stor personlig inverkan om din vanligaste borstning med maskininlärningsalgoritmer är via Facebooks nyhetsflöde eller Googles sökranking. Men vid Data för Black Lives konferensen förra helgen satte teknologer, juridiska experter och samhällsaktivister saker i perspektiv med en diskussion om USA:s straffrättssystem. Där kan en algoritm bestämma ditt livs bana.

USA fängslar fler människor än något annat land i världen. I slutet av 2016, nästan 2,2 miljoner vuxna hölls i fängelser eller fängelser, och ytterligare 4,5 miljoner satt i andra kriminalvårdsanstalter. Med andra ord var 1 av 38 vuxna amerikaner under någon form av kriminalvårdsövervakning. Det mardrömslika i denna situation är en av de få frågor som förenar politiker på båda sidor av gången.

Under ett enormt tryck för att minska antalet fängelser utan att riskera en ökning av brottsligheten har rättssalar över hela USA använt sig av automatiserade verktyg i försök att blanda åtalade genom rättssystemet så effektivt och säkert som möjligt. Det är här AI-delen av vår berättelse börjar.

Polisavdelningar använder prediktiva algoritmer för att lägga strategier om vart de ska skicka sina led. Brottsbekämpande myndigheter använder ansiktsigenkänningssystem för att hjälpa till att identifiera misstänkta. Dessa metoder har fått en välförtjänt granskning för om de faktiskt förbättrar säkerheten eller helt enkelt vidmakthåller befintliga orättvisor. Forskare och medborgarrättsförespråkare , till exempel, har upprepade gånger visat att system för ansiktsigenkänning kan misslyckas spektakulärt, särskilt för mörkhyade individer – till och med för att kongressmedlemmar förväxlas med dömda brottslingar.

Men det överlägset mest kontroversiella verktyget kommer efter att polisen har gripit. Säg hej till kriminella riskbedömningsalgoritmer.

Riskbedömningsverktyg är utformade för att göra en sak: ta in detaljerna i en åtalads profil och spotta ut ett återfallspoäng – ett enda tal som uppskattar sannolikheten för att han eller hon kommer att begå återfall. En domare räknar sedan in det i en myriad av beslut som kan avgöra vilken typ av rehabiliteringstjänster vissa åtalade ska få, om de ska hållas i fängelse före rättegången och hur stränga deras straff ska vara. En låg poäng banar väg för ett snällare öde. En hög poäng gör precis tvärtom.

Logiken för att använda sådana algoritmiska verktyg är att om du exakt kan förutsäga kriminellt beteende kan du allokera resurser därefter, vare sig det gäller rehabilitering eller fängelsestraff. I teorin minskar det också eventuell fördom som påverkar processen, eftersom domare fattar beslut på grundval av datadrivna rekommendationer och inte deras magkänsla.

Du kanske redan har upptäckt problemet. Moderna riskbedömningsverktyg drivs ofta av algoritmer utbildade på historiska brottsdata.

Som vi har tagit upp tidigare använder maskininlärningsalgoritmer statistik för att hitta mönster i data. Så om du matar den med historiska brottsdata kommer den att välja ut mönstren som är förknippade med brott. Men de mönstren är statistiska korrelationer —inte i närheten av detsamma som orsakssamband . Om en algoritm till exempel fann att låg inkomst var korrelerad med hög återfall i brott, skulle det inte göra dig desto klokare på om låg inkomst faktiskt orsakade brott. Men det är precis vad riskbedömningsverktyg gör: de omvandlar korrelativa insikter till orsaksmässiga poängmekanismer.

Nu riskerar befolkningar som historiskt sett har varit oproportionerligt många av brottsbekämpande myndigheter – särskilt låginkomst- och minoritetsgrupper – att drabbas av höga återfallspoäng. Som ett resultat kan algoritmen förstärka och vidmakthålla inbäddade fördomar och generera ännu mer fördomsfulla data för att mata en ond cirkel. Eftersom de flesta riskbedömningsalgoritmer är proprietära, är det också omöjligt att förhöra deras beslut eller hålla dem ansvariga.

Debatten om dessa verktyg pågår fortfarande. Förra juli, mer än 100 medborgerliga rättigheter och samhällsbaserade organisationer, inklusive ACLU och NAACP, signerad ett uttalande som uppmanar till att inte använda riskbedömning. Samtidigt har fler och fler jurisdiktioner och stater, inklusive Kalifornien, vänt sig till dem i ett försök att åtgärda deras överbelastade fängelser och fängelser.

Datadriven riskbedömning är ett sätt att sanera och legitimera förtryckande system, sa Marbre Stahly-Butts, verkställande direktör för Law for Black Lives, på scenen på konferensen , som var värd på MIT Media Lab. Det är ett sätt att dra uppmärksamheten bort från de faktiska problemen som drabbar låginkomst- och minoritetssamhällen, som definansierade skolor och otillräcklig tillgång till hälso- och sjukvård.

Vi är inga risker, sa hon. Vi är behov.

Den här historien dök ursprungligen upp i vårt AI-nyhetsbrev The Algorithm. För att få den direkt levererad till din inkorg, prenumerera här gratis.

Dölj