211service.com
Hemliga algoritmer hotar rättsstaten
Att förutsäga och forma vad du kommer att göra härnäst – oavsett om du är shoppare, arbetare eller väljare – är en stor sak för datadrivna företag. Men ska deras metoder också informera domare och åklagare? Ett ambitiöst program för att förutsäga återfall i brott bland dömda är att föra algoritmiska riskbedömningar till amerikanska domstolar.
Dessa bedömningar är en förlängning av en trend mot instrument för aktuariella prognoser för återfallsrisk. De kan verka vetenskapliga, en injektion av beräkningsrationalitet i ett straffrättssystem fyllt av diskriminering och ineffektivitet. Men de är oroande av flera skäl: många är hemligt beräknade; de förnekar korrekt process och begripliga förklaringar till svarande; och de främjar en krabbig och omänsklig vision av straffens roll i samhället.
Låt oss börja med sekretess - en faktor som uppenbarligen har oroat till och med Högsta domstolen i fallet med företaget Northpointes COMPAS riskpoäng. I Loomis mot Wisconsin , avslog en domare en stämningsuppgörelse och dömde en åtalad (Loomis) till ett hårdare straff delvis eftersom en COMPAS-riskpoäng ansåg att han hade en högre risk än genomsnittet att återfalla. Loomis överklagade domen och hävdade att varken han eller domaren kunde granska formeln för riskbedömningen – det var en affärshemlighet.
Frank Pasquale
Delstaten Wisconsin motsatte sig att Northpointe krävde att den skulle hålla algoritmerna konfidentiella, för att skydda företagets immateriella rättigheter. Och Wisconsin Supreme Court fastställde Loomis dom och resonerade att riskbedömningen bara var en del av motiveringen för domen. Den ville fortsätta att ge domare möjligheten att ta hänsyn till COMPAS-poängen som en del av sin straffmätning, även om de inte hade någon aning om hur det beräknades.
Advokater , akademiker och aktivister ifrågasätter nu det resonemanget. Rättsliga processer är i stort sett öppna för allmänheten. Domare ska motivera sina viktigaste handlingar, till exempel straff. När en algoritmisk poängprocess hålls hemlig är det det omöjligt att utmana nyckelaspekter av det. Hur väger algoritmen olika datapunkter och varför? Var och en av dessa förfrågningar är avgörande för två grundläggande rättsliga principer: korrekt process och förmågan att på ett meningsfullt sätt överklaga ett negativt beslut.
En korrekt process är ett öppet koncept, men avgörande för legitima rättssystem. Denna grundläggande konstitutionella princip ger tilltalade rätt att förstå vad de anklagas för och vad bevisen mot dem är. En hemlig riskbedömningsalgoritm som erbjuder en fördömande poäng är analog med bevis som erbjuds av en anonym expert , som man inte kan korsförhöra. Varje domstol som är medveten om grundläggande rättsstatsprinciper, såväl som femte och fjortonde ändringsprinciperna för meddelande och förklaring av beslut, skulle vara mycket försiktig med att tillåta en stat att basera straff (även om bara delvis) på en hemlig algoritm.
Två former av automationsbias hotar också rätten till ett meningsfullt överklagande. Domare är alltför sannolikt att anta att kvantitativa metoder är överlägsna vanliga verbala resonemang, och att reducera den aktuella uppgiften (straffutmätning) till en tillämpning av de kvantitativa uppgifter som finns om återfallsrisk. Båda svaren undergräver den komplexitet och det humana omdöme som krävs för att döma ut.
Ännu värre, när företag erbjuder kommersiella skäl för att hålla sin hemliga sås borta från allmänhetens ögon, har domstolar varit angelägna om att skydda företagshemligheterna för poänggivande företag. Den tendensen är bekymmersam i privata sammanhang , eftersom kommersiella kränkningar kan begås ostraffat tack vare opaciteten hos rangordnings- och klassificeringssystem. Även i samband med röstning , har myndigheterna varit tröga med att kräva programvara som är kontrollerbar och begriplig av utomstående . Ändå borde fallet med straffrättsligt straff vara en bro för långt för samvetsgranna domare - och det förklarar förmodligen USA:s högsta domstols intressera i Loomis. Att skicka någon i fängelse tack vare de oförklarliga, obestridliga domarna från ett hemligt datorprogram är för Svart spegel för även hårda försvarare av företagsprivilegier.
Dessutom finns det alternativ mellan fullständig algoritmisk sekretess och fullständig offentliggörande. Som jag förklarade 2010 är kvalificerad transparens en väletablerad metod för att göra det möjligt för vissa experter att bedöma skyddade affärshemligheter (inklusive företagens kod och data) för att testa ett systems kvalitet, giltighet och tillförlitlighet. Tänk på en speciell mästare i ett rättsfall, eller Secure Compartmented Information Facilities för underrättelsetjänster. Regeringar bör som ett minimum inte använda algoritmer som COMPAS-poängen utan någon form av extern kvalitetssäkring som möjliggörs av kvalificerad transparens.
Men sekretess är inte det enda problemet här. Antag att algoritmisk riskbedömning så småningom blir mer offentlig, med helt transparenta formler och data. Det finns fortfarande allvarliga farhågor kring användningen av evidensbaserad straffmätning, eftersom kvantitativ prediktiv analys ofta marknadsförs i straffrättsliga sammanhang.
Det har till exempel rättsvetaren Sonja Starr hävdade att det som verkligen är avgörande i straffmätningssammanhanget inte bara är återfall i sig självt, utan skillnaden som ett längre fängelsestraff kommer att göra för sannolikheten för att en dömd kommer att begå återfall. Algoritmisk riskbedömning kan så småningom bli mycket bra på att förutsäga återfall, men vad sägs om en riskbedömning av riskbedömningen i sig – det vill säga risken för att ett längre straff för en högriskbrottsling kan bli en självuppfyllande profetia, givet den kriminogena miljön av många fängelser?
Det finns också ett värde i narrativ förståelighet i rangordningen och betygsättningen av människor. Företag marknadsanalyser för att förutsäga inte bara sannolikheten för kriminell återfall i brott, utan också chanserna att en given person kommer att psykiskt sjuka , en dålig anställd , till underkänd elev , till kriminell , eller a terrorist . Även om vi kan lägga undan de självuppfyllande profetiorna som tagits upp ovan, bör dessa bedömningar endast användas med största försiktighet. När de en gång användes för att ge råd till polis, DHS, lärare eller chefer, är de inte bara åsikter som cirkulerar i ett fritt flöde av idéer. Snarare kan de ha direkt inverkan på människors försörjning, frihet och utbildning. Om de inte kan förklaras på ett narrativt begripligt sätt, kanske de inte ska användas alls utan direkt medgivande från den som de utvärderar.
Denna åsikt kanske inte passar dem som ser artificiell intelligens som nästa steg i mänsklig evolution. Robotikern Hod Lipson minnesvärt jämfört ansträngningar för att göra avancerad algoritmisk informationsbehandling förståelig för människor för att förklara Shakespeare för en hund. Men denna laddade metafor döljer mer än den avslöjar. Åtminstone för nu är det människor som har ansvaret för regeringar och kan kräva förklaringar till beslut på naturligt språk, inte datorkod. Att misslyckas med att göra det i det kriminella sammanhanget riskerar att avstå i sig statliga och juridiska funktioner till en oansvarig beräkningselit.
Frank Pasquale är professor i juridik vid University of Maryland och författare till The Black Box Society .