211service.com
Polisen över hela USA tränar brottsförutsägande AI:er på förfalskade data
David McNew/Personal
I maj 2010, föranledd av en rad uppmärksammade skandaler, bad borgmästaren i New Orleans det amerikanska justitiedepartementet att undersöka stadens polisavdelning (NOPD). Tio månader senare erbjöd DOJ sitt blåsbildningsanalys : under översynsperioden från 2005 och framåt hade NOPD upprepade gånger brutit mot konstitutionell och federal lag.
Den använde överdrivet våld och oproportionerligt mycket mot svarta invånare; målinriktade rasminoriteter, icke-engelsktalande som modersmål och HBTQ-individer; och misslyckades med att ta itu med våld mot kvinnor. Problemen, sa assisterande justitieminister Thomas Perez vid den tiden, var seriösa, omfattande, systemiska och djupt rotade inom avdelningens kultur.
Trots de oroande fynden gick staden in i ett hemligt partnerskap bara ett år senare med datautvinningsföretaget Palantir för att implementera ett förutsägande polissystem. Systemet använde historiska data, inklusive arresteringsprotokoll och elektroniska polisrapporter, för att förutsäga brott och hjälpa till att forma strategier för allmän säkerhet, enligt företag och stadsstyrelsen material. Dessa material antydde inte vid något tillfälle några försök att rensa eller ändra data för att åtgärda de överträdelser som avslöjats av DOJ. Med all sannolikhet matades den korrupta informationen direkt in i systemet, vilket förstärkte avdelningens diskriminerande praxis.
Algoritmer för förutsägande polisarbete har blivit vanligare i städer över hela USA. Även om bristen på transparens gör exakt statistik svår att fastställa, PredPol, en ledande leverantör, skryter att det hjälper till att skydda 1 av 33 amerikaner. Mjukvaran nämns ofta som ett sätt att hjälpa tunt utdragna polisavdelningar att fatta mer effektiva, datadrivna beslut.
Men ny forskning tyder på att det inte bara är New Orleans som har tränat dessa system med smutsig data. I en papper släpptes idag, för att publiceras i NYU Law Review, fann forskare vid AI Now Institute, ett forskningscenter som studerar den sociala effekten av artificiell intelligens, att problemet var genomgående bland de jurisdiktioner som de studerade. Detta har betydande konsekvenser för effektiviteten av prediktiv polisverksamhet och andra algoritmer som används i det straffrättsliga systemet.
Ditt system är bara så bra som de data du använder för att träna det på, säger Kate Crawford, medgrundare och meddirektör för AI Now och författare till studien. Om uppgifterna i sig är felaktiga kommer det att leda till att fler polisresurser fokuseras på samma överbevakade och ofta rasorienterade samhällen. Så vad du har gjort är faktiskt en typ av teknisk tvättning där människor som använder dessa system antar att de på något sätt är mer neutrala eller objektiva, men i själva verket har de inarbetat en form av grundlagsstridighet eller olaglighet.
Forskarna undersökte 13 jurisdiktioner, med fokus på de som har använt prediktiva polissystem och varit föremål för en utredning på uppdrag av regeringen. Det senare kravet säkerställde att polisverksamheten hade juridiskt verifierbar dokumentation. I nio av jurisdiktionerna hittade de starka bevis för att systemen hade tränats på smutsig data.
Problemet var inte bara data som var skeva av oproportionerlig inriktning på minoriteter, som i New Orleans. I vissa fall hade polisavdelningar en kultur av att medvetet manipulera eller förfalska uppgifter under intensiva politiska påtryckningar för att få ner den officiella brottsligheten. I New York, till exempel, för att på konstgjord väg tömma brottsstatistiken, bad befälhavarna regelbundet offren på brottsplatserna att inte lämna in klagomål. Vissa poliser planterade till och med droger på oskyldiga människor för att uppfylla sina kvoter för arresteringar. I dagens förutsägande polissystem, som är beroende av maskininlärning för att förutsäga brott, blir dessa korrupta datapunkter legitima prediktorer.
Uppsatsens resultat ifrågasätter giltigheten av prediktiva polissystem. Leverantörer av sådan programvara hävdar ofta att de partiska resultaten av deras verktyg är lätta att fixa, säger Rashida Richardson, chef för policyforskning vid AI Now och huvudförfattare till studien. Men i alla dessa fall finns det någon typ av systemproblem som återspeglas i data, säger hon. Botemedlet skulle därför kräva mycket mer än att bara ta bort ett eller två fall av dåligt beteende. Det är inte så lätt att separera bra data från dåliga data eller bra poliser från dåliga poliser, tillägger Jason Schultz, institutets forskningsledare för juridik och politik, en annan författare till studien.
Leverantörer hävdar också att de undviker data som mer sannolikt återspeglar fördomar, såsom narkotikarelaterade arresteringar, och väljer istället utbildningsinput som 911-samtal. Men forskarna hittade lika mycket partiskhet i de förment mer neutrala uppgifterna. Dessutom fann de att leverantörer aldrig självständigt granskar data som matas in i deras system.
Relaterad berättelse
Relaterad berättelse Att använda historiska data för att träna riskbedömningsverktyg kan innebära att maskiner kopierar det förflutnas misstag.Uppsatsen kastar ljus över andra debatter som rasar i USA om användningen av verktyg för riskbedömning av kriminella risker, som också använder maskininlärning för att avgöra allt från åtalades öde under rättegången till straffens svårighetsgrad. De uppgifter vi diskuterar i det här dokumentet är inte bara isolerade till polisarbete, säger Richardson. Det används i hela det straffrättsliga systemet.
För närvarande har mycket av debatten fokuserat på mekaniken i själva systemet – huruvida det kan utformas för att ge matematiskt rättvisa resultat. Men forskarna understryker att det är fel fråga. Att separera algoritmfrågan från det sociala system den är ansluten till och inbäddad i kommer inte så långt, säger Schultz. Vi måste verkligen erkänna gränserna för den typen av matematiska, beräkningsbaserade försök att ta itu med partiskhet.
Framöver hoppas forskarna att deras arbete kommer att bidra till att omformulera debatten så att den fokuserar på det bredare systemet snarare än själva verktyget. De hoppas också att det kommer att få regeringar att skapa mekanismer som t.ex ramverk för algoritmisk konsekvensbedömning institutet som släpptes förra året, för att ge mer transparens, ansvarighet och tillsyn när det gäller användningen av automatiserade verktyg för beslutsfattande.
Om de sociala och politiska mekanismerna som genererar smutsiga data inte reformeras, kommer sådana verktyg bara att göra mer skada än nytta, säger de. När folk väl inser det, kanske debatten äntligen kommer att övergå till sätt vi kan använda maskininlärning och andra tekniska framsteg för att faktiskt stoppa grundorsaken till [brottslighet], säger Richardson. Kanske kan vi lösa fattigdom och arbetslöshet och bostadsfrågor med hjälp av statlig data på ett mer fördelaktigt sätt.