211service.com
Förutsägande polisalgoritmer är rasistiska. De måste demonteras.
Franziska Barczyk
Yeshimabeit Milner gick i gymnasiet första gången hon såg barn hon kände bli handfängsel och stoppad in i polisbilar. Det var den 29 februari 2008, och rektorn för en närliggande skola i Miami, med en majoritet av haitisk och afroamerikansk befolkning, hade satt en av sina elever i ett strypgrepp. Nästa dag arrangerade flera dussin barn en fredlig demonstration. Det gick inte bra.
Den kvällen startade Miamis NBC 6 News at Six med ett segment som heter Chaos on Campus. (Det finns en klipp på YouTube .) Spänningarna är höga på Edison Senior High efter att en kamp för rättigheter slutar i en kamp med lagen, sa sändningen. Klippt till suddiga telefonfilmer av skrikande tonåringar: Kaoset du ser är ett totalt bråk inne i skolans cafeteria.
Studenter berättade för reportrar att polisen slog dem med batonger, kastade dem på golvet och tryckte upp dem mot väggar. Polisen hävdade att det var de som blev attackerade – med vattenflaskor, läsk, mjölk och så vidare – och efterlyste akut backup. Omkring 25 studenter greps, och många anklagades för flera brott, inklusive att göra motstånd mot arrestering med våld. Milner minns att hon tittade på TV och såg att barn som hon hade gått i grundskolan med blev omhändertagna. Det var så galet, säger hon.
'Det finns en lång historia av att data beväpnas mot svarta samhällen.'
För Milner var händelserna den dagen och de långsiktiga konsekvenserna för de arresterade avgörande. Strax efter, medan hon fortfarande gick i skolan, engagerade hon sig i databaserad aktivism och dokumenterade medstudenters erfarenheter av rasistisk polisverksamhet. Hon är nu chef för Data för Black Lives , en digital rättighetsorganisation på gräsrotsnivå som hon var med och grundade 2017. Det hon lärde sig som tonåring drev henne in i ett liv av att slå tillbaka mot partiskhet i det straffrättsliga systemet och att demontera vad hon kallar rörledningen skola till fängelse. Det finns en lång historia av att data beväpnas mot svarta samhällen, säger hon.
Ojämlikhet och missbruk av polismakt gör det inte bara spela ute på gatan eller under skolupplopp. För Milner och andra aktivister ligger fokus nu på var det finns störst potential för långvarig skada: förutsägande polisverktyg och missbruk av data från polisstyrkor. Ett antal studier har visat att dessa verktyg vidmakthålla systemisk rasism , och ändå vet vi fortfarande väldigt lite om hur de fungerar, vem som använder dem och i vilket syfte. Allt detta måste förändras innan en ordentlig beräkning kan ske. Som tur är kan tidvattnet vända.
Det finns två breda typer av förutsägande polisverktyg. Platsbaserade algoritmer bygger på kopplingar mellan platser, händelser och historiska brottsfrekvenser för att förutsäga var och när det är mer sannolikt att brott kommer att inträffa – till exempel under vissa väderförhållanden eller vid stora sportevenemang. Verktygen identifierar hot spots och polisen planerar patruller kring dessa tips. En av de vanligaste, kallad PredPol, som används av dussintals städer i USA , delar upp platser i block på 500 x 500 fot och uppdaterar sina förutsägelser under hela dagen - en slags väderprognos för brott.
Andra verktyg bygger på data om människor, såsom deras ålder, kön, civilstånd, historia av drogmissbruk och brottsregister, för att förutsäga vem som har en stor chans att vara inblandad i framtida kriminell verksamhet. Dessa personbaserade verktyg kan användas antingen av polisen, för att ingripa innan ett brott äger rum, eller av domstolar, för att avgöra under förhör eller straffmätning om någon som har gripits sannolikt kommer att begå brott på nytt. Till exempel, ett verktyg som heter COMPAS, som används i många jurisdiktioner för att hjälpa till att fatta beslut om frigivning före rättegång och straff, ger en statistisk poäng mellan 1 och 10 för att kvantifiera hur sannolikt det är att en person blir gripen på nytt om han släpps.
Problemet ligger i de data som algoritmerna matar på. För det första är prediktiva algoritmer lätt förvrängda av arresteringsfrekvenser. Enligt US Department of Justice siffror är du det mer än dubbelt så stor risk att gripas om du är svart än om du är vit. En svart person har fem gånger så stor sannolikhet att stoppas utan skälig orsak som en vit person. Massgripandet på Edison Senior High var bara ett exempel på en typ av oproportionerlig polisrespons som inte är ovanlig i svarta samhällen.
Barnen som Milner såg när de arresterades höll på att få en livstids partisk bedömning på grund av det arresteringsprotokollet. Men det var inte bara deras egna liv som påverkades den dagen. Data som genererades av deras arresteringar skulle ha matats in i algoritmer som oproportionerligt skulle rikta in sig på alla unga svarta människor som algoritmerna bedömde. Även om algoritmerna enligt lag inte använder ras som en prediktor, fungerar andra variabler, såsom socioekonomisk bakgrund, utbildning och postnummer, som proxy. Även utan att uttryckligen ta hänsyn till ras är dessa verktyg rasistiska.
Det är därför, för många, själva konceptet med förutsägande polisarbete i sig själva problemet. Författaren och akademikern Dorothy Roberts , som studerar juridik och sociala rättigheter vid University of Pennsylvania, uttryckte det väl i en paneldiskussion online i juni. Rasism har alltid handlat om att förutsäga, om att få vissa rasgrupper att verka som om de är benägna att göra dåliga saker och därför motiverar att kontrollera dem, sa hon.
Riskbedömningar har varit en del av det straffrättsliga systemet i decennier. Men polisavdelningar och domstolar har använt sig mer av automatiserade verktyg under de senaste åren, av två huvudsakliga skäl. För det första har budgetnedskärningar lett till effektivisering. Folk ringer för att definansiera polisen, men de har redan blivit definansierade, säger Milner. Städer har gått sönder i åratal och de har ersatt poliser med algoritmer. Exakta siffror är svåra att få fram, men prediktiva verktyg tros användas av polisstyrkor eller domstolar i de flesta amerikanska stater.
Det andra skälet till den ökade användningen av algoritmer är den utbredda uppfattningen att de är mer objektiva än människor: de introducerades först för att göra beslutsfattandet i det straffrättsliga systemet mer rättvist. Från och med 1990-talet använde tidiga automatiserade tekniker regelbaserade beslutsträd, men idag görs förutsägelse med maskininlärning.
LERBANKAR VIA UNSPLASHÄn ökande bevis tyder på att mänskliga fördomar har bakats in i dessa verktyg eftersom maskininlärningsmodellerna är tränade på partisk polisdata. Långt ifrån att undvika rasism, kan de helt enkelt vara bättre på att dölja den. Många kritiker ser nu dessa verktyg som en form av tech-washing , där ett faner av objektivitet täcker mekanismer som vidmakthåller orättvisor i samhället.
Det är egentligen bara under de senaste åren som människors syn på dessa verktyg har skiftat från att vara något som kan lindra partiskhet till något som kan befästa det, säger Alice Xiang , en advokat och datavetare som leder forskning om rättvisa, transparens och ansvarsskyldighet vid Partnership on AI. Dessa fördomar har förvärrats sedan den första generationen av förutsägelseverktyg dök upp för 20 eller 30 år sedan. Vi tog dålig data i första hand, och sedan använde vi verktyg för att göra det värre, säger Katy Weathington , som studerar algoritmisk bias vid University of Colorado Boulder. Det har bara varit en självförstärkande loop om och om igen.
Saker och ting kan bli värre. I kölvattnet av protester mot polisens partiskhet efter George Floyds död i händerna på en polis i Minneapolis, fördubblar vissa polisavdelningar sin användning av prediktiva verktyg. För en månad sedan skickade New Yorks polischef Dermot Shea ett brev till sina poliser. I det rådande klimatet måste vi bekämpa brottslighet annorlunda, skrev han. Vi kommer att göra det med färre gatustopp – kanske utsätta dig för mindre fara och ansvar – samtidigt som vi bättre använder data, intelligens och all teknik som står till vårt förfogande... Det betyder för NYPD:s del att vi fördubblar vår precision- polisinsatser.
Polisen gillar idén med verktyg som ger dem en heads-up och låter dem ingripa tidigt eftersom de tror att det håller nere brottsligheten, säger polisen. Rashida Richardson , chef för policyforskning vid AI Now Institute. Men i praktiken kan deras användning kännas som trakasserier. Forskare har funnit att vissa polisavdelningar ger poliser listor över de mest eftersökta personer som verktyget identifierar som högrisk. Detta kom först fram när människor i Chicago rapporterade att polisen hade knackat på deras dörr och berättat för dem att de blev övervakade. I andra delstater, säger Richardson, varnade polisen personer på listorna att de löpte stor risk att bli inblandade i gängrelaterad brottslighet och bad dem vidta åtgärder för att undvika detta. Om de senare greps för någon typ av brott, använde åklagare den tidigare varningen för att söka högre åtal. Det är nästan som en digital form av infångning, där man ger folk lite vag information och sedan håller den emot dem, säger hon.
'Det är nästan som en digital form av fångst.'
Likaså studier — inklusive en på uppdrag av den brittiska regeringens Center for Data Ethics and Innovation förra året – föreslå att identifiering av vissa områden som hot spots gör att officerare förväntar sig problem när de är på patrull, vilket gör dem mer benägna att stoppa eller arrestera människor där på grund av fördomar snarare än behov.
Ett annat problem med algoritmerna är att många utbildades på vita befolkningar utanför USA, delvis för att brottsregister är svåra att få tag på i olika amerikanska jurisdiktioner. Static 99, ett verktyg utformat för att förutsäga återfall bland sexualförbrytare, utbildades i Kanada, där endast cirka 3 % av befolkningen är svarta jämfört med 12 % i USA. Flera andra verktyg som används i USA utvecklades i Europa, där 2% av befolkningen är svarta. På grund av skillnaderna i socioekonomiska förhållanden mellan länder och befolkningar är verktygen sannolikt mindre exakta på platser där de inte utbildats. Dessutom använder vissa förstudiealgoritmer som tränats för många år sedan fortfarande prediktorer som är inaktuella. Till exempel förutspår vissa fortfarande att en tilltalad som inte har en fast telefon är mindre benägna att dyka upp i domstol.
Men fungerar dessa verktyg, även om de inte är perfekta? Det beror på vad du menar med jobb. Generellt sett är det praktiskt taget omöjligt att särskilja användningen av förutsägande polisverktyg från andra faktorer som påverkar kriminalitet eller fängelsetal. Ändå har en handfull små studier dragit begränsade slutsatser. Vissa visar tecken på att domstolarnas användning av riskbedömningsverktyg har haft en mindre positiv inverkan. A 2016 studie av ett maskininlärningsverktyg som används i Pennsylvania för att informera om villkorlig frigivning hittade inga bevis för att den äventyrade den allmänna säkerheten (det vill säga att den korrekt identifierade högriskindivider som inte borde villkorligas) och några bevis för att den identifierade ickevåldsmänniskor som säkert kunde friges.
Rashida Richardson är chef för policyforskning vid AI Now Institute. Hon har tidigare lett arbetet med de juridiska frågorna kring integritet och övervakning på American Civil Liberties Union.
MED TILLSTÅND AV AI NUEn annan studie, 2018, tittade på ett verktyg som används av domstolarna i Kentucky och fann att även om riskpoängen tolkades inkonsekvent mellan länen, vilket ledde till skillnader i vem som var och inte släpptes, skulle verktyget ha något minskat fängelsefrekvensen om det hade använts på rätt sätt. Och American Civil Liberties Union rapporterar att ett bedömningsverktyg som antogs som en del av 2017 års New Jersey Criminal Justice Reform Act ledde till en 20 % minskning av antalet personer som fängslades i väntan på rättegång .
Förespråkare för sådana verktyg säger att algoritmer kan vara mer rättvisa än mänskliga beslutsfattare, eller åtminstone göra orättvisor tydliga. I många fall, särskilt vid förhör med borgen före rättegången, förväntas domare att skynda sig igenom många dussintals fall på kort tid. I en studie av förhör i Cook County, Illinois, fann forskare att domare i genomsnitt bara ägnade 30 sekunder åt att överväga varje fall.
Under sådana förhållanden är det rimligt att anta att domare fattar snabba beslut åtminstone delvis drivna av deras personliga fördomar. Melissa Hamilton vid University of Surrey i Storbritannien, som studerar juridiska frågor kring riskbedömningsverktyg, är kritisk till deras användning i praktiken men tror att de kan göra ett bättre jobb än människor i princip. Alternativet är en mänsklig beslutsfattares black-box-hjärna, säger hon.
Men det finns ett uppenbart problem. Häktningsdata som används för att träna prediktiva verktyg ger inte en korrekt bild av kriminell aktivitet. Häktningsdata används eftersom det är vad polisen registrerar. Men arresteringar leder inte nödvändigtvis till fällande domar. Vi försöker mäta människor som begår brott, men allt vi har är uppgifter om arresteringar, säger Xiang.
'Vi försöker mäta människor som begår brott, men allt vi har är uppgifter om arresteringar.'
Dessutom kodar arresteringsdata mönster av rasistiskt polisbeteende. Som ett resultat är de mer benägna att förutsäga en hög potential för brott i minoritetskvarter eller bland minoritetsmänniskor. Även när uppgifter om arrestering och brott matchar, finns det en myriad av socioekonomiska orsaker till att vissa befolkningsgrupper och vissa stadsdelar har högre historiska brottsfrekvenser än andra. Genom att mata in dessa data i prediktiva verktyg kan det förflutna forma framtiden.
Vissa verktyg använder också data om var ett samtal till polisen har gjorts, vilket är en ännu svagare återspegling av faktiska brottsmönster än häktningsdata, och en ännu mer förvrängd av rasistiska motiv . Överväga fallet med Amy Cooper , som ringde polisen helt enkelt för att en svart fågelskådare, Christian Cooper, bad henne att sätta sin hund i koppel i New Yorks Central Park.
Bara för att det finns ett samtal om att ett brott inträffade betyder det inte att ett brott faktiskt har inträffat, säger Richardson. Om samtalet blir en datapunkt för att motivera utskick av polis till ett specifikt område, eller till och med rikta in sig på en specifik individ, får du en återkopplingsslinga där datadrivna tekniker legitimerar diskriminerande polisarbete.
Eftersom fler kritiker hävdar att dessa verktyg inte är lämpliga för syftet, finns det krav på en sorts algoritmisk positiv särbehandling, där partiskheten i data uppvägs på något sätt. Ett sätt att göra detta för riskbedömningsalgoritmer, i teorin, skulle vara att använda differentiella risktrösklar - tre arresteringar för en svart person kan indikera samma risknivå som, säg, två arresteringar för en vit person.
Detta var ett av tillvägagångssätten som undersöktes i en studie publicera d i maj av Jennifer Skeem, som studerar offentlig politik vid University of California, Berkeley, och Christopher Lowenkamp, en samhällsvetenskaplig analytiker vid förvaltningskontoret för de amerikanska domstolarna i Washington, DC. Paret tittade på tre olika alternativ för att ta bort bias i algoritmer som hade bedömt risken för återfall för omkring 68 000 deltagare, hälften vita och hälften svarta. De fann att den bästa balansen mellan raser uppnåddes när algoritmer explicit tog hänsyn till ras – vilket befintliga verktyg är lagligt förbjudna att göra – och tilldelade svarta människor en högre tröskel än vita för att anses vara högrisk.
Naturligtvis är denna idé ganska kontroversiell. Det innebär i huvudsak att manipulera uppgifterna för att förlåta en del av brotten på grund av förövarens ras, säger Xiang: Det är något som gör människor väldigt obekväma. Tanken på att hålla medlemmar i olika grupper till olika standarder går emot många människors känsla av rättvisa, även om det görs på ett sätt som är tänkt att ta itu med historisk orättvisa. (Du kan prova denna avvägning själv i vår interaktiv berättelse om algoritmisk fördom i det straffrättsliga systemet , som låter dig experimentera med en förenklad version av COMPAS-verktyget.)
Hur som helst är det amerikanska rättssystemet inte redo att föra en sådan diskussion. Juristkåren har legat långt bakom bollen när det gäller dessa riskbedömningsverktyg, säger Hamilton. De senaste åren har hon gett utbildningar för advokater och upptäckt att försvarsadvokater ofta inte ens är medvetna om att deras klienter bedöms på detta sätt. Om du inte är medveten om det kommer du inte att utmana det, säger hon.
Bristen på medvetenhet kan skyllas på den grumliga helhetsbilden: brottsbekämpande myndigheter har varit så fåniga om hur de använder dessa tekniker att det är väldigt svårt för någon att bedöma hur väl de fungerar. Även när information finns tillgänglig är det svårt att koppla ett system till ett resultat. Och de få detaljerade studier som har gjorts fokuserar på specifika verktyg och drar slutsatser som kanske inte gäller andra system eller jurisdiktioner.
Det är inte ens klart vilka verktyg som används och vem som använder dem. Vi vet inte hur många polisavdelningar som har använt, eller för närvarande använder, förutseende polisarbete, säger Richardson.
Till exempel kom det faktum att polisen i New Orleans använde ett förutsägande verktyg som utvecklats av det hemliga datagruvföretaget Palantir upp först efter en undersökning av The Verge . Och offentliga register visar att New York Police Department har betalat 2,5 miljoner dollar till Palantir men säger inte vad för.
GETTYDe flesta verktyg är licensierade till polisavdelningar av en trasig blandning av små företag, statliga myndigheter och forskare. Vissa är proprietära system; vissa är det inte. De fungerar alla på lite olika sätt. På basis av verktygens resultat återskapar forskare så gott de kan vad de tror pågår.
Hamid Khan, en aktivist som kämpat i flera år för att få Los Angeles-polisen att släppa ett förutsägande verktyg som heter PredPol, krävde en granskning av verktyget av polisavdelningens generalinspektör. Enligt Khan , i mars 2019 sa generalinspektören att uppgiften var omöjlig eftersom verktyget var så komplicerat.
I Storbritannien försökte Hamilton undersöka ett verktyg som heter OASys, som – liksom COMPAS – ofta används i förhör, straff och villkorlig dom. Företaget som gör OASys gör sina egna revisioner och har inte släppt så mycket information om hur det fungerar, säger Hamilton. Hon har upprepade gånger försökt få information från utvecklarna, men de slutade svara på hennes förfrågningar. Hon säger, jag tror att de kollade upp mina studier och bestämde: Nej.
Det välbekanta avstået från företag som tillverkar dessa verktyg är att de inte kan dela information eftersom det skulle vara att ge upp affärshemligheter eller konfidentiell information om personer som verktygen har bedömt.
Allt detta betyder att endast en handfull har studerats i detalj, även om viss information finns tillgänglig om några av dem. Static 99 utvecklades av en grupp dataforskare som delade detaljer om dess algoritmer. Public Safety Assessment, ett av de vanligaste riskbedömningsverktygen före rättegången i USA, utvecklades ursprungligen av Arnold Ventures, en privat organisation, men det visade sig vara lättare att övertyga jurisdiktionerna att anta det om några detaljer om hur det fungerade avslöjades , säger Hamilton. Ändå har tillverkarna av båda verktygen vägrat att släppa datamängderna de använde för utbildning, vilket skulle behövas för att helt förstå hur de fungerar.
Att köpa ett riskbedömningsverktyg omfattas av samma regler som att köpa en snöplog.
Inte bara finns det liten insikt i mekanismerna i dessa verktyg, men kritiker säger att polisavdelningar och domstolar inte gör tillräckligt för att se till att de köper verktyg som fungerar som förväntat. För NYPD gäller att köpa ett riskbedömningsverktyg av samma regler som att köpa en snöplog, säger Milner.
Polisen kan gå i full fart med att köpa teknik utan att veta vad de använder, inte investera tid för att säkerställa att den kan användas säkert, säger Richardson. Och sedan finns det ingen pågående revision eller analys för att avgöra om det ens fungerar.
Ansträngningar att ändra på detta har mött motstånd. Förra månaden New York City passerade de Public Oversight of Surveillance Technology (POST) Act , som kräver att NYPD listar alla sina övervakningstekniker och beskriver hur de påverkar stadens invånare. NYPD är den största polisstyrkan i USA, och förespråkarna för lagförslaget hoppas att avslöjandet också kommer att belysa vilken teknik andra polisavdelningar i landet använder. Men att komma så långt var svårt. Richardson, som arbetade med lagförslaget, hade sett det sitta i limbo sedan 2017, tills utbredda uppmaningar om polisreformer under de senaste månaderna tippade åsiktsbalansen.
Det var frustration över att försöka hitta grundläggande information om digital polispraxis i New York som fick Richardson att arbeta med lagförslaget. Polisen hade gjort motstånd när hon och hennes kollegor ville lära sig mer om NYPD:s användning av övervakningsverktyg. Freedom of Information Act-förfrågningar och rättstvister från New York Civil Liberties Union fungerade inte. 2015 föreslog de med hjälp av kommunfullmäktigeledamoten Daniel Garodnik en lagstiftning som skulle tvinga fram frågan.
Vi upplevde betydande motreaktioner från NYPD, inklusive en otäck PR-kampanj som antydde att lagförslaget gav kartan över staden till terrorister, säger Richardson. Det fanns inget stöd från borgmästaren och ett fientligt kommunfullmäktige.
Med sina etiska problem och brist på transparens är det nuvarande tillståndet för prediktiv polisverksamhet en enda röra. Men vad kan man göra åt det? Xiang och Hamilton tror att algoritmiska verktyg har potential att vara mer rättvisa än människor, så länge som alla som är inblandade i att utveckla och använda dem är fullt medvetna om deras begränsningar och medvetet arbetar för att göra dem rättvisa.
Men denna utmaning är inte bara en teknisk. En uträkning behövs om vad man ska göra åt partiskhet i data, eftersom det är där för att stanna. Det bär med sig ärren från generationer av polisarbete, säger Weathington.
Och vad det innebär att ha en rättvis algoritm är inget datavetare kan svara på, säger Xiang. Det är egentligen inget någon kan svara på. Det frågar sig hur ett rättvist straffrättssystem skulle se ut. Även om du är advokat, även om du är etiker, kan du inte ge ett bestämt svar på det.
Det är grundläggande frågor som inte kommer att vara lösbara i den meningen att ett matematiskt problem kan vara lösbart, tillägger hon.
Hamilton håller med. Medborgarrättsgrupper har ett svårt val att göra, säger hon: Om du är emot riskbedömning kommer förmodligen fler minoriteter att förbli inlåsta. Om du accepterar riskbedömning är du typ medskyldig till att främja rasfördomar i algoritmerna.
Men detta betyder inte att ingenting kan göras. Richardson säger att beslutsfattare bör kallas ut för sin taktiska okunnighet om bristerna i dessa verktyg. Till exempel har NYPD varit inblandad i dussintals stämningar angående år av partisk polisverksamhet. Jag förstår inte hur man aktivt kan hantera förlikningsförhandlingar om rasistiska metoder och fortfarande tycker att data som härrör från dessa metoder är okej att använda, säger hon.
Yeshimabeit Milner är medgrundare och chef för Data for Black Lives, ett gräsrotskollektiv av aktivister och datavetare som använder data för att reformera det straffrättsliga systemet.
MED TILLSTÅND AV DATA FÖR SVARTA LIVFör Milner är nyckeln till att åstadkomma förändring att involvera de mest drabbade. 2008, efter att ha sett de barn som hon kände bli arresterade, gick Milner med i en organisation som undersökte omkring 600 ungdomar om deras erfarenheter av arresteringar och polisbrutalitet i skolor, och sedan förvandlade det hon lärde sig till en serietidning. Unga människor runt om i landet använde serietidningen för att börja göra liknande arbeten där de bodde.
Idag samordnar hennes organisation, Data for Black Lives, cirka 4 000 mjukvaruingenjörer, matematiker och aktivister på universitet och samhällen. Riskbedömningsverktyg är inte det enda sättet som missbruk av data vidmakthåller systemisk rasism, men det är ett mycket i deras sikte. Vi kommer inte att stoppa varje enskilt privat företag från att utveckla riskbedömningsverktyg, men vi kan förändra kulturen och utbilda människor, ge dem sätt att trycka tillbaka, säger Milner. I Atlanta utbildar de människor som har tillbringat tid i fängelse att göra datavetenskap, så att de kan spela en roll i att reformera den teknik som används av det straffrättsliga systemet.
Under tiden tycker Milner, Weathington, Richardson och andra att polisen borde sluta använda felaktiga prediktiva verktyg tills det finns ett överenskommet sätt att göra dem mer rättvisa.
De flesta skulle hålla med om att samhället borde ha ett sätt att avgöra vem som är en fara för andra. Men att ersätta en fördomsfull mänsklig polis eller domare med algoritmer som bara döljer samma fördomar är inte svaret. Om det ens finns en chans att de upprätthåller rasistiska sedvänjor bör de dras.
Som förespråkare för förändring har konstaterat tar det dock långa år att göra skillnad, med motstånd vid varje steg. Det är ingen slump att både Khan och Richardson såg framsteg efter veckor av rikstäckande upprördhet över polisbrutalitet. De senaste upproren fungerade definitivt till vår fördel, säger Richardson. Men det tog också fem år av konstant press från henne och andra förespråkare. Även Khan hade kampanjat mot förutsägande polisarbete i LAPD i flera år.
Det trycket måste fortsätta, även efter att marscherna har upphört. Att eliminera bias är ingen teknisk lösning, säger Milner. Det krävs djupare och, ärligt talat, mindre sexig och mer kostsam policyförändring.