Den nya rättegången som visar ansiktsigenkänning är officiellt en fråga om medborgerliga rättigheter

ACLU

Den 9 januari 2020 körde polisen i Detroit till förorten Farmington Hill och arresterade Robert Williams på hans uppfart medan hans fru och unga döttrar tittade på. Williams, en svart man, anklagades för att ha stulit klockor från Shinola, en lyxbutik. Han hölls i fängelse över natten.

Under förhör visade en polis Williams en bild på en misstänkt. Hans svar, som han berättade för ACLU , var att avslå yrkandet. Det här är inte jag, sa han till officeren. Jag hoppas att ni inte tycker att alla svarta ser likadana ut. Han säger att polisen svarade: Datorn säger att det är du.

Relaterad berättelse

Vad händer när en algoritm gör fel

Det konstiga med Robert Williams falska arrestering var inte att polisen använde ansiktsigenkänning för att identifiera honom. Det är att de berättade det för honom.

Williams felaktiga arrestering, som först rapporterades av New York Times i augusti 2020 , baserades på en dålig match från Detroit Police Departments ansiktsigenkänningssystem. Två till exempel på falska arresteringar har sedan dess offentliggjorts. Båda är också svarta män, och båda har vidtagit rättsliga åtgärder.

Nu följer Williams i deras väg och går längre — inte bara genom att stämma avdelningen för hans felaktiga arrestering, utan genom att försöka få tekniken förbjuden.

På tisdag, ACLU och University of Michigan Law Schools Civil Rights Litigation Initiative lämnade in en stämningsansökan på uppdrag av Williams, och hävdade att arresteringen kränkte hans rättigheter i det fjärde tillägget och stod i strid med Michigans lag om medborgerliga rättigheter.

Stämningen kräver ersättning, större insyn i användningen av ansiktsigenkänning och ett slut på Detroit Police Departments användning av ansiktsigenkänningsteknik, vare sig den är direkt eller indirekt.

Vad stämningen säger

De handlingar som lämnades in på tisdagen lägga ut ärendet. I mars 2019 hade DPD tagit ett kornigt foto av en svart man med en röd mössa från Shinolas övervakningsvideo genom dess ansiktsigenkänningssystem, gjort av ett företag som heter DataWorks Plus. Systemet returnerade en match med ett gammalt körkortsfoto av Williams. Utredande poliser inkluderade sedan Williams licensfoto som en del av en fotoserie och en säkerhetsentreprenör från Shinola ( som faktiskt inte var närvarande vid tiden för stölden) identifierade Williams som tjuven. Officerarna fick en order, som kräver flera sign-offs från avdelningsledningen, och Williams arresterades.

I klagomålet hävdas att den falska arresteringen av Williams var ett direkt resultat av ansiktsigenkänningssystemet, och att detta felaktiga arresterings- och fängelsestraff exemplifierar den allvarliga skada som orsakats av missbruk av och tillit till ansiktsigenkänningsteknik.

Fallet innehåller fyra fall, varav tre fokuserar på bristen på sannolika orsaker till gripandet medan ett fokuserar på rasskillnaderna i effekten av ansiktsigenkänning. Genom att använda teknik som är empiriskt bevisat att felidentifiera svarta människor i priser som är mycket högre än andra grupper av människor, säger den, förnekade DPD Williams full och lika åtnjutande av Detroit Police Departments tjänster, privilegier och fördelar på grund av hans ras eller färg.

Ansiktsigenkänningsteknikens svårigheter att identifiera mörkhyade personer är väldokumenterad . Efter dödandet av George Floyd i Minneapolis 2020 tillkännagav vissa städer och delstater förbud och moratorier för polisens användning av ansiktsigenkänning. Men många andra, inklusive Detroit, fortsatte att använda det trots växande oro.

Förlitar sig på underordnade bilder

När MIT Technology Review talade med Williams ACLU-advokat, Phil Mayor, förra året, betonade han att problem med rasism inom amerikansk brottsbekämpning gjorde användningen av ansiktsigenkänning ännu mer oroande.

Det här är inte en situation med en dålig aktör, sa borgmästaren. Det här är en situation där vi har ett straffrättssystem som är extremt snabbt att ladda och extremt långsamt att skydda människors rättigheter, särskilt när vi pratar om färgade personer.

Eric Williams, en senior personaljurist vid Economic Equity Practice i Detroit, säger att kameror har många tekniska begränsningar, inte minst att de är hårdkodade med färgintervall för att känna igen hudton och ofta helt enkelt inte kan behandla mörkare hud.

'Jag tror att varje svart person i landet har haft upplevelsen av att vara på ett foto och bilden blir antingen ljusare eller mörkare.'

Jag tror att varje svart person i landet har haft upplevelsen av att vara med på ett foto och bilden blir antingen ljusare eller mörkare, säger Williams, som är medlem i ACLU i Michigans advokatkommitté men inte arbetar på Robert Williams fall. Ljussättning är en av de primära faktorerna när det kommer till kvaliteten på en bild. Så det faktum att brottsbekämpande myndigheter i viss mån förlitar sig på riktigt undermåliga bilder är problematiskt.

Det har förekommit fall som ifrågasatt partiska algoritmer och artificiell intelligensteknik på grundval av ras. Facebook genomgick till exempel en omfattande revision av medborgerliga rättigheter efter att dess riktade reklamalgoritmer visade sig visa annonser på grundval av ras, kön och religion. YouTube stämdes in en grupptalan av svarta skapare som hävdade att dess AI-system profilerar användare och censurerar eller diskriminerar innehåll på grund av ras. YouTube stämdes också av HBTQ+-skapare som sa att innehållsmodereringssystem flaggade orden gay och lesbisk.

Vissa experter säger att det bara var en tidsfråga innan användningen av partisk teknik av en stor institution som polisen möttes av juridiska utmaningar.

Relaterad berättelse

Varför 2020 var ett avgörande, motsägelsefullt år för ansiktsigenkänning Rörelsen för rasrättvisa förde in problem med tekniken i allmänhetens medvetande - men trots skandaler och förbud avtar inte tillväxten.

Regeringens användning av ansiktsigenkänning har helt klart en olik inverkan på färgade personer, säger Adam Schwartz, senior personaljurist på Electronic Frontier Foundation. Studie efter studie visar att denna farliga teknik har mycket högre andel falska positiva resultat för färgade personer jämfört med vita människor. Regeringens användning av denna teknik bryter alltså mot lagar som förbjuder myndigheter att anta metoder som orsakar olika effekter.

Men borgmästaren, Williams advokat, har väntat sig en tuff kamp. Han sa till MIT Technology Review förra året att han förväntade sig att Detroit Police Department skulle göra det fortsätt att hävda att ansiktsigenkänning är ett utmärkt undersökningsverktyg.

Williamsfallet bevisar att det inte är det. Det är det inte alls, sa han. Och faktiskt kan det skada människor när du använder det som ett utredningsverktyg.

Under mikroskopet

I ett uttalande sa Lawrence Garcia, advokaten för staden Detroit, att staden syftade till att 'nå en lösning' i fallet, men sa att ansiktsigenkänning inte var skyldig till situationen.

'Som polischefen har förklarat, var gripandet resultatet av luddig utredning - inte felaktig teknik', sa Garcia. 'Detroit Police Department har genomfört en intern utredning och har anklagats för tjänstefel i förhållande till flera medlemmar av avdelningen. Nya protokoll har införts av DPD för att förhindra att liknande problem uppstår.'

Men Williams-kostymen kommer vid en kritisk tidpunkt för ras och polisarbete i USA. Det lämnades in när försvarsadvokater började argumentera i rättegången mot Derek Chauvin, officeren som anklagades för att ha mördat George Floyd i Minneapolis i maj förra året – och på den tredje dagen av protester som svar på skjutningen av Daunte Wright i närliggande Brooklyn Center, Minnesota. Wright, en 20-årig svart man, stoppades för ett trafikstopp och arresterades enligt en arresteringsorder innan officeren Kim Potter sköt och dödade honom, påstås ha ansett att hennes pistol var en taser.

Eric Williams säger att det är viktigt att förstå ansiktsigenkänning i detta bredare sammanhang av polismisslyckanden:

När DPD bestämde sig för att köpa tekniken ... var det känt att ansiktsigenkänningstekniken var benägen att felidentifiera mörkhyade personer innan Mr Williams togs i förvar, eller hur? Trots detta, i en stad som är över 80 % svart, valde de att använda denna teknik.

Du sätter helt klart mindre värde på svarta människors liv och uppehälle och medborgerliga friheter än du är på vita människor. Det är alldeles för vanligt i nuvarande USA.

Den här historien har uppdaterats för att inkludera ett uttalande från staden Detroit. Jennifer Strong bidrog med rapportering till den här historien.

Dölj