211service.com
Det råder en kris för ansiktsigenkänning och polisarbete i USA
Ms Tech | Unsplash
När nyheten kom att en felaktig match från ett ansiktsigenkänningssystem hade fått polisen i Detroit att arrestera Robert Williams för ett brott han inte begått, var det slutet av juni och landet var redan i uppror över George Floyds död en månad tidigare . Strax efter kom det fram att ytterligare en svart man, Michael Oliver, arresterades under liknande omständigheter som Williams. Medan stora delar av USA fortsätter att ropa efter rasrättvisa, håller en tystare konversation på att ta form om teknik för ansiktsigenkänning och polisen. Vi skulle göra klokt i att lyssna.
När Jennifer Strong och jag började rapportera om polisens användning av ansiktsigenkänningsteknik för vår nya podcast, I maskiner vi litar på , vi visste att dessa AI-drivna system antogs av poliser över hela USA och i andra länder. Men vi hade ingen aning om hur mycket som hände utanför allmänhetens ögon.
Till att börja med vet vi inte hur ofta polisavdelningar i USA använder ansiktsigenkänning av den enkla anledningen att de i de flesta jurisdiktioner inte behöver rapportera när de använder det för att identifiera en misstänkt för ett brott. De de senaste siffrorna är spekulativa och från 2016 , men de föreslår att vid den tiden hade minst hälften av amerikanerna foton i ett ansiktsigenkänningssystem. Ett län i Florida gjorde 8 000 sökningar varje månad.
Vi vet inte heller vilka polisavdelningar som har teknik för ansiktsigenkänning, eftersom det är vanligt att polisen döljer sin upphandlingsprocess. Det finns till exempel bevis för att många avdelningar köper sin teknik med hjälp av federala bidrag eller ideella gåvor, som är undantagna från vissa lagar om offentliggörande. I andra fall erbjuder företag polisen provperioder för sin programvara som tillåter tjänstemän att använda system utan något officiellt godkännande eller tillsyn. Detta gör att företag som tillverkar ansiktsigenkänningssystem kan hävda att deras produkter är i stor användning – och ger det yttre intrycket av att de är både populära och pålitliga verktyg för brottslösning.
Skyddade algoritmer som inte fungerar
Men om ansiktsigenkänning är känt för något så är det hur opålitligt det är. Som vi rapporterar i showen, i januari Londons Metropolitan Police debuterade ett levande ansiktsigenkänningssystem att i tester hade en noggrannhetsgrad på mindre än 20 % . I New York City, den Metro Transit Authority testade ett system på större genomfartsleder med en rapporterad hastighet på 0 % noggrannhet. Systemen är ofta också rasistiskt - en studie fann att i vissa kommersiella system, även i labbförhållanden felfrekvenser vid identifiering av mörkhyade kvinnor var cirka 35 %. När vi rapporterade för showen upptäckte vi att det inte är ovanligt att polisen ändrar foton för att förbättra sina chanser att hitta en matchning. Vissa försvarade till och med övningen som avgörande för att göra ett bra polisarbete.
Två av de mest kontroversiella och avancerade företagen på området, ClearviewAI och NTechLabs, hävdar att de har löst biasproblemet och nått nästan perfekt precision. ClearviewAI hävdar att den används av cirka 600 polisavdelningar i USA (några experter vi pratade med var skeptiska till den siffran). NTechLabs, baserat i Ryssland, har skrivit på för ansiktsigenkänning med livevideo i hela staden Moskva.
Men det finns nästan inget sätt att självständigt verifiera sina påståenden. Båda företagen har algoritmer som sitter på databaser med miljarder offentliga bilder. National Institute of Standards and Technology (NIST) erbjuder samtidigt en av få oberoende granskningar av teknik för ansiktsigenkänning. NIST Vendor Test använder en mycket mindre datauppsättning, som tillsammans med kvaliteten och mångfalden av bilderna i databasen, begränsar dess makt som ett granskningsverktyg. ClearviewAI har inte tagit NISTs senaste test. NTechLabs har tagit det statiska bildtestet och presterat bra, men det finns inget för närvarande använt test för ansiktsigenkänning med livevideo. Det finns inte heller något oberoende test specifikt för bias.
Igenkänning på gatorna
Den senaste vågen av Black Lives Matter-protester, utlöst av Floyds död, har ifrågasatt mycket av det vi har accepterat om modern polisverksamhet, inklusive deras användning av teknik. Den mörka ironin är att, när människor går ut på gatorna för att protestera mot rasism inom polisväsendet, har vissa poliser använt banbrytande verktyg med en känd rasfördom mot de församlade. Det vet vi till exempel polisen i Baltimore använde ansikts-ID på demonstranter efter Freddie Grays död 2015. Och vi vet att en handfull avdelningar har lagt ut offentliga uppmaningar om filmer från årets protester. Det har dokumenterats att polisen i Minneapolis har tillgång till en rad olika tekniker, inklusive ClearviewAI:s tjänster . Enligt Jameson Spivack från Center on Privacy and Technology vid Georgetown University, som vi intervjuar i programmet, om ansiktsigenkänning används vid BLM-protester, är det specifikt inriktat på och avskräckande av svarta politiska tal.
Efter år av kamp för reglering, av mestadels svarta och brunledda organisationer , vi har aldrig varit i ett bättre tillfälle att verkligen förändras. Microsoft, Amazon och IBM har alla aviserat nedläggningar eller moratorier för sina ansiktsigenkänningsprodukter. Under de senaste månaderna har en handfull stora amerikanska städer tillkännagett förbud eller moratorier för tekniken. Å andra sidan går tekniken snabbt. Systemens kapacitet – såväl som potential för missbruk och missbruk – kommer att fortsätta växa med stormsteg. Vi har redan börjat se polisavdelningar och teknikleverantörer gå bortom statiska, retrospektiva ansiktsigenkänningssystem till livevideoanalyser som är integrerade med andra typer av dataströmmar som ljudövervakningssystem.
Några av poliserna vi pratade med sa att de inte borde lämnas med arkaiska verktyg för att bekämpa brottslighet på 2000-talet. Och det är sant att i vissa fall kan teknik göra polisarbetet mindre våldsamt och mindre benäget för mänskliga fördomar.
Men efter månader av rapportering om vår ljudminiserie, lämnades jag med en känsla av förmaning. Insatserna växer för varje dag, och hittills har allmänheten lämnats långt efter i sin förståelse av vad som händer. Det är inte klart hur det kommer att förändras om inte alla människor på alla sidor av denna fråga kan enas om att alla har rätt att bli informerade.