Den tvååriga kampen för att stoppa Amazon från att sälja ansiktsigenkänning till polisen

Ms Tech | Getty

Sommaren 2018, närmare 70 medborgarrätts- och forskningsorganisationer skrev ett brev till Jeff Bezos som kräver att Amazon slutar tillhandahålla ansiktsigenkänningsteknik till regeringar. Som en del av ett ökat fokus på den roll som teknikföretagen spelade möjliggör den amerikanska regeringens spårning och utvisning av invandrare , uppmanade den Amazon att stå upp för medborgerliga rättigheter och medborgerliga friheter. Som annonserats, sa det, är Rekognition ett kraftfullt övervakningssystem som är lätt tillgängligt för att kränka rättigheter och rikta in sig på färggrupper.

Tillsammans med brevet levererade American Civil Liberties Union (ACLU) i Washington över 150 000 namnunderskrifter samt ytterligare en brev från bolagets egna aktieägare uttrycker liknande krav. Några dagar senare upprepade Amazons anställda oron ett internt memo .

Trots det ökande trycket fortsatte Amazon med business as usual. Det drev Rekognition som ett verktyg för att övervaka människor av intresse och fördubblats om att tillhandahålla andra övervakningstekniker till regeringar. Bolagets dotterbolag Ring, till exempel, förvärvade bara några månader tidigare, inledde snabbt partnerskap med mer än 1 300 brottsbekämpande myndigheter att använda bilder från sina hemsäkerhetskameror i brottsutredningar.

Men onsdagen den 10 juni chockade Amazon medborgarrättsaktivister och forskare när man tillkännagav att man skulle lägga ett ettårigt moratorium på polisens användning av Rekognition. Flytten följde IBM:s beslut att lägga ner dess allmänna ansiktsigenkänningssystem. Nästa dag, Microsoft meddelade det det skulle sluta sälja sitt system till polisavdelningar tills federal lag reglerar tekniken. Även om Amazon gjorde den minsta eftergiften av de tre företagen, är det också den största leverantören av tekniken till brottsbekämpande myndigheter. Beslutet är kulmen på två års forskning och externt tryck för att visa Rekognitions tekniska brister och dess potential för missbruk.

Det är otroligt att Amazon faktiskt reagerar i den här aktuella konversationen kring rasism, sa Deborah Raji, en AI-ansvarsforskare som var medförfattare en grundstudie på rasfördomar och felaktigheter som är inbyggda i företagets teknologi. Det talar bara om kraften i detta nuvarande ögonblick.

Ett år är en början, säger Kade Crockford, chef för programmet för teknologifrihet vid ACLU i Massachusetts. Det är absolut ett erkännande från företagets sida, åtminstone implicit, att det som förespråkare för rasrättvisa har sagt till dem i två år är korrekt: ansiktsövervakningsteknik äventyrar svarta och bruna människor i USA. Det är ett anmärkningsvärt erkännande.

Två år på gång

I februari 2018 publicerade MIT-forskaren Joy Buolamwini och Timnit Gebru, då en Microsoft-forskare, en banbrytande studie kallas Gender Shades om köns- och rasfördomar som är inbäddade i kommersiella system för ansiktsigenkänning. Vid den tiden inkluderade studien de system som såldes av Microsoft, IBM och Megvii, en av Kinas största leverantörer av ansiktsigenkänning. Det omfattade inte Amazons erkännande.

Ändå var det den första studien i sitt slag, och resultaten var chockerande: det sämsta systemet, IBM:s, var 34,4 procentenheter sämre på att klassificera kön för mörkhyade kvinnor än ljushyade män. Resultaten avslöjade omedelbart påståendena om riktighet som företagen hade använt för att sälja sina produkter och väckte en debatt om ansiktsigenkänning i allmänhet.

När debatten rasade blev det snart uppenbart att problemet också var djupare än snedställda träningsdata eller ofullkomliga algoritmer. Även om systemen nådde 100 % noggrannhet kan de fortfarande användas på farliga sätt, varnade många forskare och aktivister.

En stillbild från Joy Buolamwinis videodikt 'AI, Ain't I A Woman?' visar upp några av de allvarliga felen som Rekognition har gjort.

MED TILLSTÅND AV ALGORITHMIC JUSTICE LEAGUE

Det finns två sätt som den här tekniken kan skada människor, säger Raji som arbetat med Buolamwini och Gebru på Gender Shades. Ett sätt är att inte fungera: på grund av att de har högre felfrekvens för färgade personer, utsätter det dem för en större risk. Den andra situationen är när det gör arbete – där du har det perfekta ansiktsigenkänningssystemet, men det är lätt att beväpna sig mot samhällen för att trakassera dem. Det är en separat och sammankopplad konversation.

Gender Shades arbete var att avslöja den första situationen, säger hon. Genom att göra det skapade det en öppning för att exponera den andra.

Amazon försökte misskreditera deras forskning; den försökte undergräva dem som svarta kvinnor som ledde denna forskning.

Meredith Whittaker

Detta är vad som hände med IBM. Efter att Gender Shades publicerades var IBM ett av de första företagen som nådde ut till forskarna för att ta reda på hur de skulle lösa sina partiska problem. I januari 2019 släppte den en datamängd som heter Mångfald i ansikten , som innehåller över 1 miljon kommenterade ansiktsbilder, i ett försök att göra sådana system bättre. Men flytten slog tillbaka efter att människor upptäckt att bilderna skrapats från Flickr, vilket har tagit upp frågor om samtycke och integritet. Det utlöste ytterligare en serie interna diskussioner om hur man etiskt tränar ansiktsigenkänning. Det ledde dem ner i kaninhålet för att upptäcka de många problem som finns med den här tekniken, säger Raji.

Så i slutändan var det ingen överraskning när företaget äntligen drog ur kontakten. (Kritik påpeka att dess system inte hade så mycket fotfäste på marknaden ändå.) IBM insåg precis att 'fördelarna' inte på något sätt stod i proportion till skadan, säger Raji. Och i just detta ögonblick var det rätt tillfälle för dem att offentliggöra det.

Men medan IBM var lyhörd för extern feedback, reagerade Amazon motsatt. I juni 2018, mitt i alla andra brev som krävde att företaget skulle stoppa polisens användning av Rekognition, Raji och Buolamwini utökade Gender Shades-revisionen att omfatta dess prestanda. Resultaten, publicerade ett halvt år senare i en peer-reviewed papper , återigen hittat enorma tekniska felaktigheter. Erkännande klassificerade könet för mörkhyade kvinnor 31,4 procentenheter mindre exakt än för ljushyade män.

I juli, ACLU i norra Kalifornien också gjort en egen studie , fann att systemet felaktigt matchade foton av 28 medlemmar av den amerikanska kongressen med mugshots. De falska tändstickorna var oproportionerligt färgade.

I stället för att erkänna resultaten publicerade Amazon dock två Blogg inlägg hävdade att Raji och Buolamwinis arbete var vilseledande. Som svar nästan 80 AI-forskare , inklusive Turing Award-vinnaren Yoshua Bengio, försvarade arbetet och uppmanade återigen företaget att sluta sälja ansiktsigenkänning till polisen.

Det var en så känslosam upplevelse på den tiden, minns Raji. Vi hade gjort så mycket due diligence med avseende på våra resultat. Och sedan var det första svaret så direkt konfronterande och aggressivt defensivt.

Amazon försökte misskreditera deras forskning; det försökte undergräva dem som svarta kvinnor som ledde den här forskningen, säger Meredith Whittaker, medgrundare och chef för AI Now Institute, som studerar de sociala effekterna av AI. Den försökte få fram en berättelse om att de hade fattat fel – att alla som förstod tekniken helt klart skulle veta att detta inte var ett problem.

Flytten satte verkligen Amazon i politisk fara.

Mutale Nkonde

Faktum är att Amazon, eftersom den offentligt avvisade studien, började investera i att undersöka korrigeringar bakom kulisserna. Det anlitade en rättvisa lead, investerade i ett forskningsanslag från NSF för att mildra problemen och släppte en ny version av Rekognition några månader senare, som svarade direkt på studiens oro, säger Raji. Samtidigt är det slå tillbaka aktieägarnas ansträngningar att avbryta försäljningen av tekniken och genomföra en oberoende bedömning av mänskliga rättigheter. Det är också spenderade miljoner lobbying kongressen för att undvika reglering.

Men sedan förändrades allt. Den 25 maj 2020 mördade officer Derek Chauvin George Floyd, vilket ledde till att en historisk rörelse i USA för att bekämpa institutionell rasism och stoppa polisbrutalitet. Som svar presenterade hus- och senatsdemokraterna en polisreformproposition som inkluderar ett förslag för att begränsa ansiktsigenkänning i ett brottsbekämpande sammanhang, vilket markerar den största federala ansträngningen någonsin för att reglera tekniken. När IBM meddelade att man skulle avbryta sitt ansiktsigenkänningssystem skickade man också ett brev till Congressional Black Caucus, och uppmanade till en nationell dialog om huruvida och hur ansiktsigenkänningsteknik bör användas av inhemska brottsbekämpande myndigheter.

Jag tror att IBM:s beslut att skicka det brevet, vid den tidpunkt då samma lagstiftande organ överväger ett lagförslag om polisreform, verkligen förändrade landskapet, säger Mutale Nkonde, en AI-politisk rådgivare och fellow vid Harvards Berkman Klein Center. Även om de inte var en stor aktör inom ansiktsigenkänning, satte flytten verkligen Amazon i politisk fara. Det etablerade en tydlig koppling mellan tekniken och det pågående nationella samtalet, på ett sätt som var svårt för tillsynsmyndigheter att ignorera.

En försiktig optimism

Men även om aktivister och forskare ser Amazons eftergift som en stor seger, inser de också att kriget inte är över. För det första var Amazons 102-ords tillkännagivande vagt om detaljer om huruvida dess moratorium skulle omfatta brottsbekämpande myndigheter bortom polisen, som US Immigration and Customs Enforcement eller Department of Homeland Security. (Amazon svarade inte på en begäran om kommentar.) För en annan är utgången på ett år också en röd flagga.

Den cyniska delen av mig säger att Amazon kommer att vänta tills protesterna dör - tills den nationella konversationen övergår till något annat - för att återgå till sin tidigare position, säger ACLU:s Crockford. Vi kommer att följa noga för att säkerställa att dessa företag inte effektivt får bra press för dessa senaste tillkännagivanden samtidigt som vi arbetar bakom kulisserna för att omintetgöra våra ansträngningar i lagstiftande församlingar.

Det är därför aktivister och forskare också tror att reglering kommer att spela en avgörande roll framöver. Lärdomen här är inte att företag ska självstyra, säger Whittaker. Lärdomen är att vi behöver mer press och att vi behöver regler som säkerställer att vi inte bara tittar på ett ettårigt förbud.

Den cyniska delen av mig säger att Amazon kommer att vänta tills protesterna dör...för att återgå till sin tidigare position.

Kade Crockford

Kritiker säger att bestämmelserna om ansiktsigenkänning i det aktuella lagförslaget om polisreform, som endast förbjuder dess användning i realtid i kroppskameror, inte är tillräckligt breda för att hålla teknikjättarna fullt ansvariga. Men Nkonde är optimistisk: hon ser denna första uppsättning rekommendationer som ett frö till ytterligare reglering. När de väl har antagits i lag kommer de att bli en viktig referenspunkt för andra lagförslag skrivna för att förbjuda ansiktsigenkänning i andra tillämpningar och sammanhang.

Det finns verkligen en större lagstiftande rörelse på både federal och lokal nivå, säger hon. Och strålkastarljuset som Floyds död har riktat mot rasistiska polisrutiner har påskyndat dess breda stöd.

Det borde verkligen inte ha tagit polismorden på George Floyd, Breonna Taylor och alldeles för många andra svarta – och hundratusentals människor som gick ut på gatorna över hela landet – för dessa företag att inse att kraven från Black- och brunledda organisationer och forskare, från ACLU och från många andra grupper var moraliskt korrekta, säger Crockford. Men här är vi. Bättre sent än aldrig.

Dölj