211service.com
Vad händer när en algoritm gör fel
I den första av en serie i fyra delar på FaceID utforskar programledaren Jennifer Strong den falska arresteringen av Robert Williams av polisen i Detroit. Det konstiga med Willliams prövningar var inte att polisen använde ansiktsigenkänning för att identifiera honom – det är att polisen berättade för honom om det. Det finns ingen lag som säger att de måste. Avsnittet börjar ta upp komplexiteten i denna teknik och introducerar några svåra frågor om dess användning.
Vi träffas:
- Robert och Melissa Williams
- Peter Fussey, University of Essex
- Hamid Khan, Stoppa LAPD:s spionkoalition
Krediter:
Det här avsnittet rapporterades och producerades av Jennifer Strong, Tate Ryan-Mosley och Emma Cillekens. Vi hade hjälp av Karen Hao och Benji Rosen. Vi är redigerade av Michael Reilly och Gideon Lichfield. Vår tekniska chef är Jacob Gorski. Speciellt tack till Kyle Thomas Hemingway och Eric Mongeon.
Hela avsnittet transkription:
Robert Williams: Jag blev helt chockad och chockad över att bli arresterad mitt på ljusa dagen, inför min dotter, inför min fru, inför mina grannar. Det var en av de mest chockerande sakerna jag någonsin hänt mig.
Jennifer Strong: Det är Robert Williams. Han beskriver vad som hände utanför hans hem i en välbärgad förort till Detroit som heter Farmington Hills i januari.
Jennifer Strong: Dagen började som alla andra.
Robert Williams: Det var bara en tråkig torsdag.
Jennifer Strong: Han reste sig, gick till jobbet. Men sedan blev det konstigt.
Robert Williams: I telefon med Melissa runt 4.
Jennifer Strong: Melissa är hans fru. De är mitt i ett samtal när han hör den andra linjen.
Robert Williams: Jag klickar över. Jag säger 'Hej?'
'Robert?'
Och jag tänker: 'Vem är det här?'
'Du måste komma ner och lämna in dig själv.'
'Vem är det?'
'Officer någon från tredje distriktet.'
'Och jag måste lämna in mig för vad?'
Så han sa: 'Jag kan inte säga det för dig.'
Och jag säger: 'Då kan jag inte komma ner.'
'Tja, om du kommer ner skulle det vara mycket lättare för dig. Du vill väl inte att vi ska komma ut till ditt jobb?
Vid det här laget tror jag att det är ett skämtsamtal.
Så jag säger: 'Titta, man, om du vill ha mig, kom och hämta mig. Jag kommer att vara hemma. Ta med en order.' Och jag lägger på luren på honom.
Jennifer Strong: Melissa är hemma och väntar på sin mamma och dotter, och hon går för att hälsa på dem när de kommer in.
Melissa Williams: Och när jag gick igenom tittade jag ut och polisbilen stod utanför.
Och jag sa, 'Åh, så det var inget skämtsamtal. Det finns verkligen folk här.
Och de kom till dörren.
Jag svarade på det.
Och de typ stack in foten i dörren och sa: 'Skicka ut Robert.'
Och jag sa: 'Han är inte här.'
Och de sa: 'Vi såg honom precis komma ut ur den där skåpbilen.'
Och jag sa: 'Det var min mamma. Han är inte här.'
Jennifer Strong: Det är klart att något är väldigt fel, men de vet inte vad det är.
Robert Williams: Det måste vara en felaktig identitet eller något. Jag vet inte varför Detroit Police är hemma hos mig.
Jennifer Strong: Det visade sig att de var där eftersom mjukvara för ansiktsigenkänning felaktigt hade matchat hans körkortsfoto med säkerhetskamerabilder av en person som stjäl klockor.
Robert Williams: Jag drar in på uppfarten här, drar upp på min vanliga plats, hoppar ut. När jag stängde dörren står bilen på uppfarten och blockerar mig. Och de parkerade på det här sättet, tvärs över min uppfart som om jag skulle backa ut eller något och försöka lyfta.
Melissa Williams: Så fort han stängde dörren var de rätt på honom.
Och jag var fortfarande här för att jag hade tjejerna, och de började redan knäppa på honom när vi kom ut.
Jennifer Strong: Han sa åt sin dotter att gå in igen, att polisen gjorde ett misstag och att han skulle vara tillbaka. Men han var inte direkt tillbaka.
Polisen tog honom i förvar och han tillbringade natten i fängelse. Han hade fortfarande ingen aning om vad som pågick. Och han var arg.
Men han säger att han som svart man var tvungen att överväga vad som kunde hända om han lät det visa sig. Så han var lugn – och han väntade.
Nästa morgon visade poliser honom några bilder på en man som stal klockor. Förutom att bilderna inte var av honom. De var någon annan.
Robert Williams: 'Så det är inte du?'
Jag tittade. Jag sa: 'Nej, det är inte jag.'
Han vänder ett annat papper. Han säger: 'Jag antar att det här inte är du heller?
Jag tog upp papperet och höll det bredvid mitt ansikte. Och jag sa: 'Det här är inte jag.'
Jag tänkte: 'Jag hoppas att ni inte tycker att alla svarta ser likadana ut.'
Och sedan säger han: 'Datorn säger att det är du.'
Om han bara hade tagit med sig bilden hade han kunnat titta på den upp och ner, och han kunde ha gått och sagt, herregud. Jag menade inte att störa dig.
Jennifer Strong : Det som är ovanligt med den här historien är inte att ansikts-ID användes för att hitta en misstänkt. Vad som är ovanligt är att Robert Williams fick veta, eftersom polisen inte behöver avslöja det. Ansiktsigenkänning är inte reglerat. Inte hur det används av brottsbekämpande myndigheter. Inte hur det används av arbetsgivare.
Jag är Jennifer Strong. Och det här är avsnitt ett av en ny serie som utforskar vad som händer när allt runt omkring oss blir automatiserat. Vi kickar igång med en fyrdelad titt på ansiktsigenkänning och polisarbete. Vi kommer att träffa människor som bygger den här tekniken, kämpar mot den och försöker reglera hur den används.
Jennifer Strong: Tänk på det så här. Ansiktsigenkänning används som en sökmotor för kriminella. Och ditt ansikte är sökordet.
År 2016 troddes ansiktena på hälften av alla amerikanska vuxna vara lagrade i system som polisen använder för att namnge misstänkta. Vissa hänvisar till det som den eviga uppställningen Men nationen kan befinna sig vid en brytpunkt, både i sitt förhållande till polisen och med denna teknik. I juni gjorde teknikjättarna Amazon och Microsoft en paus med att sälja sina ansikts-ID-produkter till brottsbekämpande myndigheter. IBM slutade sälja den helt. Sedan antog New York City ett lagförslag som ger tillsyn över all övervakningsteknik, trots motstånd från NYPD. Och efter att den felaktiga arresteringen av Robert Williams kom fram, säger Detroit-polisen att de bara kommer att använda ansikts-ID för att utreda våldsbrott. Och de kommer att göra det med stillbilder eftersom det är mer sannolikt att de ger en exakt matchning. Men räcker det?
Peter Fussey: OK, så för tillfället är vi i östra London, på en plats som heter Stratford.
Jennifer Strong: Jag tog en promenad med Peter Fussey i februari innan pandemin.
Peter Fussey: Vilket historiskt sett har varit ett område med mycket nöd, som hade fruktansvärt mycket investeringar precis innan OS 2012, som arrangerades här.
Jennifer Strong: Det är en plats där Londonpolisen testar kameror som matchar ansikten med identiteter i realtid. Du ingår i ett team som arbetar med en nationell övervakningsstrategi. Är det rätt?
Peter Fussey: Så vi är en del av ett forskningsprojekt. Vi tittar på framväxande teknologi och de mänskliga rättigheternas implikationer separat från det. Jag arbetar också med övervakningskameraregulatorn i Storbritannien, och jag leder en del av hans strategi för mänskliga rättigheter.
Jennifer Strong: Han studerade teknisk övervakning i mer än 20 år.
Peter Fussey : Jag började titta på sluten krets-TV, CCTV-kameror. De är mycket bekanta på gatan, CCTV. Jag blev alltid förvånad över hur lite folk verkar bry sig om det. Jag skulle, du vet, göra ett konstigt argument för varför vi borde reglera. Och det möttes till stor del av likgiltighet. Och ansiktsigenkänning verkar väldigt annorlunda. Det har fångat allmänhetens fantasi. Det finns i media dagligen.
Nyhetsuppläsare: Tja, ditt ansikte kan berätta mycket mer för människor än du kanske tror. I en ny värld av ansiktsigenkänningsteknik kan alla dina rörelser spåras.
Nyhetsuppläsare: Dessa shoppare vet inte om det, men en dator skannar deras ansikten och jämför deras egenskaper med kända snattares.
Man intervjuad: Det är hemskt. Det är ett intrång i privatlivet.
Kvinnan intervjuad: Denna teknik installeras utan offentlig tillsyn och ansvarsskyldighet.
Andra intervjuade kvinnan: Vi blir mobbad till att ta vår bild för att få våra nycklar.
Nyhetsuppläsare: Till och med popstjärnan Taylor Swift använde i hemlighet tekniken för att utrota stalkers.
Jennifer Strong: Men medan det offentliga protesterna har lett till att vissa ställen har förbjudit tekniken, inklusive städer för tekniknav som San Francisco och Cambridge, Massachusetts, där MIT är baserat, testade Londons polis en mycket aggressiv version av den i 10 olika offentliga utrymmen.
Peter Fussey: Det du ser i Storbritannien är ansiktsigenkänning, vilket betyder att det finns en databas med individer som polisen är intresserad av. Sedan, när allmänheten går förbi kameran, skannas var och en av dessa personer och matchas sedan mot den databasen. Här genomför du övervakning innan, du vet, något brott.
Jennifer Strong: Det är en sak för en polisavdelning att hålla upp ett foto av någon för att försöka identifiera dem i ett system. Och det är något helt annat att ha live identifiering som sker i realtid.
Peter Fussey: Ja, det är helt rätt. Och jag tror att det är en riktigt viktig del av debatten som ofta försvinner.
Den andra skillnaden är att de befintliga CCTV-kamerorna, eller lågteknologisk, analog mänsklig övervakning, inte involverar infångning, bearbetning och underhåll och hantering av biometriska data, vilket är en speciell kategori av data, och allmänt sett ses som en påträngande öva.
Jennifer Strong: Och den speciella kategorin av data måste sorteras och lagras säkert. Och som han påpekar kan ingen människa omöjligen bearbeta volymen som fångas av dessa system.
Peter Fussey: Det väcker till exempel allvarliga frågor om hur proportionerligt det är. Hur nödvändigt är det att biometriskt skanna tiotusentals människor bara för att du är intresserad av att prata med någon. Nu, om det är en känd mördare på fri fot, eller exemplet som alltid ges på, ni vet, en terroristattack på väg att hända, då är det annorlunda. Du kan framföra ett mycket starkare nödvändighets- och proportionalitetsargument kring det, men mindre så om det bara är någon som du är intresserad av att prata med om en incident av antisocialt beteende eller något liknande.
Jennifer Strong: Tja, den andra frågan, när du säger att människor inte kan bearbeta den informationen, men det är också oklart om tekniken kan det heller. Vad händer om du är felaktigt identifierad?
Peter Fussey: Om kameran säger att du är misstänkt, du är någon på deras bevakningslista, hur många gånger vet vi att det är korrekt? I vår forskning fann vi att det var korrekt åtta gånger av 42. Så, på sex hela dagar, sittande i polisbilar, åtta gånger.
Jennifer Strong: Han gjorde den enda oberoende granskningen av dessa försök, och han fann att den var korrekt mindre än 20 % av gångerna.
Peter Fussey: Det kan fungera utmärkt i labbförhållanden. Men, du vet, utanför, som en miljö vi befinner oss i nu, bleknar ljuset, det är vinterljus. Mycket av underrättelsebilden för många av brotten är kopplad till nattekonomin. Så ansiktsigenkänning fungerar mindre bra i svagt ljus, och alla möjliga problem kring det.
Jennifer Strong: Det är också mindre effektivt för olika demografier.
Peter Fussey: Så, inte bara etnicitet eller ras etnicitet, utan även kön. Och det blir sedan en hel fråga kring transpersoners rättigheter och ålder också. Barns ansikten, till exempel, avger mindre information än ett ansikte på någon i 40-årsåldern som jag själv. Varför det är viktigt är att om polisen använder en teknik som inte är lika effektiv för olika grupper, så är det omöjligt att säga att de använder en teknologi som är förenlig med mänskliga rättigheter.
Jennifer Strong: Hur anpassar man en strategi för mänskliga rättigheter och en övervakning?
Peter Fussey: Vi tänker ofta på saker som säkerhet som oppositionella mot mänskliga rättigheter.
Det som naturligtvis är staternas första ansvar enligt FN:s deklaration om mänskliga rättigheter är att staterna ska sörja för sina medborgares säkerhet och säkerhet. Så, det finns ofta den här inramningen av frihet kontra säkerhet, som jag och mina kollegor skulle tycka är ganska ohjälpsamma. Du vet, du kan ha båda, och du kan inte ha båda.
Jennifer Strong: Vi tar oss till en annan plats som han vill visa mig.
Peter Fussey: Precis vid slutet av den här bron kan du se en stolpe med några kameror på. Om du gick längs den här bron mot dessa kameror skulle du komma till en punkt där det fanns en skylt som sa att ansiktsigenkänning var i funktion. Nu, om du ville fortsätta din resa, skulle du behöva gå förbi dessa kameror. Polisen sa dock att det var en rättegång. Så om du inte ville vara med i den rättegången var du tvungen att vända. Och att komma till samma punkt bortom dessa kameror skulle ta ungefär en 20 minuters omväg.
Jennifer Strong: OK, så den här delen är verkligen viktig.
Peter Fussey: Här finns det inget verkligt meningsfullt samtycke. Om du återkallar samtycke för att du inte vill vara med i kameran, då bör du kunna återkalla samtycke utan påföljd. Annars är det inte samtycke.
Jennifer Strong: Något annat. När du går nerför gatan, är du medveten om de gånger du går över från en allmän trottoar till betong som ägs av ett företag? Visste du att dina rättigheter till integritet kan vara annorlunda på bara några få steg?
Peter Fussey: Så här, där vi står, utanför Westfield Shopping Mall, är privat utrymme. Men vi känner att det är offentligt. Det är mycket folk här. Det har känslan av ett offentligt rum. Det som däremot händer är att om du går 30 meter till vänster om oss så är du i ett allmänt område och alla kameror ägs av myndigheter. Och om du går 30 meter till höger om oss så ägs de av privata företag.
Jennifer Strong: Vad sägs om den över ditt huvud?
Peter Fussey: Vilken? Den? Så ja, det här ägs av ett privat företag.
Jennifer Strong: Skillnaden kommer tillbaka till en enkel punkt. Offentliga grupper är ansvariga inför allmänheten.
Face ID fungerar genom att kartlägga den unika uppsättningen av mått mellan dina funktioner, som avståndet mellan dina ögon, längden på din näsa och krökningen på dina läppar. De tidigaste systemen uppfanns på 1960-talet. Men i decennier var tekniken inte riktigt användbar. Sedan, i början av 2000-talet, skapade lokala brottsbekämpande myndigheter i Florida ett statligt program för ansiktsigenkänning. Ett decennium efter det uppfann Facebook ett nytt sätt att börja känna igen och autotagga människor i foton, vilket snabbt förbättrade ansiktsigenkänningen till vad vi har idag. Nu används det flitigt på flygplatser och av polisen, men det finns liten insyn i vilka system som används eller hur.
Hamid Khan: Algoritmer har ingen plats i polisarbetet. Jag tror att det är avgörande att vi förstår det eftersom det står liv på spel.
Jennifer Strong: Hamid Khan är en aktivist som kämpar mot användningen av övervakning och många andra tekniska verktyg som används av Los Angeles-polisen.
Hamid Khan: Varje gång övervakning blir legitimerad, är den öppen för att utökas med tiden och har historiskt använts för att spåra och spåra och övervaka och förfölja särskilda samhällen,
Gemenskaper som är fattiga, samhällen som är svarta och bruna, samhällen som skulle anses vara misstänkta, queera, transkroppar. Det är en process av social kontroll.
Jennifer Strong: Khan skapade Stop LAPD Spying Coalition, en grupp som han beskriver som våldsamt avskaffande.
Han tror inte att det kommer att fungera att begränsa hur polisen använder ansikts-ID. Och så, under vad som bäst kan beskrivas som en tsunami av adoption, med debatten mest fokuserad på bästa praxis, är hans fokus på att få dessa tekniker förbjudna. Och det har varit framgångsrikt. Flera datapoliser och förutsägande polisprogram i Los Angeles avslutades efter offentliga och juridiska påtryckningar från hans grupp. För Khan, en del av hur vi kom till detta ögonblick är genom att ändra sättet vi definierar och polisa misstänkt aktivitet,
Hamid Khan: Definitionen är att det är observerat beteende som rimligen indikerar för operativ planering av kriminella och/eller terroristiska aktiviteter. Så, du observerar någons beteende, inte ett faktum, utan en oro för att en person kan tänka sig att göra något fel, eller hur? Så, det här går nu in på det, spekulativt och aningsbaserat polisarbete är verkligt.
Jennifer Strong: Vad vi vet, tack vare akademisk och statlig forskning, är att ansiktsigenkänning fungerar bäst på vita män.
Joy Buolamwini : Hej kamera. Jag har ett ansikte. Kan du se mitt ansikte? Inget glasögon? Du kan se...
Jennifer Strong: Det är MIT-forskaren, Joy Buolamwini, som håller ett TED-föredrag.
Joy Buolamwini: Så vad händer? Varför upptäcks inte mitt ansikte? Tja, vi måste titta på hur vi ger maskiner syn. Så hur det här fungerar är att du skapar ett träningsset med exempel på ansikten. Det här är ett ansikte, det här är ett ansikte, det här är inte ett ansikte. Och med tiden kan du lära en dator hur man känner igen andra ansikten.
Jennifer Strong: Men om träningsuppsättningarna egentligen inte är så olika, kommer alla ansikten som avviker för mycket från den etablerade normen att vara svårare att upptäcka, vilket var vad som hände för mig.
2018 ledde hon en banbrytande studie som visade att kommersiella ansiktsigenkänningssystem upprepade gånger misslyckades med att klassificera mörkhyade kvinnor.
Ett år senare fann en stor rapport om ansikts-ID från en federal byrå som heter NIST, eller National Institute of Standards and Technology, att vissa ansikts-ID-algoritmer var upp till hundra gånger mer sannolikt att felaktigt matcha bilder av färgade personer. Men även om dessa system kan konstrueras för att nå perfekt noggrannhet, kan de användas på farliga sätt. Och dessa problem går djupare än bara skev data och ofullkomlig matematik.
Hamid Khan: Tekniken fungerar inte av sig själv. Från designen, till produktionen, till utbyggnaden, finns det ständigt inbyggda fördomar. Och det är inte bara fördomar hos människorna själva. Det är bara en del av det. Det är den inneboende fördomen i systemet.
Jennifer Strong: Nästa avsnitt, skulle det vara förvånande att bilder på dig, inklusive några som du kanske aldrig har sett, används av företag för att bygga system för ansiktsigenkänning?
Hoan Ton-That: Kommer du ihåg den här bilden på Twitter?
Jennifer Strong: Nej. Jag visste inte att det var taget och jag såg väldigt...
Hoan Ton-That: Du gör. Du såg väldigt seriös ut i den där.
Jennifer Strong: I del två träffar vi grundaren av ett av de mest kontroversiella företagen som arbetar i detta område, Clearview AI:s vd, Hoan Ton-That.
Hoan Ton-That: När vi byggde vår ansiktsigenkänningsteknik utforskade vi många olika idéer inom många olika sektorer, från privat säkerhet till gästfrihet. När vi gav det till några personer inom brottsbekämpning var ökningen enorm. Och de ringde oss tillbaka nästa dag och sa att vi håller på att lösa ärenden. Detta är galet. På en veckas tid hade vi ett riktigt tjockt häfte.
Jennifer Strong: Det här avsnittet rapporterades och producerades av mig, Tate Ryan-Mosley och Emma Cillekens. Vi hade hjälp av Karen Hao och Benji Rosen. Vi är redigerade av Michael Riley och Gideon Lichfield. Vår tekniska chef är Jacob Gorski. Speciellt tack till Kyle Thomas Hemingway, Eric Mongeon och till ACLU för att de delade med sig av deras inspelningar av Robert Williams.
Jennifer Strong: Tack för att du lyssna. Jag är Jennifer Strong.