Vem äger ditt ansikte?

Polisen har en historia av att använda ansiktsigenkänning för att arrestera demonstranter – något som aktivister inte har glömt sedan George Floyd dog. I den sista av en serie i fyra delar om ansiktsigenkänning utforskar programledaren Jennifer Strong vägen framåt för tekniken och undersöker hur policy kan se ut.

Vi träffas :

• Artem Kuharenko, NTechLab
• Deborah Raji, AI Now Institute
• Toussaint Morrison, musiker, skådespelare och Black Lives Matter-arrangör
• Jameson Spivack, Center on Privacy & Technology

Krediter

Det här avsnittet rapporterades och producerades av Jennifer Strong, Tate Ryan-Mosley, Emma Cillekens och Karen Hao. Vi fick hjälp av Benji Rosen. Vi är redigerade av Michael Reilly och Gideon Lichfield. Vår tekniska chef är Jacob Gorski.

Transkription av hela avsnittet

Toussaint Morrison : Det här stället var kusligt tyst den första helgen av utegångsförbudet. Det var väldigt tysta polisbilar som körde väldigt sakta runt här också.

Jennifer Strong: Det är Toussaint Morrison. Han visar min producent, Tate Ryan Mosley, runt i en park i Minneapolis, Minnesota, 2,5 mils bilresa från där George Floyd dödades den 25 maj, vilket utlöste vad som troligen är den största proteströrelsen i amerikansk historia.

Toussaint Morrison : Ungefär en halv mil österut var där ett försök gjordes att bränna ner den femte polisstationen.

Jennifer Strong: Morrison är musiker, skådespelare, filmskapare, och under de senaste månaderna har han också blivit arrangör av Black Lives Matter-rörelsen i Minneapolis.

Toussaint Morrison: Din ilska är helt berättigad. Din hud är vacker och du är inte den brottsling som de gör dig till.

Jennifer Strong: Han är välkänd här. Aktivister vet vem han är. Regeringstjänstemän vet vem han är. Och det tror han nog att polisen också gör.

Tate Ryan-Mosley : Har du haft några samtal med personer som är oroliga för att bli identifierade av poliser som kan ha bilder på dem vid de protester som är en del av protesterna?

Toussaint Morrison: Det finns definitivt en rädsla. Jag fick reda på det lite för sent. Mitt regeringsnamn och mitt ansikte finns där ute. Så, jag menar, så ja, det har definitivt varit ett bekymmer. Och jag har hört det från svarta människor till vita människor till, till, allt däremellan människor.

Jennifer Strong: Även om han säger att demonstranter är mer oroade över sin fysiska säkerhet just nu – som att bli påkörd av en bil.

Toussaint Morrison: Identitetsutflykt har inte varit något jag har hört så mycket som att vara rädd för sitt liv vid en riktig marsch.

Jennifer Strong: Vi vet från en utredning av Buzzfeed att polisen här har tillgång till massor av övervakningsteknik, inklusive Clearviews mjukvara för ansiktsigenkänning – som du kommer ihåg från avsnitt två – plus att de har stingrockor som fungerar som mobiltorn för att ta tag i mobildata, en ljudövervakning system som kallas ShotSpotter, och ett kamerasystem med videoanalys skiktad ovanpå.

Federala agenter flög också en rovdjursdrönare över protesterna. Och Morrison tror att dessa verktyg är olika inriktade på färgsamhällen.

Toussaint Morrison: Nu behöver de ingen anledning att vara misstänksam. Åh, jag såg att ditt ansikte var på detta rally. Och, och jag ser att det stämmer överens med något annat. Tja, tänk om tekniken är fel? De kommer inte att tro att det skulle göra det, du vet, eftersom de litar på datorn. Så den tekniken ökar en fara. Det är redan farligt. Och det har redan pekats på färgade personer, funktionshindrade, transpersoner. Det är vi, vi är den största delen av den tekniken. Så när du skapar den tekniken, vem påverkar den mest?

Jennifer Strong: Jag heter Jennifer Strong och det här är del fyra av vår serie om polis och ansiktsigenkänning, där vi ska utforska vägen framåt och hur reglering kan se ut.

Toussaint Morrison : Går framåt, jag vet inte vad som kommer att hända,

men jag, vad jag vet är att det inte kommer att finnas någon återvändo, du vet, det kommer ingen återvändo.

Jameson Spivek : Vi vet inte om polisen använder ansiktsigenkänning på den nuvarande vågen av protester, men vi vet två saker. En, att många av dem har förmågan att göra det, och två - det har hänt tidigare.

Jennifer Strong: Jameson Spivek är en policymedarbetare vid Center for Privacy and Technology...

Jameson Spivek : ...som är en oberoende tankesmedja som är baserad på Georgetown Law School.

Jennifer Strong: Redan 2015 använde polisen i Baltimore sociala medier spårning av människor som protesterade mot Freddie Grays död.

Ansiktsigenkänning hjälpte polisen att identifiera demonstranter med utestående order, och de arresterade dem direkt från folkmassorna.

Spivek är orolig för vad detta innebär för yttrandefriheten om det fortsätter.

Jameson Spivek : Detta är verkligen oroande eftersom det motverkar politiskt tal och deltagande, vilket skyddas av det första ändringsförslaget. så om folk tror att de blir identifierade eller arresterade för ett brott som inte har något med protesterna att göra, kommer de inte att delta. Så det här är att rikta in och avskräcka svart politiskt tal specifikt.

Jennifer Strong: Och mer allmänt...

Jameson Spivek : Det förskjuter maktbalansen avsevärt mot regeringar. Det ger dem möjligheten att identifiera och spåra många människor... på avstånd och i hemlighet. Och regeringen har aldrig haft möjlighet att övervaka allmänheten så här. Detta är i grunden en lösning som gör det möjligt för polisen att genomföra sökningar utan tillstånd.

Jennifer Strong: Det är så han ser att reglering börjar ta form.

Jameson Spivek : Ett alternativ som redan har införts är att helt enkelt förbjuda polisens användning av denna teknik. Det är felaktigt... Det underlättar oöverträffade nivåer av statlig övervakning och polisen har visat sig missbruka den. På samma sätt är ett annat alternativ att lägga ett moratorium för polisens användning av ansiktsigenkänning. Och vad detta gör är att det ger allmänheten och förtroendevalda tid att få upp farten om vad den här tekniken är, hur den fungerar, hur polisen använder den. Sedan är ett annat alternativ att bara anta regler som tillåter polisen att använda det, men som har vissa begränsningar för deras möjlighet att använda det.

Jennifer Strong: När vi rapporterar den här serien har vi pratat med flera personer som tror att det helt enkelt inte är möjligt att reformera användningen av ansikts-ID. ACLU säger att det borde förbjudas nationellt. Och så, jag är nyfiken på vilken typ av reglering han tror verkligen skulle göra skillnad?

Jameson Spivek : Saker som att kräva en återsökningsorder för sannolika skäl för alla ansiktsigenkänningssökningar, begränsa användningen till våldsamma brott och förbjuda användningen av ansiktsigenkänning för immigrationstillsyn. Snäva förbud mot användning av ansiktsigenkänning i samband med saker som drönare eller i polisburna kroppskameror, eller för pågående övervakning, eftersom ansiktsigenkänning inte bör användas i liv eller dödssituationer. En annan sak är att ha ett obligatoriskt, obligatoriskt avslöjande för åtalade att polisen använder ansiktsigenkänning för att identifiera och sedan så småningom arrestera dem.

Jennifer Strong: Men även om de reglerna inte går igenom, säger han att vi behöver...

Jameson Spivek : Testa för att säkerställa att det är korrekt och inte partiskt och att ha rapporter om hur det används och, och transparens... Allt är bra och de behövs alla... Men de räcker inte. Vi behöver verkligen dessa, dessa djupare reformer.

Jennifer Strong: Han säger att det inte bara kan vara upp till företagen som tillverkar tekniken att ansvara för de regler som styr den.

Jameson Spivek : Vi måste vara väldigt vaksamma och fråga oss själva är de saker som dessa företag stödjer i form av lagstiftning, ska de verkligen skydda människor eller är det bara ett sätt för företagen att få klarhet i hur tekniken regleras, men inte riktigt reglerat på ett sätt som är tillräckligt starkt som faktiskt skyddar människor och sedan faktiskt verkligen påverkar företagets förmåga att producera det. Jag tror inte att de frivilligt kommer att ge upp att sälja den här tekniken. så det är verkligen på lagstiftarna att gå in.

Jameson Spivek : De flesta av de stora företagen som utvecklar ansiktsigenkänning för polisen och för regeringen är mindre, mer specialiserade företag som de flesta inte har hört talas om.

Jennifer Strong: Ett av de företag som du förmodligen aldrig har hört talas om är NTechLab, även om det först gjorde vågor för ungefär fem år sedan när det, som en helt ny startup, slog Google och vann en internationell tävling med 95 procents noggrannhet i en av kategorierna .

Sedan dess har det ryska företaget upprepade gånger vunnit biometritävlingar som hålls av företag som Amazon, av amerikanska statliga myndigheter och universitet.

Jennifer Strong: Och grundaren av företaget är den här mannen...

Artem Kuharenko : Artem Kuharenko

Jennifer Strong: NTechLab är mest känd för sin app som heter FindFace, som låter människor söka sociala medieprofiler med foton på sina telefoner.

Är det avsett för en viss grupp människor eller vill du att det ska vara tillgängligt för vem som helst på sociala medier?

Artem Kuharenko : Det var tillgängligt för alla på internet.

Jennifer Strong: Så här beskrev John Oliver appen under ett senaste avsnitt av HBO:s Last Week Tonight.

John Oliver : Om du vill ha en känsla för hur skrämmande den här tekniken kan vara om den blir en del av vardagen, se bara när en rysk TV-presentatör demonstrerar en app som heter FindFace... [nyhetsrulle] Om du befinner dig på ett kafé med en attraktiv tjej och du har inte modet att närma dig henne, inga problem. Allt du behöver är en smart telefon och applikationen FindFace.

Jennifer Strong: Mannen i den här videon använder appen för att ta ett foto av en kvinna vid ett annat bord. Det drar omedelbart upp hennes profil på Rysslands version av Facebook.

John Oliver : Föreställ dig bara att ur en kvinnas perspektiv... oroa dig inte, jag vet redan var du bor.

Jennifer Strong: Appen var en viral hit. Men nu för tiden ligger NTechLabs uppmärksamhet på live ansiktsigenkänning – vilket betyder att algoritmen fungerar i video, i realtid.

Ett system som de installerade i staden Moskva tros vara bland de största av denna typ i världen.

Artem Kuharenko : Just nu är mer än 100 000 videokameror anslutna till systemet, och systemet visade sig vara mycket användbart och användbart för staden.

Jennfier Strong: Så, 100-tusen videokameror, som fångar en miljard ansikten per månad. Och han hävdar att systemet är väldigt, väldigt exakt.

Artem Kuharenko : Så det är bara ett falskt accepterande, per 10 miljarder jämförelser. Det är en på tio nollor.

Jennfier Strong : Den typen av noggrannhet är okänd. Men vi kan inte heller säga att det är omöjligt - och jag kommer till varför om ett ögonblick. Vad vi vet är att det är mycket svårare att uppnå exakthet på livevideo än på foton.

Tidigare i den här serien pratade vi om försök med live ansiktsigenkänning av Londonpolisen som gav en noggrannhet på cirka 20 procent. Och en annan i New York City som under sin testperiod inte producerade ens en korrekt matchning.

Men i Moskva säger Kuharenko att hans system används för att lösa brott i realtid. Inklusive på världens största fotbollstävling:

Artem Kuharenko : Under fotbolls-VM 2018 i Moskva greps mer än 100 brottslingar på grund av systemet.

Jennfier Strong : NtechLab arbetar med mer än hundra kunder i 20 länder – inklusive amerikanska chiptillverkaren Nvidia och kinesiska telekom Huawei. Det har också smarta stadsprojekt i Dubai, fintech-projekt i Europa och detaljhandelspartnerskap i Nord- och Sydamerika.

Företaget lämnar in några algoritmer för testning av den amerikanska regeringen, men han säger att de inte kan göra det för sitt mest avancerade arbete.

Eftersom NIST – eller National Institute of Standards and Technology – testar ansiktsigenkänningsalgoritmer på foton, och hans senaste system använder video.

Artem Kuharenko: Deras tester är ganska långt ifrån verkliga scenarier.

Jennfier Strong: Och om statliga organ inte hinner med tekniken, är företagen mer eller mindre kvar att granska sig själva.

Artem Kuharenko : Ledande företag inom området har sina egna tester. I vårt företag har vi en mängd olika tester innan vi skickar den till produktion. Men problemet är att det inte finns något oberoende test, som kommer att vara öppet, där vem som helst kan se och vem som helst kan testa alla algoritmer.

Jennfier Strong : I somras lade NTechLab till siluettdetektering till sin videoplattform. Det används för att identifiera personer i profilen.

De har också tagit på sig en ny roll med den globala pandemin...

Artem Kuharenko: ...mäta avstånd mellan människor och hitta områden där många människor står nära varandra, så att staden kan förbättra de processer som sker i dessa områden. Det hjälpte också till att stoppa för expansion av coronaviruset i Moskva.

Jennifer Strong : Nu, men när vi är mitt i den här globala pandemin, hur väl fungerar tekniken när någon bär en mask?

Artem Kuharenko : Den fungerar med samma noggrannhet som utan mask. Så det är nästan samma noggrannhet. Och vi har också en speciell algoritm, som kan avgöra om det finns en mask på en person och om den bärs korrekt eller inte.

Jennfier Strong: Att bära en mask har vanligtvis gjort att noggrannheten hos dessa system har sjunkit, inklusive i ett pre-pandemiskt test av NTech Lab av NIST. Men pandemin har skapat något av en kapprustning mellan företag som försöker bygga system som läser maskerade ansikten. Byrån säger också att företagets algoritmer ofta är bland de mer exakta de testar.

Vi vet helt enkelt inte.

Men maskerad eller inte, ansiktsigenkänning är inte det enda som händer på dessa videoflöden.

Artem Kuharenko: Bildetektering... registreringsskyltigenkänningen... och vi kombinerar all denna videoanalys så att den kan fungera som ett helt system och extrahera så mycket information från videoströmmen som möjligt. Helst kommer systemet att kunna extrahera så mycket information som människan kan se i videon. Men algoritmen kan göra det, med en mycket bättre hastighet. Och om människan bara kan bearbeta en videoström åt gången, kan systemet bearbeta hundratals och hundratusentals videor i realtid.

Jennfier Strong: Oroar du dig någonsin för att någon kan ta allt ditt hårda arbete och använda det för att bygga en värld du egentligen inte vill leva i?

Artem Kuharenko : Äh, det gör jag inte, jag tror faktiskt inte på det här scenariot eftersom det är ett ganska bra scenario för filmen, men det är ett mycket osannolikt scenario i verkligheten.

Artem Kuharenko : Som ett teknikföretag försöker vi alltid berätta för folk så att folk förstår vad som händer och fattar beslutet om de vill ha det eller inte.

Jennfier Strong : Precis som grundaren av Clearview säger han att det är upp till oss – vardagliga människor och medborgare över hela världen – att bestämma om och hur vi ska leva med denna teknik. Nu, med tanke på de många frågorna kring transparens och ansvarighet, verkar det inte riktigt så lätt. Men det finns människor som hårt försöker ta det ansvaret.

Och du kommer att träffa en på bara ett ögonblick.

Deb Raji: Jag antar att resan dit vi är idag har uppstått från den här första sortens spräckning av de rosa linserna, det här är en teknik som fungerar, och som visar att den inte fungerar för mycket specifika människor...och sedan öppnas senare upp, det här samtalet om vad betyder det egentligen att ansiktsigenkänning fungerar?

Jag är Debra Raji och jag är en tekniker vid A-I now Institute.

Jennfier Strong : Det är baserat på NYU och arbetar för att förstå de sociala effekterna av ansiktsigenkänning och annan AI-teknik.

Deb Raji: Du vet, hur kan vi faktiskt börja föra konversationer kring dess begränsning, kring avslöjandet av dess användning, och hur ser det ut när det gäller policyrestriktioner?

Jennfier Strong : Som AI-forskare har hon en superkraft som de flesta av oss inte har. Hon kan granska algoritmerna som får ansikts-ID-produkter att fungera... så länge som företag ger åtkomst.

Och hennes ansträngningar tvingar fram förändring. Gnistan som skickade henne in på den här vägen kom från vad hon beskriver som en hemsk insikt under hennes högskolepraktik på ett maskininlärningsföretag.

Deb Raji : Vänta lite, ansiktsigenkänning fungerar faktiskt inte för alla.

Jennfier Strong: Hon arbetade på en datorseendemodell som skulle hjälpa kunder att flagga olämpliga bilder som osäkra för arbetet. Problemet var att det flaggade foton av färgade personer i mycket högre takt.

Så hon letade efter problemet och hittade det. Modellen lärde sig att känna igen osäkra bilder från pornografi och säkra bilder från stockfoton. Det visar sig att porr är mycket mer mångsidigt och att mångfalden fick modellen att automatiskt associera mörk hud med smarrigt innehåll.

Startupen vägrade göra något åt ​​det. Så hon gick till arbetet med dessa frågor med en kvinna som vi träffade tidigare i den här serien – Joy Buolamwini – som som student gjorde en mer mångsidig och balanserad datauppsättning. De använde den för att granska algoritmer i ansikts-ID-produkter som redan finns på marknaden.

Detta arbete har mycket att göra med dagens förståelse för hur dessa produkter misslyckas med kvinnor och färgade.

Men det kom till en kostnad.

Deb Raji: Datavisionsgemenskapen på den tiden hade inte dessa samtal kring etik och samhälle och rättvisa. Som, nu är vi mycket mer bekväma med det här arbetet, men det fanns en tid då till och med forskarvärlden också var väldigt fientlig och ifrågasättande typ, vad är det här? Vad är din poäng här? Vad är betydelsen av detta?

Jennfier Strong : Det förändrades med tiden och hon säger att hon har fått stöd inom de företag som de granskar också.

Deb Raji : Och även om deras institutionella nivå eller företagsnivå var defensiv. Dessa individer inom dessa företag kämpade verkligen hårt för att förändra sina företags position och för att driva på några av dessa positioner som vi ser idag.

Jennfier Strong : Amazon och Microsoft tog nyligen en paus med att sälja sina ansikts-ID-system till brottsbekämpande myndigheter. IBM slutade arbeta med det helt och hållet.

Deb Raji : Det finns den här typen av ytterligare erkännande med dessa moratorier att säga, vänta, och faktiskt, medan denna nyanserade konversation sker med avseende på upprättandet av denna policy och denna förordning som vi desperat behöver. Vi kommer inte att sälja den tekniken samtidigt. Och jag tror att insikten och den klyftan är ett viktigt steg framåt i samtalet.

Jennfier Strong : Så det är brådskande i detta ögonblick, som hon kallar en paus. Och under denna paus är det mycket vi behöver reda ut.

Men om vi förlitar oss på att teknikföretag ska gå hela vägen med reglering?

Deb Raji : …de kommer alltid att misslyckas.

VO: Och hon varnar för att ansikts-ID bara är toppen av isberget.

Deb Raji : Det är mycket lättare att ha det här samtalet om ansikten än det är att ha det om, försäkringsdata eller medicinska data, eller, du vet, till och med några av dessa socialförsäkringssystem, även om denna exakta situation med denna oproportionerliga prestation också gäller till de fallen.

Jennfier Strong : Så framöver vill hon ha avslöjande och transparens. Hon efterlyser också ett ordentligt utvärderingssystem.

Men i slutändan:

Deb Raji: Mycket av makten ligger i beslutsfattarnas händer eftersom stora teknikföretag definitivt inte borde kontrollera konversationen.

Jennfier Strong : Vi kan vara i en brytpunkt i vårt förhållande till ansiktsigenkänning, och med hur det används.

Och ändå, det verkar säkert att säga att antagandet av den här tekniken sannolikt kommer att fortsätta i en rasande takt, och lämnar vår förståelse av dess kraft och inverkan i dammet - om vi inte verkligen stannar upp och tar ett andetag och sätter några regler för vem får tillgång till bilder på våra ansikten, och vad de kan göra med dem.

Nästa avsnitt ... vi svabbar efter coronaviruset på New York Citys tunnelbana, medan vi utforskar AI:s roll för att få världens kollektivtrafiksystem igång igen.

Det här avsnittet rapporterades och producerades av mig, Tate Ryan-Mosley, Emma Cillekens och Karen Hao. Vi fick hjälp av Benji Rosen. Vi är redigerade av Michael Reilly och Gideon Litchfield. Vår tekniska chef är Jacob Gorski.

Vi ses här igen om ett par veckor.

Tack för att du lyssnade, jag heter Jennifer Strong.

Dölj