Pandemin testar gränserna för ansiktsigenkänning

Ms Tech | Pexels

Vid första anblicken ser JB, en artist baserad i Los Angeles, kanske inte mycket ut som bilden på deras körkort. Dels är ID-fotot från några år sedan. Hår som en gång var långt och mörkt är nu surrande och blekt. Och det finns det faktum att JB är transperson och har tagit testosteron i över två år, vilket har lett till förändrade ansiktsdrag, tjockare ögonbryn och akne som inte fanns där tidigare. (De bad om att bli identifierade endast med sina första initialer på grund av integritetsproblem.)

JB förlorade ett deltidsjobb i detaljhandeln när nedstängningarna inträffade i mars förra året och, liksom miljontals andra amerikaner, försökte ansöka om arbetslöshetsersättning – utan att misstänka att deras förändrade utseende skulle stå i vägen. Månader efter att ha skickat in pappersarbete elektroniskt och ringt flera samtal till en hotline som inte gick någonstans, blev JB äntligen inbjuden att använda Kaliforniens ansiktsigenkänningssystem för att verifiera sin identitet. Men även efter flera försök kunde systemet inte matcha JB:s ansikte och ID-foto, vilket uteslöt dem från fördelarna de kvalificerade sig för. Så småningom slutade JB försöka: processen var för frustrerande.

Relaterad berättelse

Hur dessa amerikanska skolor öppnade igen utan att utlösa ett covid-utbrott

Skolor som höll nere fall förra året, trots pandemikaoset, delade några strategier gemensamt. Här är vad de kan lära oss om att göra det rätt.

Brottsbekämpande och privata företag har använt ansiktsigenkänning i flera år, men användningen av tekniken för att distribuera statligt stöd har expanderat snabbt under pandemin. stater och federala myndigheter har vänt sig till ansiktserkännande som ett kontaktlöst, automatiserat sätt att verifiera identiteten på personer som ansöker om arbetslöshet och andra offentliga förmåner.

Experter och aktivister oroar sig för att misslyckanden med denna teknik kan hindra människor från att få fördelar de desperat behöver – och att det kan bli ännu farligare om det fungerar som det är tänkt.

Använd ditt ansikte för det vardagliga

Pandemin påskyndade användningen av många biometriska datainsamlingsverktyg – temperaturkontroller vid dörrar, värmekameror i skolor, ansiktsskanningar på flygplatser. När det kommer till förmåner som arbetslöshet, vänder sig delstatsregeringarna särskilt till ansiktsigenkänning, för att verifiera människors identitet innan de släpper pengar de har rätt till. Den andra vågen av amerikanska stimulansfonder, som antogs i december 2020, krävde att stater skulle verifiera personer som ansökte om Pandemic Employment Assistance – en federal pool av pengar.

Nu uppger 27 arbetslöshetsbyråer (Kalifornien är bland dem) arbetar med ID.me, ett företag som erbjuder ansiktsigenkänningsteknik, säger VD Blake Hall. Det amerikanska arbetsdepartementet gav också miljoner i finansiering till stater att genomföra bedrägeriförebyggande åtgärder, vilket har pumpade mer dollar till ansiktsigenkänning. De senaste månaderna har det funnits rapporter över hela landet av incidenter där arbetslöshetssystem misslyckades med att känna igen sökandes ansiktsskanningar, vilket försatte människor som JB i prekära ekonomiska situationer. Risken för felidentifiering är inte lika fördelad: ansiktsigenkänning har visat sig vara mindre exakt för icke-vita än vita människor, och män är mer benägna att identifieras exakt än kvinnor, enligt a federal studie publicerades 2019. Fynden utforskades ytterligare i en studie förra året.

Hall säger i ett urval av 700 användare att ID.me inte hittade en korrelation mellan hudton och sannolikheten att misslyckas med en-till-en-matchningssteget.

Mjukvara för ansiktsigenkänning började bli vanligare år före pandemin, och dess potentiella brister är väldokumenterade: journalister har avslöjat hur polisavdelningar över hela USA använder stora databaser med ansikten i utredningar, med tveksam noggrannhet. Företag har stoppats eller begränsats användning av tekniken bland bevis för att den inte fungerar lika bra på färgade personer. Trots det fortsätter det att spridas: andra federala myndigheter planen på att utöka användningen, samtidigt som den också används överallt från köpcentra till konsertlokaler. Macy's var stämde förra året över dess påstådda användning av ansiktsigenkänning på butikskunder. Men pandemi-relaterad användning av tekniken för att undersöka saker som förmånsberättigande har kritiker särskilt oroade.

Det som håller mig vaken på natten är att med pandemin som accelererar så kommer vi bara att börja se det här dyka upp överallt, säger Evan Greer, chef för Fight for the Future, en grupp för digitala rättigheter. Det kommer att finnas i butiker och du har möjlighet att betala med ditt ansikte. Det kommer att normaliseras på kollektivtrafiken. Den kommer att användas vid anställningsintervjuer.

Relaterad berättelse

Hur har USA:s pandemisvar ökat ojämlikheten? Titta på New Yorks nagelsalonger.

Medan många tjänstemän stannade hemma för att undvika covid, mötte salongsanställda höga infektionsfrekvenser, omöjliga val om att hålla sig säkra och lite statlig hjälp.

Mer och mer används det i vad som framställs som intresset för folkhälsan. Australien nyligen utökat ett program använder ansiktsigenkänning för att upprätthålla säkerhetsåtgärder för covid-19. Personer som är i karantän är föremål för slumpmässiga incheckningar, där de måste skicka en selfie för att bekräfta att de följer reglerna. Platsdata samlas också in, enligt Reuters.

När det kommer till väsentligheter som nödförmåner för att betala för bostad och mat, bör första prioritet vara att se till att alla har tillgång till hjälp, säger Greer. Att förebygga bedrägerier är ett rimligt mål på ytan, tillägger hon, men det mest angelägna målet måste vara att ge människor de fördelar de behöver.

System måste byggas med mänskliga rättigheter och med sårbara människors behov i åtanke från början. Det kan inte vara eftertanke, säger Greer. De kan inte vara buggfixar efter att det redan blivit fel.

ID.me's Hall säger att hans företags tjänster är att föredra framför de befintliga metoderna för att verifiera identitet och har hjälpt stater att minska på massiva arbetslöshetsbedrägerier sedan de införde ansiktsverifieringskontroller. Han säger att arbetslöshetsanmälningar har omkring 91 % verklig genomgångsfrekvens – antingen på egen hand eller genom ett videosamtal med en ID.me-representant.

[Det] var vårt mål att gå in, säger han. Om vi ​​kunde automatisera bort 91 % av detta, så kan de stater som bara är överkörda när det gäller resurser använda dessa resurser för att tillhandahålla conciergeservice med vita handskar till de 9 %.

När användare inte kan ta sig igenom ansiktsigenkänningsprocessen mailar ID.me dem för att följa upp, enligt Hall.

Allt med det här företaget handlar om att hjälpa människor att få tillgång till saker de är berättigade till, säger han.

Teknik i den verkliga världen

Månaderna som JB klarade sig utan inkomst var svåra. Den ekonomiska oron räckte för att orsaka stress, och andra problem som en trasig dator förvärrade ångesten. Inte ens deras tidigare arbetsgivare kunde eller ville hjälpa till att skära igenom byråkratin.

Det är väldigt isolerande att säga: 'Ingen hjälper mig i någon situation', säger JB.

På regeringssidan säger experter att det är vettigt att pandemin förde ny teknik i förgrunden, men fall som JB:s visar att teknik i sig inte är hela svaret. Anne L. Washington, biträdande professor i datapolitik vid New York University, säger att det är frestande att betrakta en ny statlig teknologi som en framgång när den fungerar för det mesta under forskningsfasen men misslyckas 5 % av tiden i den verkliga världen. Hon jämför resultatet med en omgång musikaliska stolar, där fem i ett rum med 100 personer alltid kommer att stå utan sittplats.

Problemet är att regeringar får någon form av teknik och det fungerar 95 % av tiden – de tror att det är löst, säger hon. Istället blir mänskligt ingripande viktigare än någonsin. Säger Washington: De behöver ett system för att regelbundet hantera de fem personer som står.

Det finns ytterligare ett lager av risk när ett privat företag är inblandat. Den största frågan som uppstår vid utbyggnaden av en ny typ av teknik är var data förvaras, säger Washington. Utan en betrodd enhet som har den lagliga skyldigheten att skydda människors information, kan känsliga uppgifter hamna i andras händer. Hur skulle vi känna till exempel om den federala regeringen hade anförtrott ett privat företag våra personnummer när de skapades?

Problemet är att regeringar får någon form av teknik och det fungerar 95 % av tiden – de tror att det är löst

Anne L. Washington, New York University

En utbredd och okontrollerad användning av verktyg för ansiktsigenkänning har också potential att påverka redan marginaliserade grupper mer än andra. Transpersoner, till exempel, har detaljerat , ofta problem med verktyg som Google Foton, som kan ifrågasätta om bilder före och efter övergången visar samma person. Det innebär att räkna med programvaran om och om igen.

[Det finns] felaktigheter i teknikens förmåga att spegla bredden av faktiska mångfald och fördelar som finns i den verkliga världen, säger Daly Barnett, en teknolog vid Electronic Frontier Foundation. Vi kan inte lita på att de korrekt klassificerar och beräknar och återspeglar dessa vackra kantfall.

Värre än misslyckande

Konversationer om ansiktsigenkänning diskuterar vanligtvis hur tekniken kan misslyckas eller diskriminera. Men Barnett uppmuntrar människor att tänka längre än om de biometriska verktygen fungerar eller inte, eller om bias visar sig i tekniken. Hon trycker tillbaka på tanken att vi behöver dem överhuvudtaget. Verkligen varnar aktivister som Greer, verktygen kan vara ännu farligare när de fungerar perfekt. Ansiktsigenkänning har redan använts för att identifiera, straffa eller kväva demonstranter, även om folk slår tillbaka. I Hong Kong bar demonstranter masker och skyddsglasögon dölja sitt ansikte s från sådan polisövervakning. I USA, federala åklagare lade ned åtal mot en demonstrant som identifierats med ansiktsigenkänning och som hade anklagats för att ha misshandlat poliser.

Relaterad berättelse

De officiella arbetslöshetssiffrorna är skrämmande. Den verkliga situationen är ännu värre. De rekordhöga arbetslöshetssiffrorna antyder bara den kris som många står inför utan arbete.

Jag tycker att det är förståeligt att vi fokuserar på dessa brister och fördomar, eftersom den här tekniken används just nu, säger Greer. Men när du tar en teknik ... och lägger den ovanpå ett samhälle som är djupt orättvist, även om tekniken i sig är 'neutral' eller den inte har någon form av partiskhet inbakad i sig, kommer det att ha effekten av automatisering och förvärra den diskrimineringen.

Fight for the Future och EFF stöder båda förbud mot statlig användning av verktyg för ansiktsigenkänning. Och Barnett säger att även när tekniken används bör statliga myndigheter inte förlita sig på ett enda system som gatekeeper att få tillgång till – särskilt för att få människor som de behöver för att överleva.

Det är inte långt att föreställa sig hur, även om de är välmenande nu, [dessa teknologier] kan beväpnas mot människor för olika ändamål senare, säger hon.

För marginaliserade människor orsakar dock borstar med ansiktsigenkänning redan problem. Mer än ett år efter att JB första gången ansökte om arbetslöshet sitter detaljerna i den mödosamma processen fortfarande insmorda i deras minne. När det ursprungliga kravet gick ut i våras var det en lättnad. De hade nyligen fått ett nytt jobb och det kändes äntligen på rätt spår igen.

Det var som att jag äntligen får ihop mitt liv igen, säger de. Jag är verkligen glad att jag inte behöver hantera det systemet. Och jag hoppas verkligen att jag inte behöver ta itu med det systemet någonsin igen.

Den här historien är en del av Pandemic Technology Project, som stöds av Rockefeller Foundation.

Dölj