Åtta fallstudier om reglering av biometrisk teknik visar oss en väg framåt

Amba Kak med tillstånd av AI Now

Amba Kak gick på juristutbildningen i Indien när landet startade Aadhaar-projektet 2009. Det nationella biometriska ID-systemet, tänkt som ett omfattande identitetsprogram, försökte samla in fingeravtryck, irisskanningar och fotografier av alla invånare. Det tog inte lång tid, minns Kak, innan berättelser om dess förödande konsekvenser började spridas. Vi hörde plötsligt rapporter om hur manuella arbetare som arbetar med sina händer – hur deras fingeravtryck misslyckades med systemet, och de nekades sedan tillgång till grundläggande förnödenheter, säger hon. Det hade vi faktiskt svältdöd i Indien som kopplades till de barriärer som dessa biometriska ID-system skapade. Så det var en riktigt avgörande fråga.

Dessa fall provocerade henne att undersöka biometriska system och hur lagen kunde hålla dem ansvariga. Den 2 september släppte Kak, som nu är chef för global strategi och program vid New York-baserade AI Now Institute, en ny rapport beskriver åtta fallstudier av hur biometriska system regleras runt om i världen. De sträcker sig över stad, stat, nationell och global insats, såväl som några från ideella organisationer. Målet är att utveckla en djupare förståelse för hur olika tillvägagångssätt fungerar eller kommer till korta. Jag pratade med Kak om vad hon lärde sig och hur vi skulle gå vidare.

Denna intervju har redigerats och komprimerats för tydlighetens skull.

Vad motiverade detta projekt?

Biometrisk teknik är sprider sig och blir normaliserad , både i statliga domäner men också i våra privata liv. Övervakningen av protester med hjälp av ansiktsigenkänning skedde bara i år i Hongkong, i Delhi, i Detroit och i Baltimore. Biometriska ID-system, som det är mindre omtalade, där biometri används som ett villkor för att få tillgång till dina välfärdstjänster – som också sprids över låg- och medelinkomstländer i Asien, Afrika och Latinamerika.

Men det intressanta är att återhämtningen mot dessa system också är på topp. Förespråkandet kring det får mer uppmärksamhet än någonsin tidigare. Så då är frågan: Var spelar juridik och policy in? Det är där det här kompendiet kommer in. Den här rapporten försöker dra fram vad vi kan lära av dessa erfarenheter i ett ögonblick när det verkar som om det finns en stor aptit från regeringar och från förespråkargrupper för mer reglering.

Vad är det aktuella läget för biometrisk reglering globalt? Hur mogna är de rättsliga ramarna för att hantera denna framväxande teknik?

Det finns cirka 130 länder i världen som har dataskyddslagar. Nästan alla täcker biometriska data. Så om vi bara ställer frågan om det finns lagar för att reglera biometriska data, då skulle svaret vara i de flesta länder, de gör det.

Men när du gräver lite djupare, vilka är begränsningarna för en dataskyddslag? En dataskyddslagstiftning när den är som bäst kan hjälpa dig att reglera när biometriska uppgifter används och se till att de inte används för ändamål för vilka samtycke inte gavs. Men frågor som noggrannhet, diskriminering - dessa frågor har fortfarande fått väldigt lite juridisk uppmärksamhet.

Å andra sidan, hur är det med att helt förbjuda tekniken? Vi har sett det koncentrerat till USA på stads- och delstatsnivå. Jag tror att folk ibland glömmer att det mesta av denna lagstiftningsverksamhet har koncentrerats till offentligt bruk och mer specifikt på polisanvändning.

Så vi har en blandning av dataskyddslagar som ger vissa skyddsåtgärder men som i sig är begränsade. Och sedan har vi en koncentration av dessa fullständiga moratorier på lokal stads- och delstatsnivå i USA.

Vilka var några vanliga teman som framkom från dessa fallstudier?

För mig var den tydligaste kapitlet om Indien av Nayantara Ranganathan, och kapitlet om den australiensiska databasen för ansiktsigenkänning av Monique Mann och Jake Goldenfein. Båda dessa är massiva centraliserade statliga arkitekturer där hela poängen är att ta bort de tekniska silorna mellan olika stater och andra typer av databaser, och att se till att dessa databaser är centralt länkade. Så du skapar denna monstercentraliserade, centralt länkade biometriska dataarkitektur. Sedan som ett plåster på detta enorma problem, säger du, okej, vi har en dataskyddslag som säger att data aldrig ska användas för ett syfte som inte var föreställt eller förutsett. Men under tiden ändrar du förväntningarna på vad som kan förutses. Idag används databasen som användes i ett straffrättsligt sammanhang nu i ett invandringssammanhang.

Till exempel, [i USA] använder eller försöker ICE nu använda DMV-databaser i olika stater i processen för invandring. Så dessa är databaser skapade i ett civilt sammanhang, och de försöker använda dem för immigration. På samma sätt i Australien har du denna gigantiska databas, som inkluderar körkortsdata, som nu kommer att användas för gränslösa straffrättsliga ändamål, och där inrikesdepartementet kommer att ha fullständig kontroll. Och på liknande sätt i Indien skapade de en lag, men lagen lade i princip det mesta av skönsmässigheten i händerna på myndigheten som skapade databasen. Så jag tror från dessa tre exempel, vad som blir tydligt för mig är att du måste läsa lagen i sammanhanget med de bredare politiska rörelser som sker. Om jag var tvungen att sammanfatta den bredare trenden, så är det säkrandet av alla aspekter av styrning, från straffrätt till immigration till välfärd, och det sammanfaller med strävan efter biometri. Det är en.

Den andra – och det här är en lärdom som vi fortsätter att upprepa – samtycke som ett juridiskt verktyg är väldigt trasigt, och det är definitivt trasigt i samband med biometriska data. Men det betyder inte att det är värdelöst. Woody Hartzogs kapitel om Illinoiss BIPA [Biometric Information Privacy Act] säger: Titta, det är bra att vi har haft flera framgångsrika stämningar mot företag som använder BIPA, senast med Clearview AI. Men vi kan inte fortsätta förvänta oss att samtyckesmodellen ska åstadkomma strukturella förändringar. Vår lösning kan inte vara: Användaren vet bäst; användaren kommer att berätta för Facebook att de inte vill att deras ansiktsdata samlas in. Kanske kommer användaren inte att göra det, och bördan bör inte ligga på individen att fatta dessa beslut. Detta är något som integritetsgemenskapen verkligen har lärt sig den hårda vägen, varför lagar som GDPR inte bara förlitar sig på samtycke. Det finns också hårda riktlinjer som säger: Om du har samlat in data av en anledning kan du inte använda den för ett annat ändamål. Och du kan inte samla in mer data än vad som är absolut nödvändigt.

Fanns det något land eller någon stat som du tyckte visade särskilt lovande i sin inställning till regleringen av biometri?

Ja, föga överraskande är det inte ett land eller en stat. Det är faktiskt Internationella Röda Korsets kommitté [ICRC]. I volymen, Ben Hayes och Massimo Marelli – de är båda faktiskt representanter för ICRC – skrev ett reflekterande stycke om hur de beslutade att det fanns ett legitimt intresse för dem att använda biometri i samband med att distribuera humanitärt bistånd. Men de insåg också att det fanns många regeringar som skulle pressa dem för att få tillgång till dessa uppgifter för att förfölja dessa samhällen.

Så de hade en mycket verklig gåta, och de löste det genom att säga: Vi vill skapa en biometripolicy som minimerar det faktiska bevarandet av människors biometriska data. Så vad vi kommer att göra är att ha ett kort där någons biometriska data lagras säkert. De kan använda det kortet för att få tillgång till den humanitära välfärden eller den hjälp som tillhandahålls. Men om de bestämmer sig för att slänga det kortet kommer uppgifterna inte att lagras någon annanstans. Politiken beslutade i princip att inte upprätta en biometrisk databas med uppgifter om flyktingar och andra i behov av humanitär hjälp.

För mig är den bredare lärdomen av det att inse vad problemet är. Problemet i det fallet var att databaserna skapade en honungskruka och en verklig risk. Så de kom på både en teknisk lösning och ett sätt för människor att dra tillbaka eller radera sin biometriska data med fullständig byrå.

Vilka är de största luckorna du ser i strategier för biometrisk reglering över hela linjen?

Ett bra exempel för att illustrera den punkten är: Hur hanterar lagen hela denna fråga om partiskhet och noggrannhet? Under de senaste åren har vi sett så mycket grundforskning från människor som Joy Buolamwini, Timnit Gebru och Deb Raji som existentiellt utmanar: Fungerar dessa system? Vem arbetar de mot? Och även när de klarar dessa så kallade noggrannhetstester, hur presterar de egentligen i ett verkligt sammanhang?

Datasekretess bryr sig inte om den här typen av problem. Så vad vi har sett nu – och det här är mestadels lagstiftningsansträngningar i USA – är lagförslag som kräver noggrannhet och icke-diskrimineringsrevisioner för system för ansiktsigenkänning. Några av dem säger: Vi pausar användningen av ansiktsigenkänning, men ett villkor för att häva detta moratorium är att du klarar detta noggrannhets- och icke-diskrimineringstest. Och testerna som de ofta hänvisar till är tekniska standardtester som NIST:s ansiktsigenkännande leverantörstest.

Men som jag argumenterar i det första kapitlet , dessa tester utvecklas; de har visat sig underprestera i verkliga sammanhang; och viktigast av allt, de är begränsade i sin förmåga att ta itu med den bredare diskriminerande effekten av dessa system när de tillämpas i praktiken. Så jag är verkligen orolig på något sätt över att dessa tekniska standarder blir en slags kryssruta som måste markeras, och som sedan ignorerar eller fördunklar de andra former av skador som dessa tekniker har när de tillämpas.

Hur förändrade det här kompendiet ditt sätt att tänka kring biometrisk reglering?

Det viktigaste det gjorde för mig är att inte tänka på reglering bara som ett verktyg som hjälper till att begränsa dessa system. Det burk vara ett verktyg för att trycka tillbaka mot dessa system, men likaså kan det vara ett verktyg för att normalisera eller legitimera dessa system. Det är först när vi tittar på exempel som det i Indien eller det i Australien som vi börjar se juridik som ett mångfacetterat instrument, som kan användas på olika sätt. I det ögonblick när vi verkligen trycker på för att säga Behöver dessa teknologier existera överhuvudtaget? lagen, och särskilt den svaga regleringen, kan verkligen beväpnas. Det var en bra påminnelse för mig. Det måste vi vara försiktiga med.

Det här samtalet har definitivt varit avslöjande för mig, för som någon som täcker hur tekniken är beväpnad, får jag ofta frågan, vad är lösningen? och jag säger alltid, förordning. Men nu säger du att reglering också kan beväpnas.

Det är så sant! Detta får mig att tänka på dessa grupper som brukade arbeta med våld i hemmet i Indien. Och jag minns att de sa att i slutet av decennier av kamp för rättigheterna för överlevande av våld i hemmet, sa regeringen till slut: Okej, vi har antagit den här lagen. Men efter det förändrades ingenting. Jag minns att jag redan då tänkte att vi ibland glorifierar tanken på att anta lagar, men vad händer efter det?

Och det här är en bra segue – även när jag läser Clare Garvie och Jameson Spivacks kapitel om förbud och moratorier , påpekar de att de flesta av dessa förbud endast gäller för statlig användning. Det finns fortfarande denna enorma privata industri på flera miljarder dollar. Så det kommer fortfarande att användas på Taylor Swift-konserten på väldigt liknande sätt som poliser skulle använda det på: att hålla människor utanför, att diskriminera människor. Det stoppar inte maskinen. Den där typ av rättsligt ingripande skulle kräva en aldrig tidigare skådad opinionsbildning. Jag tror inte att det är omöjligt att ha det så kallade fullständiga förbudet, men vi är inte där än. Så ja, vi måste vara mer försiktiga och kritiska till hur vi förstår lagens roll.

Vad sägs om kompendiet som gjorde dig hoppfull inför framtiden?

Det är alltid en så svår fråga, men det borde det inte vara. Det var det förmodligen Rashida Richardson och Stephanie Coyles kapitel . Deras kapitel var nästan som en etnografi om den här gruppen föräldrar i New York som kände väldigt starkt för det faktum att de inte ville att deras barn skulle övervakas. Och de sa: Vi kommer att gå på varje möte, även om de inte förväntar sig att vi ska göra det. Och vi kommer att säga att vi har ett problem med detta.

Det var bara väldigt lugnande att lära sig om en berättelse där det var föräldragruppen som helt förändrade diskursen. De sa: Låt oss inte prata om huruvida biometri eller övervakning är nödvändig. Låt oss bara prata om de verkliga skadorna av detta för våra barn och om detta är den bästa användningen av pengar. En senator tog sedan upp detta och lade fram ett lagförslag, och bara i augusti antog delstatens New Yorks senat detta lagförslag. Jag firade med Rashida för att jag var som, Yay! Sådana här historier händer! Det är väldigt djupt kopplat till berättelsen om påverkansarbete.

Dölj