211service.com
Live ansiktsigenkänning spårar barn som misstänks vara kriminella
Ms Tech | Getty
I en nationell databas i Argentina beskriver tiotusentals poster namn, födelsedagar och nationella ID för personer som misstänks för brott. Databasen, känd som Consulta Nacional de Rebeldías y Capturas (National Register of Fugitives and Arrests), eller CONARC, startade 2009 som en del av ett försök att förbättra brottsbekämpningen för allvarliga brott.
Men det finns flera saker om CONARC. För det första är det en kalkylarksfil utan lösenordsskydd, som lätt kan hittas via Google Sök och laddas ner av vem som helst. För en annan är många av de påstådda brotten, som småstölder, inte så allvarliga - medan andra inte alls specificeras.
Mest alarmerande är dock åldern på den yngste påstådda gärningsmannen, endast identifierad som M.G., som åtalas för brott mot personer (med uppsåt)—allvarliga skador. M.G. föddes tydligen den 17 oktober 2016, vilket betyder att han är fyra år gammal en vecka blyg.
Nu en ny utredning från Human Rights Watch har funnit att inte bara barn regelbundet läggs till i CONARC, utan databasen driver också ett levande ansiktsigenkänningssystem i Buenos Aires som används av stadens regering. Detta gör systemet troligen till den första kända instansen i sitt slag som används för att jaga barn som misstänks för kriminell verksamhet.
Det är helt upprörande, säger Hye Jung Han, en förespråkare för barns rättigheter på Human Rights Watch, som ledde forskningen.
Buenos Aires började testa ansiktsigenkänning i direktsändning den 24 april 2019. Systemet genomfördes utan offentligt samråd och väckte omedelbart motstånd. I oktober, en nationell medborgarrättsorganisation lämnade in en stämningsansökan att utmana det. Som svar utarbetade regeringen ett nytt lagförslag – som nu går igenom lagstiftningsprocesser – som skulle legalisera ansiktsigenkänning i offentliga utrymmen.
Systemet designades för att länka till CONARC från början. Även om CONARC själv inte innehåller några foton av sina påstådda förövare, kombineras det med foto-ID från det nationella registret. Programvaran använder misstänktas huvudbilder för att skanna efter matcher i realtid via stadens tunnelbanekameror. När systemet flaggar en person varnar det polisen för att göra en arrestering.
Systemet har sedan dess lett till talrik falsk arresteringar (länkar på spanska), som polisen inte har något fastställt protokoll för att hantera. En man som identifierades av misstag hölls frihetsberövad i sex dagar och var på väg att överföras till ett fängelse med högsta säkerhet innan han slutligen klargjorde sin identitet. En annan fick höra att han borde förvänta sig att bli flaggad upprepade gånger i framtiden även om han hade bevisat att han inte var den polisen letade efter. För att hjälpa till att lösa förvirringen gav de honom ett pass att visa till nästa officer som kunde stoppa honom.
Det verkar inte finnas någon mekanism för att kunna korrigera fel i varken algoritmen eller databasen, säger Han. Det är en signal till oss att här är en regering som har skaffat en teknik som den inte förstår så väl när det gäller alla tekniska och mänskliga rättigheter.
Allt detta är redan djupt oroande, men att lägga till barn i ekvationen gör saken så mycket värre. Även om regeringen har offentligt förnekat (länk på spanska) att CONARC inkluderar minderåriga hittade Human Rights Watch minst 166 barn listade i olika versioner av databasen mellan maj 2017 och maj 2020. Till skillnad från M.G. identifieras de flesta av dem med fullständigt namn, vilket är olagligt. Enligt internationell lag om mänskliga rättigheter måste barn som anklagas för brott ha sin integritet skyddad under hela förfarandet.
Också till skillnad från M.G., var de flesta 16 eller 17 vid tidpunkten för inresan – även om det mystiskt nog har funnits några ett- till treåringar. Åldrarna är inte de enda uppenbara felen i barnens bidrag. Det finns uppenbara stavfel, motstridiga detaljer och ibland flera nationella ID för samma individ. Eftersom barn också förändras fysiskt snabbare än vuxna, riskerar deras foto-ID mer att bli föråldrade.
Utöver detta är ansiktsigenkänningssystem, även under idealiska laboratorieförhållanden, notoriskt dåliga på att hantera barn eftersom de är tränade och testade främst på vuxna. Buenos Aires-systemet är inte annorlunda. Enligt officiella dokument (länk på spanska), den testades endast på vuxna ansikten hos stadsanställda före upphandling. Tidigare amerikanska regeringstester av den specifika algoritmen som den tros använda tyder också på att den presterar sämre med en faktor sex på barn (åldrar 10 till 16) än vuxna (åldrar 24 till 40).
Alla dessa faktorer utsätter barn för en ökad risk att bli felidentifierade och falskt arresterade. Detta kan skapa ett obefogat brottsregister, med potentiellt långvariga återverkningar för deras utbildning och anställningsmöjligheter. Det kan också ha en inverkan på deras beteende.
Argumentet att ansiktsigenkänning ger en kylande effekt på yttrandefriheten är mer förstärkt för barn, säger Han. Du kan bara föreställa dig att ett barn [som har blivit falskt arresterat] skulle vara extremt självcensurerande eller försiktigt med hur de beter sig offentligt. Och det är fortfarande tidigt att försöka ta reda på de långsiktiga psykologiska effekterna – hur det kan forma deras världsbild och tankesätt också.
Medan Buenos Aires är den första staden som Han har identifierat genom att använda levande ansiktsigenkänning för att spåra barn, oroar hon sig för att många andra exempel är dolda. I januari, London meddelade att det skulle integrera levande ansiktsigenkänning i sin polisverksamhet. Inom några dagar sa Moskva att det hade gjort det rullade ut ett liknande system tvärs över staden.
Även om det ännu inte är känt om dessa system aktivt försöker matcha barn, påverkas barn redan. I dokumentären 2020 Kodad bias , är en pojke falskt fängslad av Londonpolisen efter att ansiktsigenkänning i direktsändning misstagit honom för någon annan. Det är oklart om polisen verkligen letade efter en minderårig eller någon äldre.
Även de som inte är fängslade förlorar sin rätt till integritet, säger Han: Det finns alla barn som passerar framför en kamera med ansiktsigenkänning bara för att komma åt tunnelbanesystemet.
Det är ofta lätt att glömma bort i debatter om dessa system att barn behöver särskild hänsyn . Men det är inte den enda anledningen till oro, tillägger Han. Det faktum att dessa barn skulle vara under den typen av invasiv övervakning - de fullständiga mänskliga rättigheterna och samhälleliga konsekvenserna av denna teknik är fortfarande okända. Med andra ord: det som är dåligt för barn är i slutändan dåligt för alla.