Storbritannien släpper en immigrationsalgoritm som kritiker säger är rasistisk

James Cridland / Flickr

Nyheterna: Det brittiska inrikeskontoret har sagt att det kommer att göra det sluta använda en algoritm att behandla visumansökningar som kritiker hävdar är rasistiskt partisk. Motståndare till det argumentera att algoritmens användning av nationalitet för att avgöra vilka ansökningar som snabbspåras har lett till ett system där människor från rika vita länder får Speedy Boarding; fattigare färgade skjuts längst bak i kön.

Dags för en omdesign: Inrikesministeriet förnekar att dess system är rasistiskt och att rättstvister fortfarande pågår. Trots det har Home Office gått med på att släppa algoritmen och planerar att återlansera en omdesignad version senare i år, efter att ha genomfört en fullständig granskning som kommer att leta efter omedveten fördom. Under tiden kommer Storbritannien att anta ett tillfälligt system som inte använder nationalitet för att sortera ansökningar.

Trafiksystem: Sedan 2015 har Storbritannien filtrerat visumansökningar med hjälp av ett trafikljussystem som tilldelar en rött, gult eller grönt risknivå till varje sökande. Personer som tilldelats en röd risknivå var mer benägna att nekas.

Bredare trend: Algoritmer är kända för förankra institutionella fördomar , särskilt rasistiska sådana. Ändå används de mer och mer för att hjälpa till att fatta viktiga beslut, från kreditupplysningar till visumansökningar till förhör och polisarbete . Kritiker har klagat på att USA:s immigrationssystem är det rasistiskt partisk för. Men i de flesta fall är det svårt att packa upp exakt hur dessa algoritmer fungerar och avslöja bevis på deras partiskhet eftersom många är proprietära och deras användning har liten offentlig tillsyn.

Men kritiken växer. I USA stängs vissa polisavdelningar av kontroversiella prediktiva algoritmer och teknikföretag har slutat leverera partisk ansiktsigenkänningsteknik . I februari en holländsk domstol beslutade att ett system som förutspådde hur sannolikt en person var att begå välfärds- eller skattebedrägerier var olagligt eftersom det orättvist riktade sig mot minoriteter. Det brittiska inrikeskontorets beslut att se över sitt system utan att vänta på ett juridiskt beslut kan visa sig vara en milstolpe.

Dölj