Partiska algoritmer finns överallt, och ingen verkar bry sig

Kate Crawford, talar vid AI Now-konferensen på MIT den här veckan. John Maeda (@johnmaeda)

Ogenomskinliga och potentiellt partiska matematiska modeller gör om våra liv – och varken företagen som ansvarar för att utveckla dem eller regeringen är intresserade av att ta itu med problemet.

Den här veckan startade en grupp forskare, tillsammans med American Civil Liberties Union, ett försök att identifiera och lyfta fram algoritmiska fördomar. De AI Now-initiativ tillkännagavs vid ett evenemang som hölls på MIT för att diskutera vad många experter ser som en växande utmaning.

Algoritmisk bias formas till att bli en stor samhällsfråga i ett kritiskt ögonblick i utvecklingen av maskininlärning och AI. Om partiskheten som lurar inuti algoritmerna som fattar allt viktigare beslut blir okänd och okontrollerad, kan det få allvarliga negativa konsekvenser, särskilt för fattigare samhällen och minoriteter. Det slutliga ramaskriet kan också hindra utvecklingen av en otroligt användbar teknik (se Inspektera algoritmer för bias).

Algoritmer som kan dölja dolda fördomar används redan rutinmässigt för att fatta viktiga ekonomiska och juridiska beslut. Proprietära algoritmer används för att till exempel avgöra vem som får en anställningsintervju, vem som får villkorlig frigivning och vem som får lån.

Grundarna av det nya AI Now Initiative, Kate Crawford , en forskare på Microsoft, och Meredith Whittaker, en forskare på Google, säger att partiskhet kan finnas i alla möjliga tjänster och produkter.

Det är fortfarande tidiga dagar för att förstå algoritmisk bias, sa Crawford och Whittaker i ett e-postmeddelande. Just i år har vi sett fler system som har problem, och det här är bara de som har undersökts.

Exempel på algoritmiska fördomar som har kommit fram på sistone, säger de, inkluderar felaktiga och felaktiga representationer system som används för att rangordna lärare , och könsorienterade modeller för naturlig språkbehandling .

Cathy O'Neil, en matematiker och författare till Vapen för matematisk förstörelse , en bok som belyser risken för algoritmisk fördom i många sammanhang, säger att människor ofta är för villiga att lita på matematiska modeller eftersom de tror att det kommer att ta bort mänsklig fördom. [Algorithmer] ersätter mänskliga processer, men de hålls inte till samma standarder, säger hon. Folk litar för mycket på dem.

En nyckelutmaning, menar dessa och andra forskare, är att viktiga intressenter, inklusive företag som utvecklar och tillämpar maskininlärningssystem och statliga tillsynsmyndigheter, visar lite intresse för att övervaka och begränsa algoritmisk bias. Finans- och teknikföretag använder alla möjliga matematiska modeller och är inte transparenta om hur de fungerar. O’Neil säger till exempel att hon är oroad över hur algoritmerna bakom Googles nya jobbsöktjänst fungerar.

Relaterad berättelse

Relaterad berättelse Utan vetenskaps- och teknikrådgivare i Vita huset kan president Trump kämpa för att svara på kriser.

O’Neil har tidigare arbetat som professor vid Barnard College i New York och kvantitativ analytiker på företaget D. E. Shaw. Hon är nu chef för Online Risk Consulting & Algoritmisk revision , ett företag inrättat för att hjälpa företag att identifiera och korrigera fördomar i de algoritmer de använder. Men O'Neil säger att även de som vet att deras algoritmer löper risk för bias är mer intresserade av slutresultatet än av att utrota bias. Jag ska vara ärlig mot dig, säger hon. Jag har inga kunder just nu.

O’Neil, Crawford och Whittaker varnar alla också för att Trump-administrationens bristande intresse för AI – och för vetenskap i allmänhet – innebär att det inte finns någon reglerande rörelse för att ta itu med problemet (se The Gaping, Dangerous Hold in the Trump Administration).

Office of Science and Technology Policy är inte längre aktivt engagerad i AI-policy – ​​eller mycket av något enligt deras hemsida, skriver Crawford och Whittaker. Politiskt arbete måste nu göras på annat håll.

Dölj