211service.com
Ny forskning syftar till att lösa problemet med AI-bias i Black Box-algoritmer
Siobhan Gallagher
Från att plocka aktier till att undersöka röntgenstrålar, artificiell intelligens används alltmer för att fatta beslut som tidigare var upp till människor. Men AI är bara så bra som den data den är tränad på, och i många fall slutar vi med att vi bakar in våra alltför mänskliga fördomar i algoritmer som har potential att ha en enorm inverkan på människors liv.
I en nytt papper publicerat på arXiv , säger forskare att de kan ha kommit på ett sätt att mildra problemet för algoritmer som är svåra för utomstående att undersöka – så kallade black box-system.
Ett särskilt oroande område för partiskhet att dyka upp är i riskbedömningsmodellering, som kan avgöra till exempel en persons chanser att bli beviljad borgen eller godkänd för ett lån. Det är vanligtvis olagligt att beakta faktorer som ras i sådana fall, men algoritmer kan lära sig att känna igen och utnyttja det faktum att en persons utbildningsnivå eller hemadress kan korrelera med annan demografisk information, vilket effektivt kan genomsyra dem med rasistiska och andra fördomar.
Det som gör det här problemet ännu svårare är att många av de AI:er som används för att göra dessa val är svarta lådor - antingen är de för komplicerade för att lätt kunna förstås, eller så är de proprietära algoritmer som företag vägrar att förklara. Forskare har arbetat med verktyg för att få en titt på vad som händer under huven , men problemet är utbrett och växer (se Biased Algorithms Are Everywhere, and No One Sees to Care ).
I tidningen testade Sarah Tan (som arbetade på Microsoft vid den tiden) och kollegor sin metod på två svarta låda-riskbedömningsmodeller: en om lånerisker och fallissemang från peer-to-peer-företaget LendingClub, och en från Northpointe , ett företag som tillhandahåller algoritmbaserade tjänster till domstolar runt om i landet, som förutsäger återfallsrisk för svarande.
Forskarna använde ett tvådelat tillvägagångssätt för att belysa hur dessa potentiellt partiska algoritmer fungerar. Först skapade de en modell som efterliknar black-box-algoritmen som undersöks och kommer med ett riskpoäng baserat på en initial uppsättning data, precis som LendingClub och Northpointe skulle göra. Sedan byggde de en andra modell som de tränade på verkliga utfall och använde den för att bestämma vilka variabler från den initiala datamängden som var viktiga för slutresultaten.
När det gäller LendingClub analyserade forskarna data om ett antal förfallna lån från 2007 till 2011. LendingClubs databas innehöll många olika områden, men forskarna fann att företagets lånemodell troligen ignorerade både den sökandes årsinkomst och syftet med lånet. . Inkomst kan vara vettigt att ignorera, eftersom det är självrapporterat och kan förfalskas. Men syftet med lånet är starkt korrelerat med risk - lån för småföretag är mycket mer riskfyllda än de som används för att betala för bröllop, till exempel. Så LendingClub verkade ignorera en viktig variabel.
Northpointe säger samtidigt att dess COMPAS-algoritm inte inkluderar ras som en variabel när de ger rekommendationer om straffmätning. Men i en utredning av ProPublica , samlade journalister in rasinformation om åtalade som dömdes med hjälp av COMPAS och hittade bevis på rasfördomar. I sin härmamodell använde forskarna data som samlats in av ProPublica samt information om de tilltalades ålder, kön, åtalsgrad, antal tidigare fällande domar och längden på eventuella tidigare fängelsevistelser. Metoden stämde överens med ProPublicas resultat, vilket tyder på att COMPAS sannolikt var partisk för vissa ålders- och rasgrupper.
Kritiker kan påpeka att dessa inte är exakta kopior - av nödvändighet gjorde forskarna många välutbildade gissningar. Men om företaget bakom en algoritm inte är villigt att släppa information om hur dess system fungerar, är approximationsmodeller som de från denna forskning ett rimligt sätt att få insikt, säger Brendan O'Connor, biträdande professor vid University of Massachusetts , Amherst, som har publicerat en artikel om bias in natural language processing.
Vi måste vara medvetna om att detta händer, och inte blunda för det och agera som om det inte händer, säger O'Connor.