211service.com
Det här är hur AI-bias verkligen händer - och varför det är så svårt att fixa
Ms. Tech; Foto: PIXOLOGICSTUDIO/SCIENCE FOTO LIBRARY
Under de senaste månaderna har vi dokumenterat hur de allra flesta av AI:s applikationer idag är baserade på kategorin av algoritmer som kallas djupinlärning, och hur djupinlärningsalgoritmer hittar mönster i data. Vi har också täckt hur dessa tekniker påverkar människors liv: hur de kan upprätthålla orättvisor i anställning, detaljhandel och säkerhet och kanske redan gör det i det straffrättsliga systemet.
Men det räcker inte att bara veta att denna partiskhet finns. Om vi vill kunna fixa det måste vi förstå mekaniken i hur det uppstår i första hand.
Hur AI-bias uppstår
Vi förkortar ofta vår förklaring av AI-bias genom att skylla den på partisk träningsdata. Verkligheten är mer nyanserad: partiskhet kan smyga sig in långt innan uppgifterna hämtas samt kl många andra stadier av djupinlärningsprocessen. I samband med denna diskussion kommer vi att fokusera på tre nyckelstadier.
Ramar in problemet. Det första datavetare gör när de skapar en modell för djupinlärning är att bestämma vad de faktiskt vill att den ska uppnå. Ett kreditkortsföretag, till exempel, kanske vill förutsäga en kunds kreditvärdighet, men kreditvärdighet är ett ganska oklart koncept. För att översätta det till något som kan beräknas måste företaget bestämma sig för om det vill, låt oss säga, maximera sina vinstmarginaler eller maximera antalet lån som återbetalas. Den skulle då kunna definiera kreditvärdighet inom ramen för detta mål. Problemet är att de besluten fattas av olika affärsskäl andra än rättvisa eller diskriminering, förklarar Solon Barocas, biträdande professor vid Cornell University som är specialiserad på rättvisa inom maskininlärning. Om algoritmen upptäckte att att ge ut subprime-lån var ett effektivt sätt att maximera vinsten, skulle det sluta ägna sig åt rovdrift även om det inte var företagets avsikt.
Samlar in data. Det finns två huvudsakliga sätt som partiskhet visar sig i träningsdata: antingen är den data du samlar in inte representativ för verkligheten, eller så återspeglar den befintliga fördomar. Det första fallet kan till exempel inträffa om en algoritm för djupinlärning matas med fler foton av ljushyade ansikten än mörkhyade ansikten. Det resulterande ansiktsigenkänningssystemet skulle oundvikligen vara sämre på att känna igen mörkare ansikten. Det andra fallet är precis vad som hände när Amazon upptäckte att dess interna rekryteringsverktyg var avskeda kvinnliga kandidater . Eftersom den utbildades i historiska anställningsbeslut, som gynnade män framför kvinnor, lärde den sig att göra detsamma.
Förbereder data. Slutligen är det möjligt att införa bias under databeredningsstadiet, vilket innebär att välja vilka attribut du vill att algoritmen ska beakta. (Detta ska inte förväxlas med problemframställningsstadiet. Du kan använda samma attribut för att träna en modell för väldigt olika mål eller använda väldigt olika attribut för att träna en modell för samma mål.) När det gäller modellering av kreditvärdighet, ett attribut kan vara kundens ålder, inkomst eller antal avbetalda lån. När det gäller Amazons rekryteringsverktyg kan ett attribut vara kandidatens kön, utbildningsnivå eller års erfarenhet. Det här är vad folk ofta kallar konsten att lära sig djupt: att välja vilka attribut som ska beaktas eller ignoreras kan avsevärt påverka din modells prediktionsnoggrannhet. Men även om dess inverkan på noggrannheten är lätt att mäta, är dess inverkan på modellens bias inte det.
Varför AI-bias är svårt att fixa
Med tanke på det sammanhanget kan några av utmaningarna med att mildra partiskhet redan vara uppenbara för dig. Här lyfter vi fram fyra huvudsakliga.
Okända okända. Införandet av bias är inte alltid uppenbart under en modells konstruktion eftersom du kanske inte inser nedströmseffekterna av dina data och val förrän långt senare. När du väl gör det är det svårt att retroaktivt identifiera var den fördomen kom ifrån och sedan ta reda på hur man kan bli av med den. I Amazons fall, när ingenjörerna först upptäckte att dess verktyg straffade kvinnliga kandidater, programmerade de om det för att ignorera uttryckligen könsbundna ord som kvinnors. De upptäckte snart att det reviderade systemet fortfarande tog fart implicit könsbundna ord —verb som var starkt korrelerade med män framför kvinnor, som avrättades och tillfångatogs — och använda det för att fatta sina beslut.
Imperfekta processer. För det första är många av standardmetoderna för djupinlärning inte utformade med bias-detektion i åtanke. Modeller för djupinlärning testas för prestanda innan de distribueras, vilket skapar vad som verkar vara ett perfekt tillfälle att fånga bias. Men i praktiken ser testningen vanligtvis ut så här: datavetare delar slumpmässigt upp sina data innan träning i en grupp som faktiskt används för träning och en annan som är reserverad för validering när träningen är klar. Det betyder att data du använder för att testa din modells prestanda har samma fördomar som data du använde för att träna den. Således kommer den att misslyckas med att flagga sneda eller fördomsfulla resultat.
Brist på socialt sammanhang. På samma sätt är det sätt på vilket datavetare lärs att rama in problem ofta inte förenligt med det bästa sättet att tänka på sociala problem. Till exempel i ett nytt papper , Andrew Selbst, postdoc vid Data & Society Research Institute, identifierar vad han kallar portabilitetsfällan. Inom datavetenskap anses det vara god praxis att designa ett system som kan användas för olika uppgifter i olika sammanhang. Men vad det gör är att ignorera en massa sociala sammanhang, säger Selbst. Du kan inte ha ett system designat i Utah och sedan tillämpat i Kentucky direkt eftersom olika samhällen har olika versioner av rättvisa. Eller så kan du inte ha ett system som du tillämpar för 'rättvisa' straffrättsliga resultat och sedan tillämpas på anställning. Hur vi tänker om rättvisa i de sammanhangen är helt annorlunda.
Definitionerna av rättvisa. Det är inte heller klart hur frånvaron av partiskhet ska se ut. Detta är inte sant bara inom datavetenskap - den här frågan har en lång historia av debatt inom filosofi, samhällsvetenskap och juridik. Vad som är annorlunda med datavetenskap är att begreppet rättvisa måste definieras i matematiska termer, som att balansera de falska positiva och falska negativa frekvenserna i ett prediktionssystem. Men som forskare har upptäckt finns det många olika matematiska definitioner av rättvisa som också utesluter varandra. Betyder rättvisa till exempel att samma proportion av svarta och vita individer borde få höga riskbedömningspoäng? Eller att samma risknivå ska resultera i samma poäng oavsett ras? Det är omöjligt att uppfylla båda definitionerna samtidigt ( här är en mer djupgående titt på varför), så någon gång måste du välja en. Men medan detta beslut inom andra områden förstås som något som kan förändras över tid, har datavetenskapsområdet en föreställning om att det borde fixas. Genom att fixa svaret löser du ett problem som ser väldigt annorlunda ut än hur samhället tenderar att tänka på dessa frågor, säger Selbst.
Vart vi går härifrån
Om du njuter av vår virvelvindiga rundtur i hela omfattningen av AI-biasproblemet, så är jag det också. Men lyckligtvis arbetar en stark grupp AI-forskare hårt för att ta itu med problemet. De har tagit en mängd olika tillvägagångssätt: algoritmer som hjälper upptäcka, detektera och mildra dolda fördomar i träningsdata eller som mildrar fördomar lärt sig av modellen oavsett datakvalitet; processer som innehar bolag ansvarig till mer rättvisa resultat och diskussioner som hash ut de olika definitionerna av rättvisa.
Att 'fixa' diskriminering i algoritmiska system är inte något som kan lösas enkelt, säger Selbst. Det är en process som pågår, precis som diskriminering i alla andra aspekter av samhället.
Detta dök ursprungligen upp i vårt AI-nyhetsbrev The Algorithm. För att få det direkt levererat till din inkorg, registrera dig här gratis.