211service.com
AI-program lär sig att utesluta vissa afroamerikanska röster
Röstgränssnitt, chatbots och andra system diskriminerar vissa minoritetsdialekter. 16 augusti 2017
Alltför ofta gör folk snabba bedömningar baserat på hur du pratar. Vissa AI-system lär sig också ha fördomar mot vissa dialekter. Och när språkbaserade AI-system blir allt vanligare kan vissa minoriteter automatiskt diskrimineras av maskiner, varnar forskare som studerar frågan.
Alla med en stark eller ovanlig accent kanske vet hur det är att ha problem med att bli förstådd av Siri eller Alexa. Detta beror på att röstigenkänningssystem använder naturligt språkteknologi för att analysera innehållet i tal, och det förlitar sig ofta på algoritmer som har tränats med exempeldata. Om det inte finns tillräckligt med exempel på en viss accent eller folkspråk, kan dessa system helt enkelt misslyckas med att förstå dig (se AI:s språkproblem).
Problemet kan vara mer utbrett och skadligt än de flesta inser. Naturlig-språk teknik driver nu automatiska interaktioner med kunder, genom automatiserade telefonsystem eller chatbots. Det används för att bryta den allmänna opinionen på webben och sociala nätverk och för att söka igenom skrivna dokument efter användbar information. Det betyder att tjänster och produkter som byggs ovanpå språksystem redan kan vara orättvist diskriminerande mot vissa grupper.
Brendan O'Connor , en biträdande professor vid University of Massachusetts, Amherst, och en av hans doktorander, Su Lin Blodgett , tittade på språkanvändningen på Twitter. Med hjälp av demografisk filtrering samlade forskarna in 59,2 miljoner tweets med stor sannolikhet att innehålla afroamerikansk slang eller folkspråk. De testade sedan flera bearbetningsverktyg för naturligt språk på denna datamängd för att se hur de skulle behandla dessa påståenden. De fann att ett populärt verktyg klassificerade dessa inlägg som danska med ett högt självförtroende.
Om du analyserar Twitter för folks åsikter om en politiker och du inte ens tänker på vad afroamerikaner säger eller unga vuxna säger, verkar det problematiskt, säger O'Connor.
Paret testade också flera populära maskininlärningsbaserade API:er som analyserar text för mening och känsla, och de fann att dessa system också kämpade. Om du köper en sentimentanalysator från något företag vet du inte ens vilka fördomar den har i den, säger O'Connor. Vi har inte mycket revision eller kunskap om dessa saker.
Han säger att problemet sträcker sig till alla system som använder språk, inklusive sökmotorer.
Frågan om orättvisa som uppstår vid användningen av AI-algoritmer får uppmärksamhet på vissa håll eftersom dessa algoritmer används mer allmänt. Ett kontroversiellt exempel på möjlig partiskhet är en proprietär algoritm som kallas Compass, som används för att avgöra om fängelsefångar ska beviljas villkorlig frigivning. Algoritmens funktion är okänd, men forskning föreslår att det är partiskt mot svarta fångar.
Vissa experter menar dock att problemet kan vara allvarligare än många vet, vilket påverkar ett växande antal beslut inom ekonomi, hälsovård och utbildning (se Biased Algorithms are Everywhere and No One Seems to Care ).
UMass-forskarna presenterade sitt arbete vid en workshop tillägnad att utforska frågan om partiskhet i AI. Evenemanget, Fairness and Transparency in Machine Learning, var en del av en större datavetenskapskonferens i år, men det kommer att bli en fristående konferens i sig under 2018. Solon barocker , en biträdande professor vid Cornell och en medgrundare av evenemanget, säger att fältet växer, med fler och fler forskare som utforskar frågan om fördomar i AI-system.
Delad Goel , en biträdande professor vid Stanford University som studerar algoritmisk rättvisa och offentlig politik, säger att frågan inte alltid är okomplicerad. Han noterar att det kan vara alltför förenklat att kalla algoritmer för partiska, eftersom de kan fungera helt som avsett, göra förutsägelser som är korrekta och helt enkelt återspeglar bredare sociala fördomar. Det är bättre att beskriva vad en algoritm gör, anledningen till att den gör det, och sedan bestämma om det är vad vi vill att den ska göra, säger Goel.