211service.com
Varför vi bör förvänta oss att algoritmer är partiska
Teknik som drivs av algoritmer och artificiell intelligens är alltmer närvarande i våra liv, och vi stöter nu regelbundet på en svår fråga: kan dessa program vara neutrala aktörer? Eller kommer de alltid att spegla en viss grad av mänsklig fördom?
Dammsugningen över Facebooks lista över populära ämnen och dess möjliga liberala partiskhet träffade en sådan nerv att Den amerikanska senaten ringde på företaget att komma med en officiell förklaring, och denna vecka sa COO Sheryl Sandberg att företaget kommer att börja utbildning av anställda att identifiera och kontrollera sina politiska lutningar.
Detta är dock bara ett resultat av en bredare trend som Fred Benenson, Kickstarters tidigare datachef, kallar mattetvätt : vår tendens att idolisera program som Facebooks som helt objektiva eftersom de har matematik i kärnan.
Ett område av potentiell fördom kommer från det faktum att så många av de programmerare som skapar dessa program, särskilt maskininlärningsexperter, är män. I en nyligen Bloomberg artikel , Margaret Mitchell, en forskare på Microsoft, citeras och beklagar farorna med ett hav av snubbar som ställer frågorna som är centrala för att skapa dessa program.
Oro har byggts upp över denna fråga under en tid, eftersom studier fann bevis på partiskhet i onlineannonsering, rekrytering och prissättningsstrategier som drivs av förmodligen neutrala algoritmer.
I ett studie , Harvard-professorn Latanya Sweeney tittade på Google AdSense-annonserna som dök upp under sökningar på namn associerade med vita bebisar (Geoffrey, Jill, Emma) och namn associerade med svarta bebisar (DeShawn, Darnell, Jermaine). Hon fann att annonser som innehöll ordet arrestering visades bredvid mer än 80 procent av svarta namnsökningar men färre än 30 procent av vita namnsökningar.
Sweeney oroar sig för att sättet som Googles reklamteknik vidmakthåller rasfördomar kan undergräva en svart persons chanser i en tävling, oavsett om det handlar om en utmärkelse, en dejt eller ett jobb.
Områden som utlåning och krediter som traditionellt har lidit av välkänd mänsklig diskriminering måste vara särskilt försiktiga.
ZestFinance, en onlinelångivare grundad på idén att maskininlärningsprogram kan utöka antalet personer som anses kreditvärdiga genom att titta på tiotusentals datapunkter, hävdar att den är väl anpassad till farorna med diskriminerande utlåning. För att skydda sig mot diskriminering har ZestFinance byggt verktyg för att testa sina egna resultat.
Men faran kvarstår att okänd fördom, inte bara i programmeringen av en algoritm utan även i data som flödar in i den, oavsiktligt skulle kunna förvandla vilket program som helst till en diskriminator. För konsumenter som inte kan packa upp komplexiteten i dessa program kommer det att vara svårt att veta om de har behandlats rättvist.
Algoritm och datadrivna produkter kommer alltid att spegla designvalen för människorna som byggde dem, förklarade Benenson i en nyligen genomförd Q&A med Technical.ly Brooklyn, och det är oansvarigt att anta något annat.
(Läs mer : Wall Street Journal , Technical.ly Brooklyn , Bloomberg , AI tar fart [PDF])