211service.com
Hur man håller algoritmer ansvariga
Algoritmer används nu inom den offentliga och privata sektorn, som informerar beslut om allt från utbildning och sysselsättning till straffrätt. Men trots potentialen för effektivitetsvinster kan algoritmer som matas av big data också förstärka den strukturella diskrimineringen , producera fel som neka tjänster till enskilda , eller till och med förföra en väljare till en falsk känsla av säkerhet. Det finns det faktiskt växande medvetenhet att allmänheten bör vara försiktig med samhällsrisker orsakas av övertilliten till dessa system och arbeta för att håll dem ansvarig .
Olika branschinsatser, inklusive en konsortium av Silicon Valley-giganter, börjar brottas med etiken i att implementera algoritmer som kan ha oväntade effekter på samhället. Algoritmutvecklare och produktchefer behöver nya sätt att tänka på, designa och implementera algoritmiska system på offentligt ansvariga sätt. Under de senaste månaderna har vi och några kollegor har försökt möta dessa mål genom att skapa en uppsättning principer för ansvarsfulla algoritmer .
Låt oss överväga ett fall där algoritmisk ansvarighet verkligen behövs: riskbedömningspoäng som informerar straffrättsliga beslut i det amerikanska rättssystemet. Dessa poäng beräknas genom att ställa en rad frågor som rör saker som den tilltalades ålder, kriminella historia och andra egenskaper. Uppgifterna matas in i en algoritm för att beräkna en poäng som sedan kan användas i beslut om frihetsberövande, skyddstillsyn, villkorlig frigivning eller till och med straff. Och dessa modeller tränas ofta med hjälp av egenutvecklade maskininlärningsalgoritmer och data om tidigare åtalade.
Senare undersökningar visar att riskbedömningsalgoritmer kan vara rasistiskt partiska och generera poäng som, när de är felaktiga, oftare felaktigt klassificerar svarta åtalade som hög risk. Dessa resultat har skapat stor kontrovers. Med tanke på den bokstavligen livsförändrande karaktären hos dessa algoritmiska beslut bör de få noggrann uppmärksamhet och hållas ansvariga för negativa konsekvenser.
Algoritmer och data som driver dem är designade och skapade av människor. Även för tekniker som t.ex genetiska algoritmer som utvecklas på egen hand, eller maskininlärningsalgoritmer där den resulterande modellen inte var handgjord av en person, formas resultaten av mänskligt gjorda designbeslut, regler om vad som ska optimeras och val om vilken träningsdata som ska användas. Algoritmen gjorde det är inte en acceptabel ursäkt om algoritmiska system gör misstag eller får oönskade konsekvenser.
Ansvarsskyldighet innebär en skyldighet att rapportera och motivera algoritmiskt beslutsfattande och att mildra eventuella negativa sociala konsekvenser eller potentiella skador. Vi kommer att överväga ansvarsskyldighet genom linsen av fem kärnprinciper: ansvar, förklarabarhet, noggrannhet, revisionsbarhet och rättvisa.
Ansvar . För alla algoritmiska system måste det finnas en person med befogenhet att hantera dess negativa individuella eller samhälleliga effekter i tid. Detta är inte ett uttalande om juridiskt ansvar utan snarare ett fokus på vägar för upprättelse, offentlig dialog och intern auktoritet för förändring. Detta kan vara lika enkelt som att ge någon i ditt tekniska team den interna kraften och resurserna för att ändra systemet och se till att personens kontaktinformation är offentligt tillgänglig.
Förklarbarhet . Alla beslut som tas fram av ett algoritmiskt system bör kunna förklaras för de personer som berörs av dessa beslut. Dessa förklaringar måste vara tillgängliga och begripliga för målgruppen; rent tekniska beskrivningar är inte lämpliga för allmänheten. Att förklara riskbedömningspoängen för svarande och deras juridiska ombud skulle främja större förståelse och hjälpa dem att ifrågasätta uppenbara misstag eller felaktiga data. Vissa maskininlärningsmodeller är det mer förklarligt än andra, men bara för att det finns ett fint neuralt nät inblandat betyder det inte att det är meningsfullt förklaring kan inte produceras.
Noggrannhet . Algoritmer gör misstag, oavsett om det beror på datafel i deras inmatningar (skräp in, skräp ut) eller statistisk osäkerhet i deras utdata. Principen om noggrannhet föreslår att felkällor och osäkerhet genom en algoritm och dess datakällor måste identifieras, loggas och benchmarkas. Att förstå arten av fel som skapas av ett algoritmiskt system kan vara till hjälp för begränsningsprocedurer.
Granskbarhet . Principen om revisionsbarhet anger att algoritmer bör utvecklas för att göra det möjligt för tredje parter att undersöka och granska beteendet hos en algoritm. Att göra det möjligt att övervaka, kontrollera och kritisera algoritmer skulle leda till mer medveten design och kurskorrigering i händelse av misslyckande. Även om det kan finnas tekniska utmaningar genom att tillåta offentlig revision samtidigt som den skyddade informationen skyddas, kan privat revision (som i redovisning) ge viss offentlig försäkran. Där det är möjligt skulle även begränsad åtkomst (t.ex. via ett API) ge allmänheten en värdefull chans till granska dessa socialt betydelsefulla algoritmer.
Rättvisa . När algoritmer i allt högre grad fattar beslut baserade på historiska och samhälleliga data, riskerar befintliga fördomar och historiskt diskriminerande mänskliga beslut att bakas in i automatiserade beslut. Alla algoritmer som fattar beslut om individer bör utvärderas för diskriminerande effekter. Resultaten av utvärderingen och de använda kriterierna bör offentliggöras och förklaras.
Det finns gott om utrymme att anpassa och tolka dessa principer till ditt eget sammanhang, och naturligtvis kommer politiska, proprietära eller affärsmässiga frågor att ingripa. Men vi tror att om man överväger dessa idéer under hela design-, implementerings- och utgivningscyklerna för utveckling kommer det att leda till mer socialt ansvarsfull implementering av algoritmer i samhället.
Hur kommer du igång? Vi skisserar några pragmatiska frågor som produkt- och utvecklingsteamet kan arbeta igenom för att bilda en uttalande om sociala konsekvenser som tar upp dessa principer .
Nicholas Diakopoulos är biträdande professor vid University of Maryland, College Park. Sorelle Friedler är en n biträdande professor vid Haverford College, och en filial vid Data & Society Research Institute.