211service.com
När algoritmer rör sig får den närmaste människan skulden
En bild som visar efterdyningarna av en självkörande bilolycka, med ett uberfordon på sidan Tempe polisavdelning
Tidigare denna månad, Bloomberg publicerade en artikel om en pågående rättegång om investeringar som förlorats av en algoritm. En tycoon från Hongkong förlorade mer än 20 miljoner dollar efter att ha anförtrott en del av sin förmögenhet till en automatiserad plattform. Utan en rättslig ram för att stämma tekniken lade han skulden på den närmaste människan: mannen som sålde den till honom.
Det är det första kända fallet med automatiserade investeringsförluster, men inte det första som involverar algoritmernas ansvar. I mars 2018, en självkörande Uber slagen och dödad en fotgängare i Tempe, Arizona, skickar ytterligare ett fall till domstol. Ett år senare var Uber rentvådd av allt straffrättsligt ansvar, men säkerhetsföraren kan istället åtalas för dråp i fordon.
Båda fallen tar itu med en av de centrala frågorna vi står inför när automatiserade system sipprar in i alla aspekter av samhället: Vem eller vilka förtjänar skulden när en algoritm orsakar skada? Vem eller vilka som faktiskt får skulden är en annan men lika viktig fråga.
Madeleine Clare Elish, forskare vid Data & Society och utbildad kulturantropolog, har ägnat de senaste åren åt att studera den senare frågan för att se hur den kan hjälpa till att besvara den förra. För att göra det har hon tittat tillbaka på historiska fallstudier. Även om moderna AI-system inte har funnits länge, är frågorna kring deras ansvar inte nya.
Den självkörande Uber-kraschen liknar till exempel 2009 års krasch av Air France flight 447, och en titt på hur vi behandlade ansvar ger ledtrådar för vad vi kan göra nu. I den tragiska olyckan kraschade planet i Atlanten på väg från Brasilien till Frankrike och dödade alla 228 personer ombord. Planets automatiserade system var designat för att vara ett helt idiotsäkert, kapabelt att hantera nästan alla scenarier förutom de sällsynta kantfallen då det behövde en mänsklig pilot för att ta över. I den meningen var piloterna ungefär som dagens säkerhetsförare för självkörande bilar - menade att passivt övervaka flygningen den stora majoriteten av tiden men hoppa in i handling under extrema scenarier.
Relaterad berättelse
Relaterad historia Bara ett fåtal lagstiftare vet verkligen vad de pratar om, men det är en början.Vad som hände natten till kraschen är, vid det här laget, en välkänd historia. Ungefär en och en halv timme in i flygningen slutade planets lufthastighetssensorer att fungera på grund av isbildning. Efter att autopilotsystemet överförde kontrollen tillbaka till piloterna ledde förvirring och missförstånd till att planet stannade. Medan en av piloterna försökte vända uppehållet genom att rikta planets nos nedåt, höjde den andra, troligen i panik, nosen för att fortsätta klättra. Systemet var designat för att en pilot skulle ha kontroll hela tiden och gav inga signaler eller haptisk feedback för att indikera vilken som faktiskt hade kontroll och vad den andra gjorde. Till slut klättrade planet till en vinkel så brant att systemet ansåg det ogiltigt och slutade ge feedback helt. Piloterna, som flög helt blinda, fortsatte att fumla tills planet störtade i havet.
I en färsk tidning , undersökte Elish efterdyningarna av tragedin och identifierade ett viktigt mönster i hur allmänheten kom att förstå vad som hände. Medan en federal utredning av incidenten drog slutsatsen att en blandning av dålig systemdesign och otillräcklig pilotutbildning hade orsakat det katastrofala misslyckandet, fastnade allmänheten snabbt för en berättelse som lade den enda skulden på den senare. Mediaskildringar, i synnerhet, vidmakthåller tron att det sofistikerade autopilotsystemet inte hade något fel i frågan trots betydande mänskliga faktorers forskning som visar att människor alltid har varit ganska odugliga på att hoppa in i nödsituationer i sista minuten med ett jämnt huvud och ett klart sinne .
Människor agerar som en 'ansvarssvamp'.
I andra fallstudier fann Elish att samma mönster stämmer: även i ett mycket automatiserat system där människor har begränsad kontroll över dess beteende, bär de fortfarande det mesta av skulden för dess misslyckanden. Elish kallar detta fenomen för en moralisk skrynkelzon. Medan skrynklighetszonen i en bil är tänkt att skydda den mänskliga föraren, skriver hon i sin tidning, skyddar den moraliska skrynkelzonen det tekniska systemets integritet, på bekostnad av den närmaste mänskliga operatören. Människor agerar som en ansvarssvamp, säger hon, och absorberar allt juridiskt och moraliskt ansvar i algoritmiska olyckor oavsett hur lite eller oavsiktligt de är inblandade.
Detta mönster ger viktig insikt i det oroande sättet vi talar om moderna AI-systems ansvar. I den omedelbara efterdyningen av Uber-olyckan pekade rubrikerna finger åt Uber, men mindre än några dagar senare, berättelsen ändrad att fokusera på förarens distraktion.
Vi måste börja fråga vem som bär risken för [teknikföretagens] tekniska experiment, säger Elish. Säkerhetsförare och andra mänskliga operatörer har ofta liten makt eller inflytande över utformningen av de teknikplattformar de interagerar med. Ändå kommer de i det nuvarande regelvakuumet att fortsätta att betala den största kostnaden.
Tillsynsmyndigheter bör också ha mer nyanserade samtal om vilken typ av ramverk som skulle hjälpa till att fördela ansvaret rättvist. De måste tänka noga på att reglera sociotekniska system och inte bara algoritmiska svarta lådor, säger Elish. Med andra ord, de bör överväga om systemets design fungerar i det sammanhang det verkar i och om det sätter upp mänskliga operatörer längs vägen för misslyckande eller framgång. Självkörande bilar bör till exempel regleras på ett sätt som gör det rimligt att ta hänsyn till om den roll säkerhetsförare ombeds spela.
Det som står på spel i begreppet den moraliska skrynkelzonen är inte bara hur ansvarsskyldighet kan fördelas i vilket robot eller autonomt system som helst, skriver hon, utan också hur värdet och potentialen hos människor kan tillåtas att utvecklas i sammanhang med människa-maskin-team. .
Den här historien dök ursprungligen upp i vårt Webby-nominerade AI-nyhetsbrev The Algorithm. Om du vill få fler artiklar som denna levererade direkt till din inkorg, registrera dig här. Det är gratis.