Vad är en algoritm? Det beror på vem du frågar

Getty

Att beskriva ett beslutssystem som en algoritm är ofta ett sätt att avleda ansvar för mänskliga beslut. För många innebär termen en uppsättning regler baserade objektivt på empiriska bevis eller data. Det antyder också ett system som är mycket komplext - kanske så komplext att en människa skulle kämpa för att förstå dess inre funktioner eller förutse dess beteende när den används.

Men är denna karaktärisering korrekt? Inte alltid.

Till exempel, i slutet av december skylldes Stanford Medical Centers felallokering av covid-19-vaccin på en distributionsalgoritm som gynnade högt uppsatta administratörer framför frontlinjeläkare. Sjukhuset påstod sig ha konsulterat med etiker för att utforma sin mycket komplexa algoritm, som en representant sa att det uppenbarligen inte fungerade som det ska, eftersom MIT Technology Review rapporterade då. Medan många människor tolkade användningen av termen som att AI eller maskininlärning var inblandad, var systemet i själva verket en medicinsk algoritm, som är funktionellt annorlunda. Det var mer besläktat med en mycket enkel formel eller beslutsträd designad av en mänsklig kommitté.

Denna frånkoppling belyser ett växande problem. I takt med att prediktiva modeller växer blir allmänheten mer försiktig med deras användning för att fatta viktiga beslut. Men som beslutsfattare börjar utveckla standarder för bedömning och revision algoritmer måste de först definiera vilken klass av verktyg för beslutsfattande eller beslutsstöd som deras policyer kommer att gälla för. Att lämna termalgoritmen öppen för tolkning kan placera några av modellerna med den största effekten utanför räckhåll för policyer som är utformade för att säkerställa att sådana system inte skadar människor.

Hur man identifierar en algoritm

Så är Stanfords algoritm en algoritm? Det beror på hur du definierar termen. Även om det inte finns någon universellt accepterad definition, kommer en vanlig ifrån en lärobok från 1971 skriven av datavetaren Harold Stone, som säger: En algoritm är en uppsättning regler som exakt definierar en sekvens av operationer. Denna definition omfattar allt från recept till komplexa neurala nätverk: en revisionspolicy baserad på den skulle vara skrattretande bred.

Inom statistik och maskininlärning tänker vi vanligtvis på algoritmen som den uppsättning instruktioner som en dator utför för att lära sig av data. I dessa fält kallas den resulterande strukturerade informationen vanligtvis en modell. Informationen som datorn lär sig från data via algoritmen kan se ut som vikter som man multiplicerar varje ingångsfaktor med, eller så kan den vara mycket mer komplicerad. Komplexiteten hos själva algoritmen kan också variera. Och effekterna av dessa algoritmer beror i slutändan på vilken data de tillämpas på och det sammanhang i vilket den resulterande modellen används. Samma algoritm kan ha en positiv nettoeffekt när den används i ett sammanhang och en helt annan effekt när den används i ett annat.

Relaterad berättelse

Detta är Stanford-vaccinalgoritmen som utelämnade läkare i frontlinjen Universitetssjukhuset skyllde på en mycket komplex algoritm för dess ojämlika vaccindistributionsplan. Här är vad som gick fel.

I andra domäner kallas det som beskrivs ovan som en modell i sig en algoritm. Även om det är förvirrande, är det under den bredaste definitionen också korrekt: modeller är regler (lärda av datorns träningsalgoritm istället för direkt av människor) som definierar en sekvens av operationer. Till exempel, förra året i Storbritannien, beskrev media misslyckandet av en algoritm att tilldela rättvisa poäng till studenter som inte kunde gå till sina prov på grund av covid-19. Det som dessa rapporter diskuterade var verkligen modellen – uppsättningen instruktioner som översatte indata (en elevs tidigare prestationer eller en lärares utvärdering) till resultat (en poäng).

Det som verkar ha hänt på Stanford är att människor – inklusive etiker – satte sig ner och bestämde vilken serie operationer som systemet skulle använda för att avgöra, utifrån indata som en anställds ålder och avdelning, om den personen skulle vara bland de första att få ett vaccin. Vad vi vet var denna sekvens inte baserad på en uppskattningsprocedur som optimerades för något kvantitativt mål. Det var en uppsättning normativa beslut om hur vacciner skulle prioriteras, formaliserade på en algoritms språk. Detta tillvägagångssätt kvalificerar sig som en algoritm i medicinsk terminologi och under den breda definitionen, även om den enda intelligens som var involverad var människans.

Fokusera på effekt, inte input

Lagstiftare väger också in vad en algoritm är. Introducerades i den amerikanska kongressen 2019, HR2291 , eller Algorithmic Accountability Act, använder termen automatiserat beslutsfattande system och definierar det som en beräkningsprocess, inklusive en som härrör från maskininlärning, statistik eller annan databehandling eller artificiell intelligens, som fattar ett beslut eller underlättar mänskligt beslutsfattande, som påverkar konsumenterna.

Relaterad berättelse

Revisorer testar anställningsalgoritmer för partiskhet, men det finns ingen enkel lösning

AI-revisioner kan förbise vissa typer av partiskhet, och de verifierar inte nödvändigtvis att ett anställningsverktyg väljer ut de bästa kandidaterna för ett jobb.

På samma sätt överväger New York City Int 1894 , en lag som skulle införa obligatoriska revisioner av automatiserade verktyg för anställningsbeslut, definierade som alla system vars funktion styrs av statistisk teori, eller system vars parametrar definieras av sådana system. Noterbart är att båda lagförslagen kräver revision men ger bara riktlinjer på hög nivå om vad en revision är.

Eftersom beslutsfattare i både myndigheter och industri skapar standarder för algoritmiska granskningar, är det sannolikt oenighet om vad som räknas som en algoritm. Istället för att försöka komma överens om en gemensam definition av 'algoritm' eller en speciell universell revisionsteknik, föreslår vi att man utvärderar automatiserade system främst baserat på deras inverkan. Genom att fokusera på resultat snarare än input undviker vi onödiga debatter om teknisk komplexitet. Det som spelar roll är risken för skada, oavsett om vi diskuterar en algebraisk formel eller ett djupt neuralt nätverk.

Påverkan är en kritisk bedömningsfaktor inom andra områden. Det är inbyggt i klassikern FRUKTAN ramverk inom cybersäkerhet, som först populariserades av Microsoft i början av 2000-talet och fortfarande används i vissa företag. A:et i DREAD ber hotbedömare att kvantifiera berörda användare genom att fråga hur många människor som skulle drabbas av påverkan av en identifierad sårbarhet. Konsekvensbedömningar är också vanliga i människorätts- och hållbarhetsanalyser, och vi har sett några tidiga utvecklare av AI-konsekvensbedömningar skapa liknande rubriker. Till exempel Kanadas Algoritmisk konsekvensbedömning ger ett betyg baserat på kvalitativa frågor som Är kunder inom denna bransch särskilt sårbara? (Ja eller nej).

Det som spelar roll är risken för skada, oavsett om vi diskuterar en algebraisk formel eller ett djupt neuralt nätverk.

Det finns förvisso svårigheter med att införa ett löst definierat begrepp som påverkan i en bedömning. DREAD-ramverket kompletterades eller ersattes senare av STRIDE, delvis på grund av utmaningar med att förena olika föreställningar om vad hotmodellering innebär. Microsoft slutade använda DREAD 2008.

Inom AI-området har konferenser och tidskrifter redan introducerat effektuttalanden med varierande grad av framgång och kontroverser. Det är långt ifrån idiotsäkert: konsekvensbedömningar som är rent formellt kan lätt spelas, medan en alltför vag definition kan leda till godtyckliga eller omöjligt långa bedömningar.

Ändå är det ett viktigt steg framåt. Termen algoritm, hur den än definieras, bör inte vara en sköld för att befria de människor som designade och implementerade något system av ansvar för konsekvenserna av dess användning. Det är därför allmänheten i allt högre grad kräver algoritmisk ansvarighet – och begreppet effekt erbjuder en användbar gemensam grund för olika grupper som arbetar för att möta denna efterfrågan.

Kristian Lum är biträdande forskningsprofessor vid avdelningen för data- och informationsvetenskap vid University of Pennsylvania.

Rumman Chowdhury är chef för Machine Ethics, Transparency, and Accountability (META)-teamet på Twitter. Hon var tidigare VD och grundare av Parity, en algoritmisk revisionsplattform, och global ledare för ansvarsfull AI på Accenture.

Dölj