Detta är Stanford-vaccinalgoritmen som utelämnade läkare i frontlinjen

Yichuan Cao/Sipa USA

När bosatta läkare vid Stanford Medical Center – av vilka många arbetar i frontlinjen av covid-19-pandemin – fick reda på att endast sju av över 1 300 av dem hade prioriterats för de första 5 000 doserna av covid-vaccinet, blev de chockade . Sedan, när de såg vem mer som hade gjort listan, inklusive administratörer och läkare som träffade patienter på distans hemifrån, blev de arga.

Under en planerad fotografering för att fira de första vaccinationerna som äger rum fredagen den 18 december, minst 100 invånare dök upp för att protestera. Sjukhusledningen bad om ursäkt för att de inte prioriterades och skyllde felen på en mycket komplex algoritm.

Vår algoritm, som etikerna, experter på infektionssjukdomar arbetat med i veckor … fungerade uppenbarligen inte rätt, sa Tim Morrison, chefen för det ambulerande vårdteamet, till invånarna vid evenemanget i en video som lades upp uppkopplad .

Stanfordbor protesterar mot en fotooperation för att fira ankomsten av ett vaccin.

MED TILLSTÅND AV WILLIAM FITZGERALD

Många såg det som en ursäkt, särskilt eftersom sjukhusledningen hade gjort det fick kännedom om problemet i tisdags —när endast fem invånare gjorde listan — och svarade inte genom att fixa algoritmen, utan genom att lägga till ytterligare två invånare för totalt sju.

En av huvudattraktionerna med algoritmer är att de tillåter de mäktiga att skylla på en svart låda för politiskt oattraktiva resultat som de annars skulle vara ansvariga för, skrev Roger McNamee, en framstående Silicon Valley-insider som blivit kritiker. på Twitter. Men *folk* bestämde vem som skulle få vaccinet, twittrade Veena Dubal, professor i juridik vid University of California, Hastings, som forskar om teknik och samhälle. Algoritmen genomförde precis sin vilja.

Men exakt vad var Stanfords vilja? Vi tog en titt på algoritmen för att ta reda på vad den var tänkt att göra.

Hur algoritmen fungerar

Bilden som beskriver algoritmen kom från invånare som hade fått den från sin avdelningsordförande. Det är inte en komplex maskininlärningsalgoritm (som ofta kallas för svarta lådor) utan en regelbaserad formel för att beräkna vem som skulle få vaccinet först på Stanford. Den överväger tre kategorier: medarbetarbaserade variabler, som har att göra med ålder; jobbbaserade variabler; och riktlinjer från California Department of Public Health. För varje kategori fick personalen ett visst antal poäng, med en total möjlig poäng på 3,48. Förmodligen, ju högre poäng, desto högre prioritet har personen i linje. (Stanford Medical Center svarade inte på flera förfrågningar om kommentarer om algoritmen under helgen.)

Medarbetarvariablerna ökar en persons poäng linjärt med åldern och extrapoäng läggs till de över 65 eller under 25. Detta prioriterar den äldsta och yngsta personalen, vilket missgynnar boende och andra frontarbetare som vanligtvis är mitt i åldern räckvidd.

Jobbvariabler bidrar mest till den totala poängen. Algoritmen räknar förekomsten av covid-19 bland anställdas jobbroller och avdelning på två olika sätt, men skillnaden mellan dem är inte helt klar. Varken invånarna eller två icke-anslutna experter som vi bad att granska algoritmen förstod vad dessa kriterier innebar, och Stanford Medical Center svarade inte på en begäran om kommentar. De tar också hänsyn till andelen tester som tas per jobbroll som en procentandel av vårdcentralens totala antal insamlade test.

Relaterad berättelse

Vi kanske bara har veckor på oss att agera innan en variant av coronavirus dominerar USA. En covid-19-stam som verkar spridas snabbare kolliderar med kampanjen för att vaccinera amerikaner.

Vad dessa faktorer inte tar hänsyn till är exponering för patienter med covid-19, säger boende. Det betyder att algoritmen inte skiljde mellan de som hade fångat covid från patienter och de som fick det från spridning i samhället – inklusive anställda som arbetade på distans. Och som först rapporterade av ProPublica fick invånarna veta att eftersom de roterar mellan avdelningarna snarare än att behålla en enda uppgift, förlorade de poäng som var associerade med avdelningarna där de arbetade.

Algoritmens tredje kategori hänvisar till California Department of Public Healths riktlinjer för vaccinallokering . Dessa fokuserar på exponeringsrisk som den enskilt högsta faktorn för vaccinprioritering. Riktlinjerna är främst avsedda för länsstyrelser och kommuner att besluta om hur vaccinet ska prioriteras, snarare än hur man prioriterar mellan ett sjukhuss avdelningar. Men de inkluderar specifikt invånare, tillsammans med avdelningarna där de arbetar, i den högst prioriterade nivån.

Det kan vara så att CDPH-räckviddsfaktorn ger invånarna ett högre betyg, men ändå inte tillräckligt högt för att motverka de andra kriterierna.

Varför gjorde de på det sättet?

Stanford försökte ta med många fler variabler än andra medicinska anläggningar, men Jeffrey Kahn, chef för Johns Hopkins Berkman Institute of Bioethics, säger att tillvägagångssättet var överkomplicerat. Ju mer det finns olika vikter för olika saker, blir det svårare att förstå – ’Varför gjorde de så?’ säger han.

Kahn, som satt i Johns Hopkins 20-medlemskommitté för vaccinallokering, säger att hans universitet tilldelade vacciner helt enkelt baserat på jobb och risk för exponering för covid-19.

Han säger att beslutet baserades på diskussioner som målmedvetet inkluderade olika perspektiv – inklusive invånarnas – och i samordning med andra sjukhus i Maryland. Någon annanstans, University of California San Franciscos plan bygger på en liknande bedömning av risken för exponering för viruset. Mass General Brigham i Boston kategoriserar anställda i fyra grupper baserat på avdelning och arbetsplats, enligt ett internt mejl som granskats av MIT Technology Review.

Det finns så lite förtroende runt så mycket relaterat till pandemin, vi kan inte slösa bort det.

Det är verkligen viktigt [för] att alla tillvägagångssätt som detta är transparenta och offentliga ... och inte något riktigt svårt att ta reda på, säger Kahn. Det finns så lite förtroende runt så mycket relaterat till pandemin, vi kan inte slösa bort det.

Algoritmer används ofta inom hälso- och sjukvården för att rangordna patienter efter risknivå i ett försök att fördela vård och resurser mer rättvist. Men ju fler variabler som används, desto svårare är det att bedöma om beräkningarna kan vara felaktiga.

Till exempel, 2019, en studie publicerad i Science visade att 10 allmänt använda algoritmer för att distribuera vård i USA slutade gynna vita patienter framför svarta. Problemet, visade det sig, var att algoritmernas designers antog att patienter som spenderade mer på hälsovård var mer sjuka och behövde mer hjälp. I verkligheten är högre spenderande också rikare och mer sannolikt att de är vita. Som ett resultat tilldelade algoritmen mindre vård till svarta patienter med samma medicinska tillstånd som vita.

Irene Chen, en doktorand vid MIT som studerar användningen av rättvisa algoritmer inom hälso- och sjukvården, misstänker att detta är vad som hände på Stanford: formelns designers valde variabler som de trodde skulle fungera som bra proxyservrar för en given personals nivå av covid-risk. Men de verifierade inte att dessa fullmakter ledde till vettiga resultat, eller svarade på ett meningsfullt sätt på samhällets input när vaccinplanen kom i dagen på tisdagen förra veckan. Det är inte dåligt att folk hade tankar om det efteråt, säger Chen. Det är att det inte fanns en mekanism för att fixa det.

En kanariefågel i kolgruvan?

Efter protesterna utfärdade Stanford en formell ursäkt , säger att det skulle revidera sin distributionsplan.

Sjukhusrepresentanter svarade inte på frågor om vilka de skulle inkludera i nya planprocesser, eller om algoritmen skulle fortsätta att användas. Ett internt e-postmeddelande som sammanfattar medicinskolans svar, delat med MIT Technology Review, säger att varken programchefer, avdelningsordföranden, behandlande läkare eller sjuksköterskepersonal var inblandade i den ursprungliga algoritmdesignen. Nu trycker dock vissa fakulteter på för att få en större roll, eliminerar algoritmernas resultat helt och ger istället divisionschefer och ordförande behörighet att fatta beslut för sina egna team.

Andra avdelningsordföranden har uppmanat invånarna att vaccinera sig först. Vissa har till och med bett fakulteten att ta med sig invånare när de blir vaccinerade, eller skjuta upp sina skott så att andra kan gå först.

Vissa invånare går helt förbi universitetets hälsovårdssystem. Nuriel Moghavem, en neurologbo som var den första att offentliggöra problemen på Stanford, twittrade på fredagseftermiddagen att han äntligen hade fått sitt vaccin – inte på Stanford, utan på ett offentligt länssjukhus i Santa Clara County.
Jag vaccinerade mig idag för att skydda mig själv, min familj och mina patienter, twittrade han . Men jag hade bara möjligheten eftersom mitt offentliga länssjukhus anser att invånarna är kritiska frontlinjeleverantörer. Tacksam.

Dölj