Hur ett AI-verktyg för att bekämpa sjukhusdödsfall faktiskt fungerade i den verkliga världen

Getty

I november 2018 gick ett nytt verktyg för djupinlärning online på akutmottagningen på Duke University Health System. Den kallas Sepsis Watch och designades för att hjälpa läkare att upptäcka tidiga tecken på en av de främsta orsakerna till sjukhusdödsfall globalt.

Sepsis uppstår när en infektion utlöser inflammation i hela kroppen och i slutändan får organ att stängas av. Det kan behandlas om det diagnostiseras tillräckligt tidigt, men det är en notoriskt svår uppgift eftersom dess symtom lätt förväxlas med tecken på något annat.

Sepsis Watch lovade att ändra på det. Produkten av tre och ett halvt års utveckling (som inkluderade digitalisering av hälsojournaler, analys av 32 miljoner datapunkter och design av ett enkelt gränssnitt i form av en iPad-app), ger patienterna poäng på timbasis för deras sannolikhet att utveckla skick. Den flaggar sedan de som har medel- eller högrisk och de som redan uppfyller kriterierna. När en läkare bekräftar diagnosen får patienterna omedelbar uppmärksamhet.

Under de två åren sedan verktyget introducerades har anekdotiska bevis från Duke Healths sjukhuschefer och läkare föreslagit att Sepsis Watch verkligen fungerar. Det har dramatiskt minskat sepsis-inducerade patientdödsfall och är nu en del av en federalt registrerad klinisk prövning som förväntas dela sina resultat 2021.

Vid första anblicken är detta ett exempel på en stor teknisk seger. Genom noggrann utveckling och testning förbättrade en AI-modell framgångsrikt läkarnas förmåga att diagnostisera sjukdomar. Men a ny rapport från forskningsinstitutet Data & Society säger att detta bara är halva historien. Den andra hälften är mängden kvalificerad social arbetskraft som klinikerna som leder projektet behövde utföra för att integrera verktyget i sina dagliga arbetsflöden. Detta inkluderade inte bara att designa nya kommunikationsprotokoll och skapa nytt utbildningsmaterial utan också att navigera på arbetsplatsens politik och maktdynamik.

Fallstudien är en ärlig återspegling av vad som verkligen krävs för att AI-verktyg ska lyckas i den verkliga världen. Det var riktigt komplext, säger medförfattaren Madeleine Clare Elish, en kulturantropolog som undersöker effekterna av AI.

Reparera innovation

Innovation ska vara störande. Det skakar om gamla sätt att göra saker för att uppnå bättre resultat. Men sällan i samtal om tekniska störningar finns det ett erkännande av att störning också är en form av brott. Befintliga protokoll blir föråldrade; sociala hierarkier förvrängs. Att få innovationerna att fungera inom befintliga system kräver vad Elish och hennes medförfattare Elizabeth Anne Watkins kallar reparationsarbete.

Under forskarnas tvååriga studie av Sepsis Watch på Duke Health, dokumenterade de många exempel på denna störning och reparation. En stor fråga var hur verktyget utmanade den medicinska världens djupt rotade maktdynamik mellan läkare och sjuksköterskor.

I de tidiga stadierna av verktygsdesign blev det klart att sjuksköterskor i snabbinsatsteam (RRT) skulle behöva vara de primära användarna. Även om behandlande läkare vanligtvis är ansvariga för att utvärdera patienter och ställa sepsisdiagnoser, har de inte tid att kontinuerligt övervaka en annan app utöver sina befintliga uppgifter på akutmottagningen. Däremot huvudansvaret för en RRT-sköterska är att kontinuerligt övervaka patienternas välbefinnande och ge extra hjälp där det behövs. Att kontrollera Sepsis Watch-appen passade naturligt in i deras arbetsflöde.

Men här kom utmaningen. När appen flaggade en patient som högrisk, skulle en sjuksköterska behöva ringa den behandlande läkaren (känd i medicinskt tal som ED-besök). Inte nog med att dessa sjuksköterskor och skötare ofta inte hade någon tidigare relation eftersom de tillbringade sina dagar i helt olika sektioner av sjukhuset, utan protokollet representerade en fullständig omkastning av den typiska kommandokedjan på alla sjukhus. Skojar du? en sjuksköterska mindes att hon tänkte efter att ha lärt sig hur saker och ting skulle fungera. Vi ska ringa ED-besök ?

Men detta var verkligen den bästa lösningen. Så projektgruppen gick till väga för att reparera störningen på olika stora och små sätt. Chefssköterskorna var värdar för informella pizzafester för att bygga upp spänning och förtroende för Sepsis Watch bland sina sjuksköterskor. De utvecklade också kommunikationstaktik för att jämna ut sina samtal med deltagarna. Till exempel bestämde de sig för att bara ringa ett samtal per dag för att diskutera flera högriskpatienter samtidigt, tidsinställd för när läkarna var minst upptagna.

Utöver det började projektledarna regelbundet rapportera effekten av Sepsis Watch till det kliniska ledarskapet. Projektgruppen upptäckte att inte alla sjukhuspersonal trodde att sepsis-inducerad död var ett problem på Duke Health. Särskilt läkare som inte hade ett fågelperspektiv av sjukhusets statistik var mycket mer upptagna av de nödsituationer de hade att göra med dagligen, som brutna ben och allvarliga psykiska sjukdomar. Som ett resultat upplevde vissa Sepsis Watch som en olägenhet. Men för det kliniska ledarskapet var sepsis en stor prioritet, och ju mer de såg Sepsis Watch arbeta, desto mer hjälpte de till att smörja in dreven för operationen.

Förändrade normer

Elish identifierar två huvudfaktorer som i slutändan hjälpte Sepsis Watch att lyckas. Först anpassades verktyget för ett hyperlokalt, hyperspecifikt sammanhang: det utvecklades för akutmottagningen på Duke Health och ingen annanstans. Den här riktigt skräddarsydda utvecklingen var nyckeln till framgången, säger hon. Detta strider mot typiska AI-normer.

För det andra, under hela utvecklingsprocessen sökte teamet regelbundet feedback från sjuksköterskor, läkare och annan personal upp och ner i sjukhushierarkin. Detta gjorde inte bara verktyget mer användarvänligt utan odlade också en liten grupp engagerade medarbetare för att hjälpa till att förstärka dess framgång. Det gjorde också skillnad att projektet leddes av Duke Healths egna läkare, säger Elish, snarare än av teknologer som hade hoppat in i fallskärm från ett mjukvaruföretag. Om du inte har en förklarande algoritm, säger hon, måste du bygga förtroende på andra sätt.

Dessa lektioner är mycket bekanta för Marzyeh Ghassemi, en tillträdande biträdande professor vid MIT som studerar maskininlärningsapplikationer för hälso- och sjukvård. Alla maskininlärningssystem som någonsin är avsedda att utvärderas på eller användas av människor måste ha sociotekniska begränsningar framför sinnet, säger hon. Speciellt i kliniska miljöer, som drivs av mänskliga beslutsfattare och involverar att ta hand om människor när de är mest sårbara, är de begränsningar som människor måste vara medvetna om verkligen mänskliga och logistiska begränsningar, tillägger hon.

Elish hoppas att hennes fallstudie av Sepsis Watch övertygar forskare att ompröva hur man kan närma sig medicinsk AI-forskning och AI-utveckling i stort. Så mycket av det arbete som görs just nu fokuserar på vad AI makt vara eller skulle kunna göra i teorin , hon säger. Det finns för lite information om vad som faktiskt händer på marken. Men för att AI ska leva upp till sitt löfte måste folk tänka lika mycket på social integration som teknisk utveckling.

Hennes arbete väcker också allvarliga frågor. Ansvarsfull AI måste kräva uppmärksamhet på lokala och specifika sammanhang, säger hon. Min läsning och träning lär mig att man inte bara kan utveckla en sak på ett ställe och sedan rulla ut den någon annanstans.

Så utmaningen är faktiskt att ta reda på hur vi behåller den lokala specificiteten samtidigt som vi försöker arbeta i skala, tillägger hon. Det är nästa frontlinje för AI-forskning.

Dölj