211service.com
Nya standarder för kliniska prövningar av AI kommer att hjälpa till att upptäcka ormolja och hype
Kyle McDonald / Flickr
Nyheterna: Ett internationellt konsortium av medicinska experter har infört de första officiella standarderna för kliniska prövningar som involverar artificiell intelligens. Flytten kommer vid en tidpunkt då hypen kring medicinsk AI är på topp, med uppblåsta och overifierade påståenden om effektiviteten hos vissa verktyg som hotar att undergräva människors förtroende för AI överlag.
Vad det betyder: Tillkännages i Naturmedicin , British Medical Journal och Lancet, utökar de nya standarderna två uppsättningar riktlinjer kring hur kliniska prövningar genomförs och rapporteras som redan används runt om i världen för läkemedelsutveckling, diagnostiska tester och andra medicinska ingrepp. AI-forskare kommer nu att behöva beskriva de färdigheter som behövs för att använda ett AI-verktyg, miljön där AI:n utvärderas, detaljer om hur människor interagerar med AI , analys av felfall och mer.
Varför det är viktigt: Randomiserade kontrollerade studier är det mest pålitliga sättet att visa effektiviteten och säkerheten hos en behandling eller klinisk teknik. De stöder både medicinsk praxis och hälsopolitik. Men deras tillförlitlighet beror på om forskarna håller sig till strikta riktlinjer för hur deras försök genomförs och rapporteras. Under de senaste åren har många nya AI-verktyg utvecklats och beskrivits i medicinska tidskrifter, men deras effektivitet har varit svår att jämföra och bedöma eftersom kvaliteten på testdesignerna varierar. I mars, en studie i BMJ varnade för att dålig forskning och överdrivna påståenden om hur bra AI var på att analysera medicinska bilder utgjorde en risk för miljontals patienter.
Topphype: En brist på gemensamma standarder har också gjort det möjligt för privata företag att gräla om effektiviteten av deras AI utan att stå inför granskning som tillämpas på andra typer av medicinsk intervention eller diagnos. Till exempel det Storbritannien-baserade digitala hälsoföretaget Babylons hälsa kom under eld 2018 för att ha meddelat att dess diagnostiska chatbot var i nivå med mänskliga läkare, på grundval av ett test som kritiker hävdade var missvisande.
Babylon Health är långt ifrån ensam. Utvecklare har hävdat att medicinska AI:er överträffar eller matchar mänskliga förmågor under en tid, och pandemin har fått denna trend i överdrift när företag tävlar om att få sina verktyg uppmärksammade. I de flesta fall görs utvärderingen av dessa AI:er internt och under gynnsamma förhållanden.
Framtidslöfte: Det betyder inte att AI inte kan slå mänskliga läkare. Faktum är att den första oberoende utvärderingen av ett diagnostiskt verktyg för AI som överträffade människor när det gällde att upptäcka cancer på mammografi var publicerades först förra månaden . Studien fann att ett verktyg tillverkat av Lunit AI och som användes på vissa sjukhus i Sydkorea slutade i mitten av den grupp radiologer som det testades mot. Det var ännu mer exakt när det parades med en mänsklig läkare. Genom att skilja det goda från det dåliga kommer de nya standarderna att göra den här typen av oberoende utvärdering lättare, vilket i slutändan leder till bättre – och mer pålitlig – medicinsk AI.