En ledande AI-konferens försöker fixa fältets reproducerbarhetskris

Kategori: Artificiell intelligens Postad 09 april

Förra veckan arrangerade arrangörerna av Neural Information Processing Systems Conference (NeurIPS), en av världens största årliga AI-forskningskonferenser, uppdaterad deras policy för pappersinlämningar kräver vad de kallar en checklista för reproducerbarhet. Det är ett litet skifte i en större kamp för att stävja den växande reproducerbarhetskrisen inom vetenskapen, där ett oroande antal forskningsrön inte framgångsrikt replikeras av andra forskare, vilket ställer tvivel om giltigheten av de första resultaten.

I februari varnade en statistiker från Rice University för att maskininlärningstekniker sannolikt underblåser den krisen eftersom resultaten de producerar är svåra att granska. Det är ett oroande problem eftersom maskininlärning i allt högre grad tillämpas inom viktiga områden som hälsovård och läkemedelsforskning.

NeurIPS:s checklista för reproducerbarhet försöker ta itu med problemet. Bland annat måste forskare ge en tydlig beskrivning av sin algoritm; en fullständig beskrivning av deras datainsamlingsprocess; en länk till någon simuleringsmiljö de använde under träningen; och en omfattande genomgång av vilken data de bevarade, kastade och varför. Tanken är att skapa en ny standard för transparens för forskare att visa hur de kommit fram till sina slutsatser.

Som världens mest betydelsefulla AI-konferens, skrev Jack Clark, policychefen för den ideella OpenAI, i sitt veckobrev Import AI, NeurIPS 2019 policy kommer att ha [en] knock-on effekt över [det] bredare AI-ekosystemet.

Den här historien dök ursprungligen upp i vårt Webby-nominerade AI-nyhetsbrev The Algorithm. För att få det direkt levererat till din inkorg, registrera dig här gratis.