Forskare kämpar för att replikera AI-studier

Kategori: Artificiell intelligens Postad 16 feb

Saknade kod och data gör det svårt att jämföra maskininlärningsarbete – och det kan skada framstegen.

Problemet: Vetenskap rapporterar att från ett urval av 400 uppsatser vid topp AI-konferenser de senaste åren, delade endast 6 procent av presentatörerna kod. Bara en tredjedel delade data, och lite över hälften delade sammanfattningar av sina algoritmer, känd som pseudokod.

Varför det är viktigt: Utan tillgång till den informationen är det svårt att återskapa en studies resultat. Det gör det nästan omöjligt att jämföra nyutvecklade verktyg mot befintliga, så det är svårt för forskare att veta vilken riktning de ska driva framtida forskning.

Så här löser du det: Ibland kan bristen på delning vara förståelig – till exempel om immateriell egendom ägs av ett privat företag. Men det verkar finnas en mer spridd kultur att hålla detaljer hemliga. Vissa möten och tidskrifter uppmuntrar nu delning; kanske fler borde följa efter.