AI brottas med en replikeringskris

Teknikjättar dominerar forskning men gränsen mellan verkligt genombrott och produktpresentation kan vara suddig. Vissa forskare har fått nog.





  • Will Douglas Heaven arkivsida
12 november 2020

Förra månaden publicerade Nature en förbannat svar skriven av 31 forskare till en studie från Google Health som hade dykt upp i tidskriften tidigare i år. Google beskrev framgångsrika försök med en AI som letade efter tecken på bröstcancer i medicinska bilder. Men enligt dess kritiker tillhandahöll Google-teamet så lite information om sin kod och hur den testades att studien inte var mer än en marknadsföring av proprietär teknik.

Vi kunde inte ta det längre, säger Benjamin Haibe-Kains, huvudförfattaren till svaret, som studerar beräkningsgenomik vid University of Toronto. Det handlar inte om den här studien i synnerhet - det är en trend som vi har sett i flera år nu som verkligen har börjat störa oss.

Haibe-Kains och hans kollegor är bland ett växande antal forskare som stöter tillbaka på en upplevd brist på transparens i AI-forskning. När vi såg den där uppsatsen från Google insåg vi att det var ännu ett exempel på en mycket högprofilerad tidskrift som publicerade en mycket spännande studie som inte har med vetenskap att göra, säger han. Det är mer en reklam för cool teknik. Vi kan egentligen inte göra något med det.



Vetenskapen bygger på en grund av förtroende, vilket vanligtvis innebär att dela tillräckligt med detaljer om hur forskning utförs för att göra det möjligt för andra att replikera det och verifiera resultaten själva. Det är så vetenskapen själv korrigerar och rensar bort resultat som inte står sig. Replikering gör det också möjligt för andra att bygga vidare på dessa resultat, vilket hjälper till att utveckla fältet. Vetenskap som inte kan replikeras hamnar vid sidan av.

Åtminstone är det tanken. I praktiken är få studier helt replikerade eftersom de flesta forskare är mer intresserade av att ta fram nya resultat än att återskapa gamla. Men inom områden som biologi och fysik - och datavetenskap överlag - förväntas forskare vanligtvis tillhandahålla den information som behövs för att köra om experiment, även om dessa repriser är sällsynta.

Ambitiös noob

AI känner av värmen av flera anledningar. Till att börja med är det en nykomling. Det har egentligen bara blivit en experimentell vetenskap under det senaste decenniet, säger Joelle Pineau, en datavetare vid Facebook AI Research och McGill University, som var medförfattare till klagomålet. Tidigare var det teoretiskt, men vi kör mer och mer experiment, säger hon. Och vårt engagemang för sund metodik släpar efter ambitionen med våra experiment.



Problemet är inte bara akademiskt. Brist på transparens förhindrar att nya AI-modeller och tekniker bedöms korrekt med avseende på robusthet, partiskhet och säkerhet. AI går snabbt från forskningslabb till verkliga tillämpningar, med direkt inverkan på människors liv. Men maskininlärningsmodeller som fungerar bra i labbet kan misslyckas i naturen – med potentiellt farliga konsekvenser. Replikering av olika forskare i olika miljöer skulle avslöja problem snabbare, vilket gör AI starkare för alla.

Relaterad berättelse

Artificiell allmän intelligens: Är vi nära, och är det ens vettigt att försöka?

En maskin som kunde tänka som en person har varit den vägledande visionen för AI-forskning sedan de första dagarna – och är fortfarande dess mest splittrade idé.

AI lider redan av black box-problemet: det kan vara omöjligt att säga exakt hur eller varför en maskininlärningsmodell ger de resultat den gör. Brist på transparens i forskningen gör saken värre. Stora modeller behöver så många ögon på sig som möjligt, fler som testar dem och tar reda på vad som får dem att ticka. Det är så vi gör AI i vården säkrare, AI in polisarbete mer rättvist , och chatbots mindre hatiska.



Det som hindrar AI-replikering från att hända som det borde är bristen på tillgång till tre saker: kod, data och hårdvara. Enligt 2020 State of AI-rapport , en väl granskad årlig analys av fältet av investerarna Nathan Benaich och Ian Hogarth, bara 15 % av AI-studierna delar sin kod. Branschforskare är större brottslingar än de som är knutna till universitet. Särskilt, rapporten kallar OpenAI och DeepMind för att hålla koden hemlig.

Sedan finns det en växande klyfta mellan de som har och som inte har när det kommer till de två pelarna av AI, data och hårdvara. Data är ofta proprietär, såsom den information Facebook samlar in om sina användare, eller känslig, som i fallet med personliga journaler. Och teknikjättar bedriver mer och mer forskning om enorma, dyra kluster av datorer som få universitet eller mindre företag har resurser att komma åt.

För att ta ett exempel är att träna språkgeneratorn GPT-3 beräknas ha kostnad OpenAI $10 till $12 miljoner - och det är bara den slutliga modellen, inte inklusive kostnaden för att utveckla och träna dess prototyper. Du kan förmodligen multiplicera den siffran med minst en eller två storleksordningar, säger Benaich, som är grundare av Air Street Capital, ett VC-företag som investerar i AI-startups. Bara en liten handfull stora teknikföretag har råd att göra den typen av arbete, säger han: Ingen annan kan bara kasta stora budgetar på dessa experiment.



Framstegstakten är svindlande, med tusentals tidningar som publiceras varje år. Men om inte forskarna vet vilka de ska lita på är det svårt för området att gå vidare. Genom replikering kan andra forskare kontrollera att resultaten inte har plockats i körsbär och att nya AI-tekniker verkligen fungerar enligt beskrivningen. Det blir svårare och svårare att säga vilka som är tillförlitliga resultat och vilka som inte är det, säger Pineau.

Vad kan göras? Liksom många AI-forskare delar Pineau sin tid mellan universitets- och företagslabb. De senaste åren har hon varit drivkraften bakom en förändring av hur AI-forskning publiceras. Förra året hjälpte hon till exempel med att introducera en checklista över saker som forskare måste tillhandahålla, inklusive kod och detaljerade beskrivningar av experiment, när de lämnar in artiklar till NeurIPS, en av de största AI-konferenserna.

Replikering är sin egen belöning

Pineau har också hjälpt till att lansera en handfull reproducerbarhetsutmaningar, där forskare försöker replikera resultaten från publicerade studier. Deltagarna väljer artiklar som har accepterats till en konferens och tävlar om att köra experimenten igen med hjälp av den information som tillhandahålls. Men det enda priset är beröm.

Denna brist på incitament är ett hinder för sådana ansträngningar i hela vetenskapen, inte bara inom AI. Replikering är viktigt, men det belönas inte. En lösning är att få eleverna att göra jobbet. Under de senaste åren har Rosemary Ke, doktorand vid Mila, ett forskningsinstitut i Montreal grundat av Yoshua Bengio, organiserat en reproducerbarhetsutmaning där studenter försöker replikera studier som lämnats in till NeurIPS som en del av sin maskininlärningskurs. I sin tur är några framgångsrika replikationer peer-reviewed och publicerade i tidskriften ReScience.

Det krävs ganska mycket ansträngning att återskapa ett annat papper från grunden, säger Ke. Reproducerbarhetsutmaningen erkänner denna ansträngning och ger kredit till människor som gör ett bra jobb. Ke och andra sprider också ordet på AI-konferenser via workshops som anordnats för att uppmuntra forskare att göra sitt arbete mer transparent. I år utökade Pineau och Ke reproducerbarhetsutmaningen till sju av de bästa AI-konferenserna, inklusive ICML och ICLR.

En annan push för transparens är Papper med kod projekt, inrättat av AI-forskaren Robert Stojnic när han var vid University of Cambridge. (Stojnic är nu en kollega till Pineaus på Facebook.) Lanserades som en fristående webbplats där forskare kunde länka en studie till koden som följde med den, och i år startade Papers with Code ett samarbete med arXiv, en populär preprint-server. Sedan oktober har alla maskinlärande papper på arXiv kommit med en Papers with Code-sektion som länkar direkt till kod som författare vill göra tillgänglig. Syftet är att göra delning till norm.

Gör sådana ansträngningar någon skillnad? Pineau fann att förra året, när checklistan introducerades, ökade antalet forskare inklusive kod med papper som skickades till NeurIPS från mindre än 50 % till cirka 75 % . Tusentals granskare säger att de använde koden för att bedöma bidragen. Och antalet deltagare i reproducerbarhetsutmaningarna ökar.

Svettas detaljerna

Men det är bara en början. Haibe-Kains påpekar att enbart kod ofta inte räcker för att köra ett experiment igen. Att bygga AI-modeller innebär att man gör många små ändringar – att lägga till parametrar här, justera värden där. Vilken som helst av dessa kan göra skillnaden mellan att en modell fungerar och att den inte fungerar. Utan metadata som beskriver hur modellerna tränas och trimmas kan koden vara värdelös. Djävulen sitter verkligen i detaljen, säger han.

Det är inte heller alltid klart exakt vilken kod som ska delas i första hand. Många labb använder speciell programvara för att köra sina modeller; ibland är detta proprietärt. Det är svårt att veta hur mycket av den supportkoden som måste delas också, säger Haibe-Kains.

Pineau är inte så orolig för sådana hinder. Vi borde ha riktigt höga förväntningar på att dela kod, säger hon. Att dela data är knepigare, men det finns lösningar även här. Om forskare inte kan dela sina data kan de ge anvisningar så att andra kan bygga liknande datauppsättningar. Eller så kan man ha en process där ett litet antal oberoende revisorer fick tillgång till data, vilket verifierar resultat för alla andra, säger Haibe-Kains.

Hårdvara är det största problemet. Men DeepMind hävdar att forskning om stora biljetter som AlphaGo eller GPT-3 har en trickle-down-effekt, där pengar som spenderas av rika labb så småningom leder till resultat som gynnar alla. AI som är otillgänglig för andra forskare i sina tidiga skeden, eftersom det kräver mycket datorkraft, görs ofta mer effektivt – och därmed mer tillgängligt – allt eftersom det utvecklas. AlphaGo Zero överträffade den ursprungliga AlphaGo med mycket mindre beräkningsresurser, säger Koray Kavukcuoglu, vice vd för forskning på DeepMind.

I teorin betyder det att även om replikeringen är försenad så är det åtminstone fortfarande möjligt. Kavukcuoglu noterar att Gian-Carlo Pascutto, en belgisk kodare på Mozilla som skriver schack och Go-programvara på sin fritid, kunde återskapa en version av AlphaGo Zero som heter Leela Zero, med hjälp av algoritmer som beskrivs av DeepMind i dess tidningar. Pineau tycker också att flaggskeppsforskning som AlphaGo och GPT-3 är sällsynt. Majoriteten av AI-forskningen körs på datorer som är tillgängliga för det genomsnittliga labbet, säger hon. Och problemet är inte unikt för AI. Pineau och Benaich pekar båda på partikelfysik, där vissa experiment bara kan göras på dyra utrustningar som Large Hadron Collider.

Inom fysiken utför dock universitetslaboratorier gemensamma experiment på LHC. Stora AI-experiment utförs vanligtvis på hårdvara som ägs och kontrolleras av företag. Men även det håller på att förändras, säger Pineau. Till exempel håller en grupp vid namn Compute Canada på att sätta ihop datorkluster för att låta universitet köra stora AI-experiment. Vissa företag, inklusive Facebook, ger också universiteten begränsad tillgång till sin hårdvara. Det är inte helt där, säger hon. Men några dörrar öppnas.

Haibe-Kains är mindre övertygad. När han bad Google Health-teamet att dela med sig av koden för dess cancerscreenande AI, fick han veta att det behövde fler tester. Teamet upprepar denna motivering i en formellt svar till Haibe-Kains kritik, även publicerad i Nature: Vi avser att utsätta vår programvara för omfattande tester innan den används i en klinisk miljö, och arbeta tillsammans med patienter, leverantörer och tillsynsmyndigheter för att säkerställa effektivitet och säkerhet. Forskarna sa också att de inte hade tillstånd att dela alla medicinska data de använde.

Det är inte tillräckligt bra, säger Haibe-Kains: Om de vill bygga en produkt av det, då förstår jag fullständigt att de inte kommer att avslöja all information. Men han menar att om man publicerar i en vetenskaplig tidskrift eller konferens har man en skyldighet att släppa kod som andra kan köra. Ibland kan det innebära att man delar en version som är tränad på mindre data eller använder billigare hårdvara. Det kan ge sämre resultat, men folk kommer att kunna mixtra med det. Gränserna mellan att bygga en produkt och att göra forskning blir suddigare för varje minut, säger Haibe-Kains. Jag tror att vi som fält kommer att förlora.

Forskningsvanorna dör hårt

Om företag ska få kritik för publicering, varför gör man det överhuvudtaget? Det finns en viss grad av PR, naturligtvis. Men den främsta anledningen är att de bästa företagslabben är fyllda med forskare från universitet. Till viss del formas kulturen på platser som Facebook AI Research, DeepMind och OpenAI av traditionella akademiska vanor. Teknikföretag vinner också genom att delta i det bredare forskarsamhället. Alla stora AI-projekt på privata labb bygger på lager och lager av offentlig forskning. Och få AI-forskare har inte använt sig av maskininlärningsverktyg med öppen källkod som Facebooks PyTorch eller Googles TensorFlow.

När mer forskning görs i egen regi hos gigantiska teknikföretag, kommer vissa avvägningar mellan företagens och forskningens konkurrerande krav att bli oundvikliga. Frågan är hur forskare navigerar dem. Haibe-Kains skulle vilja se tidskrifter som Nature dela upp det de publicerar i separata strömmar: reproducerbara studier å ena sidan och tekniska showcases å andra sidan.

Men Pineau är mer optimistisk. Jag skulle inte jobba på Facebook om det inte hade ett öppet förhållningssätt till forskning, säger hon.

Andra stora företagslabb betonar också sitt engagemang för transparens. Vetenskapligt arbete kräver granskning och replikering av andra på området, säger Kavukcuoglu. Detta är en kritisk del av vårt syn på forskning på DeepMind.

OpenAI har vuxit till något väldigt annorlunda än ett traditionellt laboratorium, säger Kayla Wood, talesperson för företaget. Det väcker naturligtvis en del frågor. Hon noterar att OpenAI arbetar med mer än 80 industri- och akademiska organisationer i Partnership on AI för att fundera över långsiktiga publiceringsnormer för forskning.

Pineau tror att det ligger något i det. Hon tror att AI-företag visar ett tredje sätt att forska, någonstans mellan Haibe-Kains två strömmar. Hon ställer den intellektuella produktionen från privata AI-labb mot den hos läkemedelsföretag, till exempel, som investerar miljarder i läkemedel och håller mycket av arbetet bakom stängda dörrar.

Den långsiktiga effekten av de metoder som Pineau och andra infört återstår att se. Kommer vanorna att ändras för gott? Vilken skillnad kommer det att göra för AI:s upptagande utanför forskningen? Mycket hänger på riktningen AI tar. Trenden med allt större modeller och datauppsättningar – som exempelvis gynnas av OpenAI – kommer att fortsätta att göra spetsen inom AI otillgänglig för de flesta forskare. Däremot nya tekniker, som t.ex modellkompression och få skott lärande , skulle kunna vända denna trend och tillåta fler forskare att arbeta med mindre, effektivare AI.

Hur som helst kommer AI-forskningen fortfarande att domineras av stora företag. Om det görs rätt behöver det inte vara en dålig sak, säger Pineau: AI förändrar samtalet om hur industriforskningslabb fungerar. Nyckeln är att se till att det bredare fältet får chansen att delta. Eftersom tillförlitligheten hos AI, som så mycket beror på, börjar i framkant.