Alltför många AI-forskare tror att verkliga problem inte är relevanta

Ms Tech | Getty

Alla forskare som fokuserar på att tillämpa maskininlärning på problem i verkligheten har sannolikt fått ett svar som detta: Författarna presenterar en lösning för ett originellt och mycket motiverande problem, men det är en tillämpning och betydelsen verkar begränsad för maskininlärning gemenskap.

Dessa ord är direkt från en recension jag fick för ett papper jag skickade in till NeurIPS (Neural Information Processing Systems) konferens , en toppplats för forskning om maskininlärning. Jag har sett refrängen gång på gång i recensioner av uppsatser där jag och mina medförfattare presenterade en metod motiverad av en ansökan, och jag har hört liknande historier från otaliga andra.

Detta får mig att undra: Om samhället anser att målet att lösa verkliga problem med hög effekt med maskininlärning är av begränsad betydelse, vad försöker vi då uppnå?

De mål för artificiell intelligens (pdf) är att skjuta fram gränsen för maskinintelligens. Inom området för maskininlärning innebär en ny utveckling vanligtvis en ny algoritm eller procedur, eller - i fallet med djupinlärning - en ny nätverksarkitektur. Som andra har påpekat leder denna hyperfokusering på nya metoder till ett gissel av tidningar som rapporterar marginella eller inkrementella förbättringar på benchmarkdatauppsättningar och uppvisa bristfälligt stipendium (pdf) som forskare tävlar mot toppen topplista .

Samtidigt presenterar många artiklar som beskriver nya tillämpningar både nya koncept och resultat med stor genomslagskraft. Men även en antydan om ordet tillämpning verkar förstöra tidningen för recensenter. Som ett resultat av detta marginaliseras sådan forskning vid stora konferenser. Deras författares enda verkliga hopp är att få sina uppsatser accepterade i workshops, som sällan får samma uppmärksamhet från samhället.

Detta är ett problem eftersom maskininlärning har stora löften för att främja hälsa, jordbruk, vetenskapliga upptäckter och mer. Den första bild av ett svart hål producerades med hjälp av maskininlärning. Den mest exakta förutsägelser av proteinstrukturer , ett viktigt steg för upptäckt av läkemedel, görs med hjälp av maskininlärning. Om andra inom området hade prioriterat verkliga tillämpningar, vilka andra banbrytande upptäckter skulle vi ha gjort vid det här laget?

Detta är ingen ny uppenbarelse. För att citera en klassisk tidning med titeln Maskininlärning som betyder något (pdf) , av NASA datavetare Lämnade Wagstaff f : Mycket av nuvarande forskning om maskininlärning har förlorat sin koppling till problem som är viktiga för den större vetenskapens och samhällets värld. Samma år som Wagstaff publicerade sin tidning vann ett konvolutionellt neuralt nätverk kallat AlexNet en högprofilerad tävling för bildigenkänning centrerad kring den populära ImageNet datauppsättning, vilket leder till en explosion av intresse för Djup lärning . Tyvärr verkar den frånkoppling hon beskrev ha blivit ännu värre sedan dess.

Fel frågor

Att marginalisera tillämpningsforskningen får verkliga konsekvenser. Benchmark-datauppsättningar, som ImageNet eller KOKOS , har varit nyckeln till att främja maskininlärning. De gör det möjligt för algoritmer att träna och jämföras på samma data. Men dessa datamängder innehålla fördomar som kan byggas in i de resulterande modellerna.

Mer än hälften av bilderna i ImageNet (pdf) kommer från till exempel USA och Storbritannien. Den obalansen leder till att system felaktigt klassificerar bilder i kategorier som skiljer sig åt geografi (pdf) . Populära ansiktsdatauppsättningar, såsom AT&T databas över ansikten , innehåller främst ljushyade manliga ämnen, vilket leder till system som kämpar för att känna igen mörkhyade och kvinnliga ansikten .

Medan forskare försöker överträffa varandra på konstruerade riktmärken, svälter en av nio människor i världen.

När studier om verkliga tillämpningar av maskininlärning utesluts från mainstream, är det svårt för forskare att se effekten av deras partiska modeller, vilket gör det mycket mindre troligt att de kommer att arbeta för att lösa dessa problem.

En anledning till att tillämpningsforskning minimeras kan vara att andra inom maskininlärning tror att detta arbete består av att helt enkelt tillämpa metoder som redan finns. Men i verkligheten kräver det betydande algoritm- och ingenjörsarbete att anpassa maskininlärningsverktyg till specifika verkliga problem. Maskinlärande forskare som inte inser detta och förväntar sig att verktyg ska fungera från hyllan slutar ofta med att skapa ineffektiva modeller. Antingen utvärderar de en modells prestanda med hjälp av mätvärden som inte översätts till verkliga effekter, eller så väljer de helt fel mål.

Till exempel försöker de flesta studier som tillämpar djupinlärning på ekokardiogramanalys att överträffa en läkares förmåga att förutsäga sjukdom. Men förutsäga vanligt hjärtfunktion (pdf) skulle faktiskt spara kardiologer mer tid genom att identifiera patienter som inte behöver deras expertis. Många studier som tillämpar maskininlärning på vinodling syftar till optimera druvskörden (pdf) , men vinmakare vill ha rätt nivåer av socker och syra, inte bara massor av stora vattniga bär, säger Drake Whitcraft från Whitcraft Winery i Kalifornien.

Mer skada än nytta

En annan anledning till att applikationsforskning borde ha betydelse för mainstream maskininlärning är att fältets benchmark-datauppsättningar är bedrövligt ur kontakt med verkligheten.

Nya maskininlärningsmodeller mäts mot stora, kurerade datamängder som saknar brus och har väldefinierade, explicit märkta kategorier (katt, hund, fågel). Deep learning gör bra för dessa problem eftersom det antar en i stort sett stabil värld (pdf) .

Men i den verkliga världen förändras dessa kategorier ständigt över tid eller beroende på geografiska och kulturella sammanhang. Tyvärr har svaret inte varit att utveckla nya metoder som tar itu med svårigheterna med verklig data; snarare har det varit en push för applikationsforskare att skapa sina egna benchmark-datauppsättningar.

Målet med dessa ansträngningar är i huvudsak att klämma in verkliga problem i det paradigm som andra maskinlärande forskare använder för att mäta prestanda. Men de domänspecifika datamängderna är sannolikt inte bättre än befintliga versioner när det gäller att representera verkliga scenarier. Resultaten kan göra mer skada än nytta. Människor som kan ha fått hjälp av dessa forskares arbete kommer att bli desillusionerade av teknologier som presterar dåligt när det betyder mest.

På grund av fältets missriktade prioriteringar drar inte människor som försöker lösa världens största utmaningar så mycket som de kunde av AI:s mycket verkliga löfte. Medan forskare försöker överträffa varandra på konstruerade riktmärken, var en av nio personer i världen svälter . Jorden värms upp och havsnivån stiger i en alarmerande takt.

Som neurovetare och AI-tankeledare Gary Marcus skrev en gång (pdf) : AI:s största bidrag till samhället ... kunde och bör i slutändan komma inom områden som automatiserade vetenskapliga upptäckter, vilket bland annat leder mot mycket mer sofistikerade versioner av medicin än vad som är möjligt för närvarande. Men för att nå dit måste vi se till att fältet som helhet inte först fastnar i ett lokalt minimum.

För att världen ska kunna dra nytta av maskininlärning måste samhället återigen fråga sig själv, som Wagstaff en gång uttryckte det: Vad är fältets objektiva funktion? Om svaret ska ha en positiv inverkan i världen måste vi ändra vårt sätt att tänka kring applikationer.

Hannah Kerner är biträdande forskningsprofessor vid University of Maryland i College Park. Hon forskar om maskininlärningsmetoder för fjärranalysapplikationer inom jordbruksövervakning och livsmedelssäkerhet som en del av NASAs skörd program.

Dölj