En radikal ny design av neurala nätverk skulle kunna övervinna stora utmaningar inom AI

David Duvenaud et al.

David Duvenaud samarbetade i ett projekt som involverade medicinsk data när han stötte på en stor brist i AI.

En AI-forskare vid University of Toronto, han ville bygga en modell för djupinlärning som skulle förutsäga en patients hälsa över tid. Men data från medicinska journaler är lite rörigt: under hela ditt liv kan du besöka läkaren vid olika tidpunkter av olika anledningar, vilket genererar en liten mängd mätningar med godtyckliga intervall. Ett traditionellt neuralt nätverk kämpar för att hantera detta. Dess design kräver att den lär sig av data med tydliga observationsstadier. Det är alltså ett dåligt verktyg för att modellera kontinuerliga processer, speciellt sådana som mäts oregelbundet över tid.

Utmaningen ledde till att Duvenaud och hans medarbetare vid universitetet och Vector Institute omdesignade neurala nätverk som vi känner dem. Förra veckan deras papper kröntes bland fyra andra som bästa artikel vid konferensen Neural Information Processing Systems, en av de största AI-forskningssamlingarna i världen.

Neurala nät är kärnan som gör djupinlärning så kraftfull. Ett traditionellt neuralt nät består av staplade lager av enkla beräkningsnoder som arbetar tillsammans för att hitta mönster i data. De diskreta lagren är det som hindrar det från att effektivt modellera kontinuerliga processer (vi kommer till det).

Som svar skrotar forskargruppens design lagren helt. (Duvenaud noterar snabbt att de inte kom på den här idén. De var bara de första som implementerade den på ett generaliserbart sätt.) För att förstå hur detta är möjligt, låt oss gå igenom vad lagren gör i första hand.

Hur ett traditionellt neuralt nät förvandlar en bild av ett lejon till namnet 'lejon'. Jeff Clune/skärmdump

Den vanligaste processen för att träna ett neuralt nätverk (a.k.a. övervakad inlärning) involverar att mata det med en massa märkta data. Låt oss säga att du ville bygga ett system som känner igen olika djur. Du skulle mata ett neuralt nät med djurbilder parade med motsvarande djurnamn. Under huven börjar det lösa ett galet matematiskt pussel. Den tittar på alla bild-namn-par och räknar ut en formel som på ett tillförlitligt sätt förvandlar den ena (bilden) till den andra (kategorin). När den väl knäcker pusslet kan den återanvända formeln om och om igen för att korrekt kategorisera alla nya djurfoton - för det mesta.

Men att hitta en enda formel för att beskriva hela bild-till-namn-transformationen skulle vara för brett och resultera i en modell med låg precision. Det skulle vara som att försöka använda en enda regel för att skilja katter och hundar åt. Man kan säga att hundar har diskettöron. Men vissa hundar gör det inte och andra katter gör, så att du får många falska negativa och positiva saker.

Det är här ett neuralt näts lager kommer in. De delar upp transformationsprocessen i steg och låter nätverket hitta en serie formler som var och en beskriver ett skede i processen. Så det första lagret kan ta in alla pixlar och använda en formel för att välja ut vilka som är mest relevanta för katter kontra hundar. Ett andra lager kan använda ett annat för att konstruera större mönster från grupper av pixlar och ta reda på om bilden har morrhår eller öron. Varje efterföljande lager skulle identifiera allt mer komplexa egenskaper hos djuret, tills det sista lagret bestämmer hunden på basis av de ackumulerade beräkningarna. Denna steg-för-steg uppdelning av processen tillåter ett neuralt nät att bygga mer sofistikerade modeller - vilket i sin tur borde leda till mer exakta förutsägelser.

Lagermetoden har tjänat AI-fältet väl – men det har också en nackdel. Om du vill modellera något som förvandlas kontinuerligt över tiden måste du också dela upp det i diskreta steg. I praktiken, om vi återvände till hälsoexemplet, skulle det innebära att du grupperade dina journaler i ändliga perioder som år eller månader. Du kunde se hur detta skulle vara inexakt. Om du gick till läkaren den 11 januari och igen den 16 november, skulle uppgifterna från båda besöken samlas under samma år.

Så det bästa sättet att modellera verkligheten så nära som möjligt är att lägga till fler lager för att öka granulariteten. (Varför inte dela upp dina rekord i dagar eller till och med timmar? Du kunde ha gått till doktorn två gånger på en dag!) Till det yttersta betyder detta att det bästa neurala nätverket för det här jobbet skulle ha ett oändligt antal lager för att modellera oändligt mycket stegförändringar. Frågan är om denna idé ens är praktisk.

Om det här börjar låta bekant beror det på att vi har kommit fram till exakt den typ av problem som kalkylen uppfanns för att lösa. Calculus ger dig alla dessa fina ekvationer för hur man beräknar en serie förändringar över oändligt små steg – med andra ord, det räddar dig från mardrömmen att modellera kontinuerliga förändringar i diskreta enheter. Detta är magin med Duvenaud och hans medarbetares papper: det ersätter lagren med kalkylekvationer.

Resultatet är verkligen inte ens ett nätverk längre; det finns inga fler noder och anslutningar, bara en kontinuerlig beräkningsplatta. Icke desto mindre, för att hålla fast vid konventionen, döpte forskarna denna design till ett ODE-nät - ODE för vanliga differentialekvationer. (De måste fortfarande arbeta med sitt varumärke.)

Om din hjärna gör ont (tro mig, min gör det också), här är en trevlig analogi som Duvenaud använder för att knyta ihop det hela. Överväg ett kontinuerligt musikinstrument som en fiol, där du kan glida handen längs strängen för att spela vilken frekvens du vill; överväg nu en diskret som ett piano, där du har ett distinkt antal tangenter för att spela ett begränsat antal frekvenser. Ett traditionellt neuralt nätverk är som ett piano: försök hur du än kan, du kommer inte att kunna spela en bild. Du kommer bara att kunna uppskatta bilden genom att spela en skala. Även om du stämde om ditt piano så att tonfrekvenserna var riktigt nära varandra, skulle du fortfarande närma dig bilden med en skala. Att byta till ett ODE-nät är som att byta piano till en fiol. Det är inte nödvändigtvis alltid rätt verktyg, men det är mer lämpligt för vissa uppgifter.

Förutom att kunna modellera kontinuerlig förändring, förändrar ett ODE-nät även vissa aspekter av träning. Med ett traditionellt neuralt nät måste du ange hur många lager du vill ha i ditt nät i början av träningen, sedan vänta tills träningen är klar för att ta reda på hur exakt modellen är. Den nya metoden låter dig specificera önskad noggrannhet först, och den kommer att hitta det mest effektiva sättet att träna sig själv inom den felmarginalen. Å andra sidan vet du från början hur lång tid det kommer att ta ett traditionellt neuralt nät att träna. Inte så mycket när man använder ett ODE-nät. Det är dessa avvägningar som forskare måste göra, förklarar Duvenaud, när de bestämmer sig för vilken teknik de ska använda i framtiden.

För närvarande är papper erbjuder ett proof of concept för designen, men det är inte redo för bästa sändning än, säger Duvenaud. Liksom alla inledande tekniker som föreslagits inom området, behöver den fortfarande utvecklas, experimenteras och förbättras tills den kan sättas i produktion. Men metoden har potential att skaka om området – på samma sätt som Ian Goodfellow gjorde när han publicerade sin artikel om GANs.

Många av de viktigaste framstegen inom området för maskininlärning har kommit inom området neurala nätverk, säger Richard Zemel, forskningschef vid Vector Institute, som inte var involverad i uppsatsen. Uppsatsen kommer sannolikt att stimulera en hel rad av uppföljningsarbete, särskilt i tidsseriemodeller, som är grundläggande i AI-tillämpningar som sjukvård.

Kom bara ihåg att när ODE-nät sprängs så läser du om det här först.

Rättelser: En tidigare version av artikeln rubricerade bilden överst i artikeln felaktigt som en vanlig differentialekvation. Den visar banorna för neurala vanliga differentialekvationer. Artikeln har också uppdaterats för att hänvisa till den nya designen som ett 'ODE-nät' snarare än 'ODE-lösare', för att undvika förväxling med befintliga ODE-lösare från andra områden.

__

Den här artikeln dök ursprungligen upp i vårt AI-nyhetsbrev The Algorithm. För att få det levererat direkt till din inkorg, prenumerera här gratis.

Dölj