Hur DeepMinds Memory Trick hjälper AI att lära sig snabbare

Intelligenta maskiner har människor i sikte. Maskiner för djupinlärning har redan övermänskliga färdigheter när det kommer till uppgifter som ansiktsigenkänning, videospel och till och med det gamla kinesiska spelet Go. Så det är lätt att tro att människor redan är överkörda.

Men inte så snabbt. Intelligenta maskiner släpar fortfarande efter människor på ett avgörande område av prestanda: den hastighet med vilken de lär sig. När det till exempel gäller att bemästra klassiska videospel, tar de bästa djupinlärningsmaskinerna cirka 200 timmars spel för att nå samma färdighetsnivåer som människor uppnår på bara två timmar.

Så datavetare skulle verkligen älska att ha något sätt att påskynda den hastighet med vilken maskiner lär sig.

Idag hävdar Alexander Pritzel och kompisar på Googles DeepMind-dotterbolag i London att de har gjort just det. Dessa killar har byggt en djupinlärningsmaskin som snabbt kan tillgodogöra sig nya erfarenheter och sedan agera utifrån dem. Resultatet är en maskin som lär sig betydligt snabbare än andra och har potential att matcha människor inom en inte alltför avlägsen framtid.

Först lite bakgrund. Deep learning använder lager av neurala nätverk för att leta efter mönster i data. När ett enstaka lager upptäcker ett mönster som det känner igen, skickar det denna information till nästa lager, som letar efter mönster i denna signal, och så vidare.

Så i ansiktsigenkänning kan ett lager leta efter kanter i en bild, nästa lager efter cirkulära mönster av kanter (sådana som ögon och munnar gör) och nästa efter triangulära mönster som de som skapas av två ögon och en mun. När allt detta händer är slutresultatet en indikation på att ett ansikte har upptäckts.

Naturligtvis ligger djävulen i detaljerna. Det finns olika system för återkoppling som gör det möjligt för systemet att lära sig genom att justera olika interna parametrar som t.ex. styrkan på anslutningar mellan lager. Dessa parametrar måste ändras långsamt, eftersom en stor förändring i ett lager kan katastrofalt påverka inlärningen i de efterföljande lagren. Det är därför djupa neurala nätverk behöver så mycket träning och varför det tar så lång tid.

Pritzel och co har tacklat detta problem med en teknik som de kallar neural episodisk kontroll. Neural episodisk kontroll visar dramatiska förbättringar av inlärningshastigheten för ett brett spektrum av miljöer, säger de. Kritiskt är att vår agent snabbt kan fästa sig vid mycket framgångsrika strategier så snart de upplevs, istället för att vänta på många steg av optimering.

Grundtanken bakom DeepMinds tillvägagångssätt är att kopiera hur människor och djur lär sig snabbt. Den allmänna samsynen är att människor kan hantera situationer på två olika sätt. Om situationen är bekant har våra hjärnor redan bildat en modell av den, som de använder för att komma fram till hur de bäst ska bete sig. Detta använder en del av hjärnan som kallas prefrontala cortex.

Men när situationen inte är känd måste våra hjärnor falla tillbaka på en annan strategi. Detta tros involvera en mycket enklare test-och-kom ihåg-metod som involverar hippocampus. Så vi provar något och kommer ihåg resultatet av det här avsnittet. Om det lyckas försöker vi igen, och så vidare. Men om det inte är ett lyckat avsnitt försöker vi undvika det i framtiden.

Detta episodiska tillvägagångssätt räcker på kort sikt medan vår prefrontala hjärna lär sig. Men det överträffas snart av den prefrontala cortexen och dess modellbaserade tillvägagångssätt.

Pritzel och co har använt detta tillvägagångssätt som sin inspiration. Deras nya system har två tillvägagångssätt. Det första är ett konventionellt djupinlärningssystem som efterliknar beteendet hos den prefrontala cortex. Den andra är mer lik hippocampus. När systemet provar något nytt kommer det ihåg resultatet.

Men avgörande, det försöker inte lära sig vad man ska komma ihåg. Istället kommer den ihåg allt. Vår arkitektur försöker inte lära sig när man ska skriva till minnet, eftersom detta kan vara långsamt att lära sig och ta en betydande tid, säger Pritzel och co. Istället väljer vi att skriva alla upplevelser till minnet och låta det växa sig mycket stort jämfört med befintliga minnesarkitekturer.

De använder sedan en uppsättning strategier för att snabbt läsa från detta stora minne. Resultatet är att systemet kan fästa sig vid framgångsrika strategier mycket snabbare än konventionella system för djupinlärning.

De fortsätter med att demonstrera hur bra allt detta fungerar genom att träna sin maskin för att spela klassiska Atari-videospel, som Breakout, Pong och Space Invaders. (Detta är en lekplats som DeepMind har använt för att träna många djupinlärningsmaskiner.)

Teamet, som inkluderar DeepMinds medgrundare Demis Hassibis, visar att neural episodkontroll avsevärt överträffar andra metoder för djupinlärning i den hastighet med vilken den lär sig. Våra experiment visar att neural episodkontroll kräver en storleksordning färre interaktioner med omgivningen, säger de.

Det är ett imponerande arbete med stor potential. Forskarna säger att en uppenbar förlängning av detta arbete är att testa deras nya tillvägagångssätt på mer komplexa 3D-miljöer.

Det ska bli intressant att se vilka miljöer teamet väljer och vilken inverkan detta kommer att ha på den verkliga världen. Vi ser fram emot att se hur det fungerar.

Ref: Neural episodkontroll: arxiv.org/abs/1703.01988

Dölj