211service.com
En algoritm som lär sig genom belöningar kan visa hur vår hjärna också gör
Neurala banor Wikimedia Commons
1951 lånade Marvin Minsky, då student vid Harvard, observationer från djurs beteende för att försöka designa en intelligent maskin. Minsky bygger på idéer från fysiologen Ivan Pavlovs arbete, som berömt använde hundar för att visa hur djur lär sig genom straff och belöningar. skapat en dator som kontinuerligt kan lära sig genom liknande förstärkning för att lösa en virtuell labyrint.
Vid den tiden hade neuroforskare ännu inte räknat ut mekanismerna i hjärnan som tillåter djur att lära sig på detta sätt. Men Minsky kunde fortfarande löst härma beteendet och därigenom föra fram artificiell intelligens. Flera decennier senare, när förstärkningsinlärning fortsatte att mogna, hjälpte det i sin tur området för neurovetenskap Upptäck dessa mekanismer, matar in i en god cykel av framsteg mellan de två områdena.
I en tidning publicerad i Nature idag har DeepMind, Alphabets AI-dotterbolag, återigen använt lärdomar från förstärkningsinlärning för att föreslå en ny teori om belöningsmekanismerna i våra hjärnor. Hypotesen, stödd av initiala experimentella fynd, kunde inte bara förbättra vår förståelse av mental hälsa och motivation. Det skulle också kunna validera den nuvarande inriktningen av AI-forskning mot att bygga mer människoliknande allmän intelligens.
På en hög nivå följer förstärkningsinlärningen insikten från Pavlovs hundar: det är möjligt att lära en agent att bemästra komplexa, nya uppgifter genom endast positiv och negativ feedback. En algoritm börjar lära sig en tilldelad uppgift genom att slumpmässigt förutsäga vilken åtgärd som kan ge den en belöning. Den vidtar sedan åtgärden, observerar den verkliga belöningen och justerar sin förutsägelse baserat på felmarginalen. Under miljontals eller till och med miljarder försök konvergerar algoritmens förutsägelsefel till noll, då den vet exakt vilka åtgärder den ska vidta för att maximera sin belöning och på så sätt slutföra sin uppgift.
Det visar sig att hjärnans belöningssystem fungerar på ungefär samma sätt - en upptäckt som gjordes på 1990-talet, inspirerad av förstärkningsinlärningsalgoritmer. När en människa eller ett djur är på väg att utföra en handling, gör dess dopaminneuroner en förutsägelse om den förväntade belöningen. När den faktiska belöningen väl har tagits emot avfyrar de en mängd dopamin som motsvarar prediktionsfelet. En bättre belöning än förväntat utlöser en stark dopaminfrisättning, medan en sämre belöning än förväntat undertrycker kemikaliens produktion. Dopaminet, med andra ord, fungerar som en korrigeringssignal, som säger till neuronerna att justera sina förutsägelser tills de konvergerar till verkligheten. Fenomenet, känt som belöningsförutsägelsefel, fungerar ungefär som en förstärkningsinlärningsalgoritm.
DeepMinds nya papper bygger på den nära kopplingen mellan dessa naturliga och artificiella inlärningsmekanismer. Under 2017 introducerade dess forskare en förbättrad förstärkningsinlärningsalgoritm som sedan dess har låst upp allt mer imponerande prestanda för olika uppgifter. De tror nu att denna nya metod kan erbjuda en ännu mer exakt förklaring av hur dopaminneuroner fungerar i hjärnan.
Specifikt förändrar den förbättrade algoritmen hur den förutsäger belöningar. Medan det gamla tillvägagångssättet uppskattade belöningar som ett enda tal – menat att vara lika med det genomsnittliga förväntade resultatet – representerar den nya metoden dem mer exakt som en fördelning. (Tänk ett ögonblick på en spelautomat: du kan antingen vinna eller förlora efter en viss utdelning. Men i inget fall skulle du någonsin få det genomsnittliga förväntade resultatet.)
Modifieringen lämpar sig för en ny hypotes: Förutsäger dopaminneuroner också belöningar på samma sätt?
För att testa denna teori samarbetade DeepMind med en grupp vid Harvard för att observera dopaminneurons beteende hos möss. De satte mössen på en uppgift och belönade dem baserat på tärningskastet, genom att mäta avfyrningsmönstren för deras dopaminneuroner. De fann att varje neuron frigjorde olika mängder dopamin, vilket betyder att de alla hade förutspått olika resultat. Medan vissa var för optimistiska och förutspådde högre belöningar än vad de faktiskt fick, var andra mer pessimistiska och låg på verkligheten. När forskarna kartlade fördelningen av dessa förutsägelser följde den noga fördelningen av de faktiska belöningarna. Dessa data ger övertygande bevis för att hjärnan verkligen använder fördelningsbelöningsförutsägelser för att stärka sin inlärningsalgoritm.
Genom att mäta dopaminneuronbeteende hos möss fann forskarna att fördelningen av neuronernas förutsägelser (avkodade) nära följde fördelningen av de faktiska belöningarna (marksanningen). DeepMind
Detta är en fin förlängning av begreppet dopaminkodning av belöningsförutsägelsefel, skrev Wolfram Schultz, en pionjär inom dopaminneuronbeteende som inte var involverad i studien, i ett e-postmeddelande. Det är fantastiskt hur detta mycket enkla dopaminsvar förutsägbart följer intuitiva mönster av grundläggande biologiska inlärningsprocesser som nu blir en del av AI.
Studien har implikationer för både AI och neurovetenskap. För det första validerar det distributionsförstärkningsinlärning som en lovande väg till mer avancerade AI-förmågor. Om hjärnan använder det är det förmodligen en bra idé, sa Matt Botvinick, DeepMinds chef för neurovetenskaplig forskning och en av huvudförfattarna på tidningen, under en pressträff. Det säger oss att detta är en beräkningsteknik som kan skalas i verkliga situationer. Det kommer att passa bra med andra beräkningsprocesser.
För det andra kan det erbjuda en viktig uppdatering av en av de kanoniska teorierna inom neurovetenskap om belöningssystem i hjärnan, vilket i sin tur kan förbättra vår förståelse för allt från motivation till mental hälsa. Vad kan det till exempel innebära att ha pessimistiska och optimistiska dopaminneuroner? Om hjärnan selektivt lyssnade på bara det ena eller det andra, kan det leda till kemiska obalanser och framkalla depression?
I grund och botten, genom att ytterligare avkoda processer i hjärnan, belyser resultaten också vad som skapar mänsklig intelligens. Det ger oss ett nytt perspektiv på vad som händer i våra hjärnor under vardagen, sa Botvinick.