211service.com
Neurala nätverk lär sig vad man ska komma ihåg och vad man ska glömma
Deep learning förändrar hur vi använder och tänker om maskiner. Nuvarande inkarnationer är bättre än människor på alla typer av uppgifter, från schack och Go till ansiktsigenkänning och objektigenkänning.
Men många aspekter av maskininlärning ligger mycket efter mänsklig prestation. I synnerhet har människor den extraordinära förmågan att ständigt uppdatera sina minnen med den viktigaste kunskapen samtidigt som de skriver över information som inte längre är användbar.
Det är en viktig färdighet. Världen tillhandahåller en oändlig källa till data, varav mycket är irrelevant för den knepiga verksamheten att överleva, och de flesta är omöjliga att lagra i ett begränsat minne. Så människor och andra varelser har utvecklat sätt att behålla viktiga färdigheter samtidigt som de glömmer irrelevanta.
Neurala nätverk lärs nu ut hur man glömmer.
Detsamma kan inte sägas om maskiner. Alla färdigheter de lär sig skrivs snabbt över, oavsett hur viktig den är. Det finns för närvarande ingen pålitlig mekanism de kan använda för att prioritera dessa färdigheter, bestämma vad de ska komma ihåg och vad de ska glömma.
Idag ser det ut att förändras tack vare Rahaf Aljundis och sina vänners arbete vid universitetet i Leuven i Belgien och på Facebook AI Research. De här killarna har visat att det tillvägagångssätt som biologiska system använder för att lära sig, och att glömma, också kan fungera med artificiella neurala nätverk.
Nyckeln är en process som kallas hebbisk inlärning, som först föreslogs på 1940-talet av den kanadensiske psykologen Donald Hebb för att förklara hur hjärnor lär sig via synaptisk plasticitet. Hebbs teori kan sammanfattas som celler som skjuter samman trådar tillsammans.
Med andra ord blir kopplingarna mellan neuroner starkare om de skjuter tillsammans, och dessa kopplingar är därför svårare att bryta. Det är så vi lär oss – upprepad synkroniserad avfyring av neuroner gör kopplingarna mellan dem starkare och svårare att skriva över.
Så Aljundi och co har utvecklat ett sätt för artificiella neurala nätverk att bete sig på samma sätt. De gör detta genom att mäta utsignalerna från ett neuralt nätverk och övervaka hur känsliga de är för förändringar i anslutningarna inom nätverket.
Detta ger dem en känsla av vilka nätverksparametrar som är viktigast och bör därför bevaras. När man lär sig en ny uppgift straffas ändringar av viktiga parametrar, säger teamet. De säger att det resulterande nätverket har minnesmedvetna synapser.
De har satt den här idén igenom sin takt med en uppsättning tester där ett neuralt nätverk som tränats för att göra en sak sedan får data som tränar det att göra något annat. Till exempel, ett nätverk tränat att känna igen blommor visas sedan fåglar. Forskarna visar sedan blommor igen för att se hur mycket av denna färdighet som finns bevarad.
Neurala nätverk med minnesmedvetna synapser visar sig prestera bättre i dessa tester än andra nätverk. Med andra ord, de bevarar mer av den ursprungliga färdigheten än nätverk utan denna förmåga, även om resultaten verkligen ger utrymme för förbättringar
Den viktigaste punkten är dock att teamet har hittat ett sätt för neurala nätverk att använda hebbiskt lärande. Vi visar att en lokal version av vår metod är en direkt tillämpning av Hebbs regel för att identifiera de viktiga kopplingarna mellan neuroner, säger Aljundi och co.
Det har konsekvenser för framtiden för maskininlärning. Om dessa forskare kan göra sin version av hebbisk inlärning bättre, borde det göra maskiner mer flexibla i sin inlärning. Och det kommer att tillåta dem att bättre anpassa sig till den verkliga världen.
Ref: arxiv.org/abs/1711.09601 : Minnesmedvetna synapser: lära sig vad (inte) att glömma