Googles hemliga DeepMind-startup avslöjar en 'Neural Turing Machine'

En av neurovetenskapens stora utmaningar är att förstå det kortsiktiga arbetsminnet i den mänskliga hjärnan. Samtidigt skulle datavetare verkligen älska att återskapa samma typ av minne in silico .

Idag avslöjar Googles hemliga DeepMind-startup, som den köpte för 400 miljoner dollar tidigare i år, en prototypdator som försöker efterlikna några av egenskaperna hos den mänskliga hjärnans korttidsarbetsminne. Den nya datorn är en typ av neurala nätverk som har anpassats för att fungera med ett externt minne. Resultatet är en dator som lär sig när den lagrar minnen och som senare kan hämta dem för att utföra logiska uppgifter utöver de den har tränats för att göra.

DeepMinds genombrott följer en lång historia av arbete med korttidsminne. På 1950-talet genomförde den amerikanske kognitiva psykologen George Miller ett av de mer kända experimenten i hjärnvetenskapens historia. Miller var intresserad av kapaciteten hos den mänskliga hjärnans arbetsminne och satte sig för att mäta det med hjälp av ett stort antal elever som han bad att utföra enkla minnesuppgifter.

Millers slående slutsats var att kapaciteten hos korttidsminnet inte kan definieras av mängden information det innehåller. Istället drog Miller slutsatsen att arbetsminnet lagrar information i form av bitar och att det kan hålla ungefär sju av dem.

Det väcker den märkliga frågan: vad är en bit? I Millers experiment kan en bit vara en enstaka siffra som en 4:a, en enda bokstav som ett q, ett enda ord eller en liten grupp av ord som tillsammans har någon specifik betydelse. Så varje bit kan representera allt från en mycket liten mängd information till en enormt komplex idé som motsvarar stora mängder information.

Men hur mycket information en enskild bit än representerar, kan den mänskliga hjärnan bara lagra omkring sju av dem i sitt arbetsminne.

Här är ett exempel. Tänk på följande mening: Den här boken är en spännande läsning med en komplex handling och verklighetstrogna karaktärer.

Den här meningen består av cirka sju informationsbitar och är tydligt hanterbar för alla vanliga läsare.

Prova däremot den här meningen: Den här boken om Romarriket under de första åren av Augustus Caesars regeringstid i slutet av den romerska republiken, beskriver händelserna efter det blodiga slaget vid Actium år 31 f.Kr. när den unge kejsaren besegrade Mark Antony och Cleopatra genom att på ett omfattande sätt utmanövrera dem i ett stort marint engagemang.

Den här meningen innehåller minst 20 bitar. Så om du tyckte det var svårare att läsa borde det inte vara en överraskning. Den mänskliga hjärnan har svårt att hålla så många bitar i sitt arbetsminne.

Inom kognitionsvetenskapen kallas förmågan att förstå komponenterna i en mening och lagra dem i arbetsminnet variabel bindning. Detta är möjligheten att ta en bit data och tilldela den till en plats i minnet och att göra detta upprepade gånger med data av olika längd, som bitar.

Under 1990- och 2000-talen försökte datavetare upprepade gånger att designa algoritmer, kretsar och neurala nätverk som kunde utföra detta trick. En sådan dator borde kunna analysera en enkel mening som Mary talade till John genom att dela upp den i dess beståndsdelar av skådespelare, handling och mottagaren av handlingen. Så i det här fallet skulle det tilldela rollen som skådespelare till Mary, rollen som handling till orden som talas till och rollen som mottagare av handlingen till John.

Det är denna uppgift som DeepMinds arbete tar upp, trots den mycket begränsade prestandan hos tidigare maskiner. Vår arkitektur bygger på och förstärker detta arbete, säger Alex Graves, Greg Wayne och Ivo Danihelka på DeepMind, som är baserat i London.

De börjar med att omdefiniera karaktären hos ett neuralt nätverk. Fram till nu har neurala nätverk varit mönster av sammankopplade neuroner som kan ändra styrkan på sammankopplingarna som svar på någon extern input. Detta är en form av lärande som gör att de kan upptäcka likheter mellan olika input.

Men den grundläggande beräkningsprocessen innehåller ytterligare ett viktigt element. Detta är ett externt minne som kan skrivas till och läsas från under en beräkning. I Turings berömda beskrivning av en dator är minnet tickerbandet som passerar fram och tillbaka genom datorn och som lagrar symboler av olika slag för senare bearbetning.

Denna typ av läsbart och skrivbart minne saknas i ett konventionellt neuralt nätverk. Så Graves och co har helt enkelt lagt till en. Detta gör att det neurala nätverket kan lagra variabler i sitt minne och komma tillbaka till dem senare för att använda i en beräkning.

Detta liknar hur en vanlig dator kan lägga siffran 3 och siffran 4 i register och senare lägga till dem för att göra 7. Skillnaden är att det neurala nätverket kan lagra mer komplexa mönster av variabler som representerar till exempel ordet Mary .

Eftersom denna form av beräkning på ett viktigt sätt skiljer sig från ett konventionellt neuralt nätverk, ger Graves och co det ett nytt namn – de kallar det en Neural Turing Machine, den första i sitt slag som har byggts. Neural Turing Machine lär sig som ett vanligt neuralt nätverk med hjälp av indata den får från den yttre världen, men den lär sig också hur man lagrar denna information och när den ska hämtas.

DeepMind-arbetet går ut på att först konstruera enheten och sedan genomgå den. Deras experiment består av ett antal tester för att se om, efter att ha tränat en Neural Turing Machine för att utföra en viss uppgift, den sedan skulle kunna utöka denna förmåga till större eller mer komplexa uppgifter. Vi var till exempel nyfikna på att se om ett nätverk som hade tränats att kopiera sekvenser med längd upp till 20 kunde kopiera en sekvens med längd 100 utan vidare utbildning, säger Graves och co.

Det visar sig att den neurala Turing-maskinen lär sig att kopiera sekvenser med längder upp till 20 mer eller mindre perfekt. Och den kopierar sedan sekvenser av längderna 30 och 50 med väldigt få misstag. För en sekvens med längden 120 börjar fel smyga sig in, inklusive ett fel där en enstaka term dupliceras och så skjuter alla följande termer ett steg tillbaka. Trots att det är subjektivt nära en korrekt kopia leder detta till en hög förlust, säger laget.

Även om de inblandade sekvenserna är slumpmässiga, är det inte svårt att föreställa sig hur de kan representera mer komplexa idéer som Mary eller talade med eller John. En viktig punkt är att mängden information som dessa sekvenser innehåller är variabel, som bitar.

De jämför prestandan hos deras Neural Turing Machine med ett konventionellt neuralt nätverk. Skillnaden är betydande. Det konventionella neurala nätverket lär sig att kopiera sekvenser upp till längd 20 nästan perfekt. Men när det kommer till sekvenser som är längre än träningsdatan blir felen omedelbart betydande. Och dess kopia av den längsta sekvensen av längd 120 är nästan oigenkännlig jämfört med originalet.

DeepMind-teamet fortsätter att testa Neural Turing Machine på andra uppgifter. Till exempel är en av dessa motsvarigheten till fotokopiering: uppgiften är att kopiera en sekvens och sedan upprepa den sekvensen ett visst antal gånger och avsluta med en förutbestämd markör. Återigen överträffar Neural Turing Machine betydligt ett konventionellt neuralt nätverk.

Det är ett imponerande arbete. Våra experiment visar att [vår Neural Turing Machine] är kapabel att lära sig enkla algoritmer från exempeldata och att använda dessa algoritmer för att generalisera långt utanför sin träningsregim, säger Graves och co.

Det är ett viktigt steg framåt som har potential att göra datormaskiner mycket mer hjärnliknande än någonsin tidigare. Men det finns ett stort arbete framför oss.

I synnerhet utför den mänskliga hjärnan ett smart trick för att förstå komplexa argument. En intressant fråga som följer av Millers tidiga arbete är denna: om vårt arbetsminne bara kan hantera sju bitar, hur ska vi förstå komplexa argument i till exempel böcker som består av tusentals eller tiotusentals bitar?

Millers svar är att hjärnan använder ett trick som kallas omkodning. Låt oss gå tillbaka till vårt exempel på boken och lägga till ytterligare en mening: Den här boken är en spännande läsning med en komplex handling och verklighetstrogna karaktärer. Det är helt klart värt omslagspriset.

När du har läst och förstått den första meningen, lagrar din hjärna dessa sju bitar på ett sätt som är tillgängligt som en enda bit i nästa mening. I denna andra mening är pronomenet denna enda bit. Vår hjärna vet automatiskt att det betyder: boken som är spännande läsning med en komplex handling och verklighetstrogna karaktärer. Den har kodat om de sju tidigare bitarna till en enda bit.

För Miller var hjärnans förmåga att koda om på detta sätt en av nycklarna till artificiell intelligens. Han trodde att tills en dator kunde återskapa denna förmåga, kunde den aldrig matcha den mänskliga hjärnans prestanda.

Googles DeepMind har uttalat att dess mål är att lösa intelligens. Om denna lösning är något som liknar mänsklig intelligens, skulle ett bra test vara att se om Neural Turing Machines är kapabla till Millers omkodningstrick.

Ref: arxiv.org/abs/1410.5401 : Neural Turing-maskiner

Dölj