Geoffrey Hinton har en aning om vad som är nästa steg för AI

Kiel Mutschelknaus

I november hade datavetaren och kognitiva psykologen Geoffrey Hinton en aning. Efter ett halvt sekels försök – några mycket framgångsrika – hade han kommit fram till ytterligare en lovande insikt om hur hjärnan fungerar och hur man replikerar dess kretsar i en dator.

Det är min nuvarande bästa satsning på hur saker och ting passar ihop, säger Hinton från sitt hemmakontor i Toronto, där han har blivit sekvestrerad under pandemin. Om hans satsning lönar sig kan det sätta fart på nästa generation av artificiella neurala nätverk - matematiska datorsystem, löst inspirerade av hjärnans neuroner och synapser, som är kärnan i dagens artificiella intelligens. Hans ärliga motivation, som han uttrycker det, är nyfikenhet. Men den praktiska motivationen – och helst konsekvensen – är mer tillförlitlig och mer pålitlig AI.

Hinton, en ingenjörsstipendiat från Google och medgrundare av Vector Institute for Artificial Intelligence, skrev upp sin gissning i anfall och börjar, och i slutet av februari meddelas via Twitter att han hade lagt ut ett 44-sidigt papper på arXiv förtrycksserver. Han började med en ansvarsfriskrivning: Den här uppsatsen beskriver inte ett fungerande system, skrev han. Snarare presenterar det ett imaginärt system. Han döpte den till GLOM. Termen härrör från agglomerat och uttrycket glom tillsammans.

Hinton tänker på GLOM som ett sätt att modellera mänsklig perception i en maskin – det erbjuder ett nytt sätt att bearbeta och representera visuell information i ett neuralt nätverk. På en teknisk nivå involverar magen av det en glomming tillsammans av liknande vektorer. Vektorer är grundläggande för neurala nätverk — en vektor är en uppsättning tal som kodar information. Det enklaste exemplet är xyz koordinater för en punkt – tre siffror som anger var punkten är i det tredimensionella rummet. En sexdimensionell vektor innehåller ytterligare tre delar av information - kanske de röd-gröna-blå värdena för punktens färg. I ett neuralt nät representerar vektorer i hundratals eller tusentals dimensioner hela bilder eller ord. Och när det gäller ännu högre dimensioner, tror Hinton att det som händer i våra hjärnor involverar stora vektorer för neural aktivitet.

Som en analogi liknar Hinton sin glomming av liknande vektorer med dynamiken i en ekokammare – förstärkningen av liknande föreställningar. En ekokammare är en total katastrof för politik och samhälle, men för neurala nät är det en stor sak, säger Hinton. Föreställningen om ekokammare mappade på neurala nätverk kallar han öar med identiska vektorer, eller mer vardagligt, öar av överensstämmelse – när vektorer är överens om arten av deras information, pekar de i samma riktning.

Om neurala nät var mer som människor, kan de åtminstone gå fel på samma sätt som människor gör, så vi får lite insikt i vad som kan förvirra dem.

Geoffrey Hinton

I andan når GLOM också det svårfångade målet att modellera intuition – Hinton anser att intuition är avgörande för perception. Han definierar intuition som vår förmåga att utan ansträngning göra analogier. Från barndomen genom livets gång, förstår vi världen genom att använda analoga resonemang, kartlägga likheter från ett objekt eller idé eller koncept till ett annat – eller, som Hinton uttrycker det, en stor vektor till en annan. Likheter med stora vektorer förklarar hur neurala nätverk gör intuitiva analoga resonemang, säger han. Mer allmänt fångar intuition det outsägliga sättet som en mänsklig hjärna genererar insikt. Hinton själv arbetar väldigt intuitivt – vetenskapligt styrs han av intuition och verktyget för att göra analogi. Och hans teori om hur hjärnan fungerar handlar om intuition. Jag är väldigt konsekvent, säger han.

Hinton hoppas att GLOM kan vara ett av flera genombrott som han tror behövs innan AI verkligen kan lösa problem – den sortens människoliknande tänkande som skulle tillåta ett system att förstå saker som aldrig tidigare stött på; att dra på likheter från tidigare erfarenheter, leka med idéer, generalisera, extrapolera, förstå. Om neurala nät var mer som människor, säger han, kan de åtminstone gå fel på samma sätt som människor gör, så vi får lite insikt i vad som kan förvirra dem.

För närvarande är dock GLOM i sig bara en intuition - det är vaporware, säger Hinton. Och han erkänner att som en akronym stämmer bra överens med Geoffs sista originalmodell. Det är åtminstone hans senaste.

Utanför boxen

Hintons hängivenhet till artificiella neurala nätverk (en uppfinning från mitten av 1900-talet) dateras till början av 1970-talet. År 1986 hade han gjort avsevärda framsteg: medan näten till en början bara bestod av ett par neuronlager, input och output, kom Hinton och medarbetare på en teknik för ett djupare, flerskiktsnätverk. Men det tog 26 år innan datorkraft och datakapacitet kom ikapp och utnyttjade den djupa arkitekturen.

2012 fick Hinton berömmelse och rikedom genom ett djupt lärande genombrott. Med två elever implementerade han ett flerskiktigt neuralt nätverk som tränades att känna igen objekt i massiva bilddatauppsättningar. Det neurala nätet lärde sig att iterativt förbättras vid klassificering och identifiering av olika föremål - till exempel en kvalster, en svamp, en motorskoter, en madagaskarkatt. Och den presterade med oväntat spektakulär precision.

Relaterad berättelse

Är AI Ridning en One-Trick-ponny? Nästan varje AI-framsteg du har hört talas om beror på ett genombrott som är tre decennier gammalt. Att hålla uppe takten i framstegen kräver att man konfronterar AI:s allvarliga begränsningar.

Djup inlärning startade den senaste AI-revolutionen och förvandlade datorseendet och fältet som helhet. Hinton tror djupinlärning borde vara nästan allt som behövs för att helt replikera mänsklig intelligens.

Men trots snabba framsteg finns det fortfarande stora utmaningar. Utsätt ett neuralt nät för en obekant datauppsättning eller en främmande miljö, och det visar sig vara skört och oflexibelt. Självkörande bilar och essäskrivande språkgeneratorer imponerar, men det kan gå snett. AI-visuella system kan lätt förväxlas: en kaffemugg som känns igen från sidan skulle vara okänt från ovan om systemet inte hade tränats på den vyn; och med manipulation av några pixlar kan en panda misstas för en struts, eller till och med en skolbuss.

GLOM tar upp två av de svåraste problemen för visuella perceptionssystem: att förstå en hel scen i termer av objekt och deras naturliga delar; och att känna igen objekt när de ses från en ny synvinkel.(GLOMs fokus ligger på vision, men Hinton förväntar sig att idén också kan tillämpas på språket.)

Ett föremål som Hintons ansikte, till exempel, består av hans livliga om hundtrötta ögon (för många människor som ställer frågor, för lite sömn), hans mun och öron och en framträdande näsa, allt toppat av en inte-för -stökig tousle av mestadels grått. Och med tanke på hans näsa är han lätt att känna igen redan vid första anblicken i profilvy.

Båda dessa faktorer – del-hela relationen och synvinkeln – är, ur Hintons perspektiv, avgörande för hur människor gör syn. Om GLOM någonsin fungerar, säger han, kommer det att göra perception på ett sätt som är mycket mer mänskligt än nuvarande neurala nät.

Att gruppera delar i helheter kan dock vara ett svårt problem för datorer, eftersom delar ibland är tvetydiga. En cirkel kan vara ett öga, en munk eller ett hjul. Som Hinton förklarar det, försökte den första generationen av AI-visionsystem känna igen objekt genom att förlita sig mest på geometrin hos del-hela-relationen – den rumsliga orienteringen mellan delarna och mellan delarna och helheten. Den andra generationen förlitade sig istället mest på djupinlärning – att låta det neurala nätet träna på stora mängder data. Med GLOM kombinerar Hinton de bästa aspekterna av båda tillvägagångssätten.

Det finns en viss intellektuell ödmjukhet som jag gillar med det, säger Gary Marcus, grundare och VD för Robust.AI och en välkänd kritiker av det tunga beroendet av djupinlärning. Marcus beundrar Hintons vilja att utmana något som gav honom berömmelse, att erkänna att det inte riktigt fungerar. Det är modigt, säger han. Och det är ett bra korrigerande att säga: 'Jag försöker tänka utanför boxen.'

GLOM-arkitekturen

I hantverkar GLOM Hinton försökte modellera några av de mentala genvägarna – intuitiva strategier eller heuristik – som människor använder för att förstå världen. GLOM, och faktiskt mycket av Geoffs arbete, handlar om att titta på heuristik som människor verkar ha, bygga neurala nät som själva kan ha den heuristiken, och sedan visa att näten blir bättre på syn som ett resultat, säger Nick Frosst, en dator forskare vid en språkstartup i Toronto som arbetade med Hinton på Google Brain.

Med visuell perception är en strategi att analysera delar av ett objekt – såsom olika ansiktsdrag – och därigenom förstå helheten. Om du ser en viss näsa kanske du känner igen den som en del av Hintons ansikte; det är en delvis hel hierarki. För att bygga ett bättre synsystem, säger Hinton, har jag en stark intuition att vi måste använda delvis hela hierarkier. Mänskliga hjärnor förstår denna del-hela sammansättning genom att skapa vad som kallas ett analysträd – ett förgrenande diagram som visar det hierarkiska förhållandet mellan helheten, dess delar och underdelar. Ansiktet i sig är högst upp på trädet, och ögonen, näsan, öronen och munnen bildar grenarna nedanför.

Ett av Hintons huvudmål med GLOM är att replikera analysträdet i ett neuralt nät – detta skulle skilja det från neurala nät som kom tidigare. Av tekniska skäl är det svårt att göra. Det är svårt eftersom varje enskild bild skulle analyseras av en person till ett unikt analysträd, så vi skulle vilja att ett neuralt nät skulle göra detsamma, säger Frosst. Det är svårt att få något med en statisk arkitektur – ett neuralt nät – att anta en ny struktur – ett analysträd – för varje ny bild den ser. Hinton har gjort olika försök. GLOM är en stor revidering av hans tidigare försök 2017, kombinerat med andra relaterade framsteg på området.

Jag är en del av en näsa!

GLOM vektor

MS TECH | EVIATAR BACH VIA WIKIMEDIA

Ett generaliserat sätt att tänka om GLOM-arkitekturen är följande: Bilden av intresse (säg ett fotografi av Hintons ansikte) är uppdelad i ett rutnät. Varje område av rutnätet är en plats på bilden - en plats kan innehålla iris i ett öga, medan en annan kan innehålla spetsen på hans näsa. För varje plats i nätet finns det cirka fem lager, eller nivåer. Och nivå för nivå gör systemet en förutsägelse, med en vektor som representerar innehållet eller informationen. På en nivå nära botten kan vektorn som representerar nässpetsen förutsäga: Jag är en del av en näsa! Och på nästa nivå upp, för att bygga en mer sammanhängande representation av vad den ser, kan vektorn förutsäga: Jag är en del av ett ansikte i sidovinkel!

Men då är frågan om närliggande vektorer på samma nivå håller med? När de är överens pekar vektorer i samma riktning, mot samma slutsats: Ja, vi tillhör båda samma näsa. Eller längre upp i analysträdet. Ja, vi tillhör båda samma ansikte.

Att söka konsensus om ett objekts natur – om exakt vad objektet i slutändan är – GLOM:s vektorer iterativt, plats-för-plats och lager-på-lager, medelvärde med närliggande vektorer bredvid, såväl som förutsagda vektorer från nivåer över och under .

Däremot är nätet inte villigt genomsnittligt med bara vad som helst i närheten, säger Hinton. Det genomsnitt selektivt, med närliggande förutsägelser som visar likheter. Det här är välkänt i Amerika, det här kallas ekokammare, säger han. Vad du gör är att du bara accepterar åsikter från människor som redan håller med dig; och då händer det att man får en ekokammare där ett helt gäng människor har exakt samma åsikt. GLOM använder det faktiskt på ett konstruktivt sätt. Det analoga fenomenet i Hintons system är de överensstämmelseöarna.

Geoff är en mycket ovanlig tänkare...'

Stämma Becker

Föreställ dig ett gäng människor i ett rum som ropar små variationer av samma idé, säger Frosst - eller föreställ dig de människorna som vektorer som pekar i små variationer av samma riktning. De skulle efter ett tag konvergera till den ena idén, och de skulle alla känna den starkare, eftersom de fick den bekräftad av de andra människorna runt omkring dem. Det är så GLOMs vektorer förstärker och förstärker sina kollektiva förutsägelser om en bild.

GLOM använder dessa öar av överensstämmande vektorer för att åstadkomma tricket att representera ett analysträd i ett neuralt nät. Medan vissa nya neurala nät använder överensstämmelse mellan vektorer för aktivering , GLOM använder avtal för representation — att bygga upp representationer av saker inom nätet. Till exempel, när flera vektorer är överens om att de alla representerar en del av näsan, representerar deras lilla kluster av överensstämmelse kollektivt näsan i nätets analysträd för ansiktet. Ett annat litet kluster av överensstämmande vektorer kan representera munnen i analysträdet; och det stora klustret i toppen av trädet skulle representera den framväxande slutsatsen att bilden som helhet är Hintons ansikte. Hur analysträdet representeras här, förklarar Hinton, är att på objektnivå har du en stor ö; föremålets delar är mindre öar; underdelarna är ännu mindre öar, och så vidare.

Bild 2 från Hintons GLOM-papper. Öarna med identiska vektorer (pilar av samma färg) på de olika nivåerna representerar ett analysträd.

GEOFFREY HINTON

Enligt Hintons mångårige vän och medarbetare Yoshua Bengio, en datavetare vid University of Montreal, skulle det vara en bedrift om GLOM lyckas lösa den tekniska utmaningen att representera ett parseträd i ett neuralt nät – det skulle vara viktigt för få neurala nät att fungera korrekt. Geoff har producerat otroligt kraftfulla intuitioner många gånger under sin karriär, av vilka många har visat sig ha rätt, säger Bengio. Därför uppmärksammar jag dem, speciellt när han känner lika starkt för dem som han gör för GLOM.

Styrkan i Hintons övertygelse bottnar inte bara i ekokammaranalogin, utan också i matematiska och biologiska analogier som inspirerade och motiverade några av designbesluten i GLOMs nya ingenjörskonst.

Geoff är en mycket ovanlig tänkare genom att han kan dra på komplexa matematiska begrepp och integrera dem med biologiska begränsningar för att utveckla teorier, säger Sue Becker, en före detta elev till Hinton's, nu en beräkningskognitiv neuroforskare vid McMaster University. Forskare som är mer snävt fokuserade på antingen den matematiska teorin eller neurobiologin är mycket mindre benägna att lösa det oändligt övertygande pusslet om hur både maskiner och människor kan lära sig och tänka.

Att förvandla filosofi till ingenjörskonst

Hittills har Hintons nya idé mottagits väl, särskilt i några av världens största ekokammare. På Twitter fick jag många likes, säger han. Och a Youtube handledningen gjorde anspråk på termen MeGLOMania.

Hinton är den förste att erkänna att GLOM för närvarande inte är något mer än filosofiskt funderande (han tillbringade ett år som filosofie undergraduate innan han bytte till experimentell psykologi). Om en idé låter bra i filosofin så är den bra, säger han. Hur skulle du någonsin ha en filosofisk idé som bara låter som skräp, men som faktiskt visar sig vara sann? Det skulle inte gå som en filosofisk idé. Vetenskapen, i jämförelse, är full av saker som låter som fullständigt skräp men som visar sig fungera anmärkningsvärt bra – till exempel neurala nät, säger han.

GLOM är designad för att låta filosofiskt rimlig. Men kommer det att fungera?

Chris Williams, professor i maskininlärning vid School of Informatics vid University of Edinburgh, förväntar sig att GLOM mycket väl kan skapa stora innovationer. Men, säger han, det som skiljer AI från filosofi är att vi kan använda datorer för att testa sådana teorier. Det är möjligt att en brist i idén kan avslöjas - kanske också repareras - av sådana experiment, säger han. För närvarande tror jag inte att vi har tillräckligt med bevis för att bedöma den verkliga betydelsen av idén, även om jag tror att den har mycket lovande.

GLOM-testmodellens ingångar är tio ellipser som bildar ett får eller ett ansikte.

LAURA CULP

Några av Hintons kollegor på Google Research i Toronto är i mycket tidiga skeden av att undersöka GLOM experimentellt. Laura Culp, en mjukvaruingenjör som implementerar nya neurala nätarkitekturer, använder en datorsimulering för att testa om GLOM kan producera Hintons öar av överensstämmelse när det gäller att förstå delar och helheter av ett objekt, även när de ingående delarna är tvetydiga. I experimenten är delarna 10 ellipser, ovaler av varierande storlek, som kan arrangeras för att bilda antingen ett ansikte eller ett får.

Med slumpmässiga inmatningar av en eller annan ellips borde modellen kunna göra förutsägelser, säger Culp, och hantera osäkerheten om huruvida ellipsen är en del av ett ansikte eller ett får, och om det är benet på ett får. , eller huvudet på ett får. Konfronterad med eventuella störningar bör modellen också kunna korrigera sig själv. Ett nästa steg är att upprätta en baslinje, som indikerar om ett standardnät för djupinlärning skulle bli förvirrat av en sådan uppgift. Än så länge är GLOM mycket övervakad – Culp skapar och märker data, uppmanar och pressar modellen att hitta korrekta förutsägelser och lyckas över tid. (Den oövervakade versionen heter GLUM—det är ett skämt, säger Hinton.)

I detta preliminära tillstånd är det för tidigt att dra några stora slutsatser. Culp väntar på fler nummer. Hinton är redan imponerad ändå. En enkel version av GLOM kan titta på 10 ellipser och se ett ansikte och ett får baserat på de rumsliga förhållandena mellan ellipserna, säger han. Detta är knepigt, eftersom en individuell ellips inte förmedlar något om vilken typ av objekt den tillhör eller vilken del av objektet den är.

Och totalt sett är Hinton nöjd med feedbacken. Jag ville bara lägga ut det där för samhället, så alla som gillar kan prova det, säger han. Eller prova någon delkombination av dessa idéer. Och då kommer det att förvandla filosofi till vetenskap.

Dölj