Är AI Ridning en One-Trick-ponny?

Nästan varje AI-framsteg du har hört talas om beror på ett genombrott som är tre decennier gammalt. Att hålla uppe takten i framstegen kräver att man konfronterar AI:s allvarliga begränsningar. Förbi

• James Somers arkivsida

29 september 2017

Adam Omväg

Jag står i det som snart kommer att bli världens centrum, eller kanske bara är ett väldigt stort rum på sjunde våningen i ett glänsande torn i centrala Toronto. Som visar mig runt är Jordan Jacobs, som var med och grundade denna plats: det begynnande Vector Institute, som öppnar sina dörrar i höst och som siktar på att bli det globala epicentrumet för artificiell intelligens.

Vi är i Toronto för att Geoffrey Hinton är i Toronto, och Geoffrey Hinton är fadern till djupinlärning, tekniken bakom den nuvarande spänningen kring AI. Om 30 år kommer vi att se tillbaka och säga att Geoff är Einstein – av AI, djupinlärning, det som vi kallar AI, säger Jacobs. Av forskarna i toppen av fältet för djupinlärning har Hinton fler citeringar än de kommande tre tillsammans. Hans studenter och postdoktorer har fortsatt att driva AI-labbet på Apple, Facebook och OpenAI; Hinton själv är en ledande forskare i Google Brain AI-teamet. Faktum är att nästan varje prestation under det senaste decenniet av AI – i översättning, taligenkänning, bildigenkänning och spelande – spårar på något sätt tillbaka till Hintons arbete.

Den här historien var en del av vårt novembernummer 2017

• Se resten av frågan
• Prenumerera

Vector Institute, detta monument över uppstigningen av Hintons idéer, är ett forskningscenter där företag från hela USA och Kanada – som Google och Uber och Nvidia – kommer att sponsra ansträngningar för att kommersialisera AI-teknik. Pengar har strömmat in snabbare än vad Jacobs kunde be om dem; två av hans medgrundare undersökte företag i Toronto-området, och efterfrågan på AI-experter blev 10 gånger vad Kanada producerar varje år. Vector är på sätt och vis ground zero för det nu världsomspännande försöket att mobilisera kring djupinlärning: att tjäna pengar på tekniken, att lära ut den, att förfina och tillämpa den. Datacenter byggs, torn fylls med startups, en hel generation studenter går ut på fältet.

Intrycket du får när du står på Vector-golvet, kal och ekande och på väg att fyllas, är att du är i början av något. Men det märkliga med djupinlärning är hur gamla dess nyckelidéer är. Hintons banbrytande papper, med kollegorna David Rumelhart och Ronald Williams, publicerades 1986. Uppsatsen utvecklade en teknik som kallas backpropagation, eller förkortat backpropagation. Backprop, enligt Jon Cohen, en beräkningspsykolog vid Princeton, är vad all djupinlärning bygger på – bokstavligen allt.

När du kokar ner det är AI idag djupinlärning, och djupinlärning är backprop – vilket är fantastiskt med tanke på att backprop är mer än 30 år gammal. Det är värt att förstå hur det hände – hur en teknik kunde ligga och vänta så länge och sedan orsaka en sådan explosion – för när du väl förstår historien om backprop kommer du att börja förstå det aktuella ögonblicket i AI, och i synnerhet faktumet att vi kanske inte är i början av en revolution. Kanske är vi i slutet av ett.

Rättfärdigande

Promenaden från Vector Institute till Hintons kontor på Google, där han tillbringar större delen av sin tid (han är nu emeritusprofessor vid University of Toronto), är en slags levande reklam för staden, åtminstone på sommaren. Du kan förstå varför Hinton, som ursprungligen kommer från Storbritannien, flyttade hit på 1980-talet efter att ha arbetat vid Carnegie Mellon University i Pittsburgh.

När du går ut, till och med i centrum nära finansdistriktet, känns det som om du faktiskt har gått ut i naturen. Det är lukten, tänker jag: blöt lerjord i luften. Toronto byggdes ovanpå skogsklädda raviner, och det sägs vara en stad i en park; eftersom det har urbaniserats har den lokala regeringen satt strikta restriktioner för att underhålla trädkronan. När du flyger in ser de yttre delarna av staden nästan tecknat frodiga ut.

Kanske är vi faktiskt inte i början av en revolution.

Toronto är den fjärde största staden i Nordamerika (efter Mexico City, New York och L.A.), och dess mest varierande: mer än hälften av befolkningen föddes utanför Kanada. Du kan se det gå runt. Publiken i teknikkorridoren ser mindre San Francisco ut – unga vita killar i huvtröjor – och mer internationella. Det finns gratis sjukvård och bra offentliga skolor, människorna är vänliga och den politiska ordningen är relativt vänsterinriktad och stabil; och det här drar folk som Hinton, som säger att han lämnade USA på grund av Iran-Contra-affären. Det är en av de första sakerna vi pratar om när jag går för att träffa honom, strax före lunch.

De flesta på CMU tyckte att det var fullt rimligt att USA invaderar Nicaragua, säger han. De trodde på något sätt att de ägde den. Han berättar att han nyligen fick ett stort genombrott i ett projekt: att få en mycket bra junioringenjör som arbetar med mig, en kvinna som heter Sara Sabour. Sabour är iransk, och hon vägrades visum för att arbeta i USA. Googles kontor i Toronto tog upp henne.

Hinton, som är 69 år gammal, har det snälla, magra, engelska ansiktet som Big Friendly Giant, med en tunn mun, stora öron och en stolt näsa. Han föddes i Wimbledon, England, och låter, när han pratar, som berättaren i en barnbok om vetenskap: nyfiken, engagerande, ivrig att förklara saker. Han är rolig och lite av en showman. Han står hela tiden vi pratar, eftersom det visar sig att sitta är för smärtsamt. Jag satte mig ner i juni 2005 och det var ett misstag, säger han till mig, och låter den bisarra linjen landa innan han förklarar att en disk i ryggen ger honom problem. Det betyder att han inte kan flyga, och tidigare samma dag var han tvungen att ta med en anordning som såg ut som en surfbräda till tandläkarmottagningen så att han kunde ligga på den medan han fick en sprucken tandrot undersökt.

På 1980-talet var Hinton, som han är nu, expert på neurala nätverk, en mycket förenklad modell av nätverket av neuroner och synapser i våra hjärnor. Men vid den tiden hade man bestämt bestämt att neurala nätverk var en återvändsgränd inom AI-forskning. Även om det tidigaste neurala nätet, Perceptron, som började utvecklas på 1950-talet, hade hyllats som ett första steg mot maskinintelligens på mänsklig nivå, en bok från 1969 av MIT:s Marvin Minsky och Seymour Papert, kallad Perceptroner , bevisade matematiskt att sådana nätverk endast kunde utföra de mest grundläggande funktionerna. Dessa nätverk hade bara två lager av neuroner, ett indatalager och ett utdatalager. Nät med fler lager mellan ingångs- och utgångsneuronerna kunde i teorin lösa en mängd olika problem, men ingen visste hur man tränade dem, och så i praktiken var de värdelösa. Förutom några få hållplatser som Hinton, Perceptroner fick de flesta att ge upp neurala nät helt.

Hintons genombrott, 1986, var att visa att backpropagation kunde träna ett djupt neuralt nät, vilket betyder ett med mer än två eller tre lager. Men det tog ytterligare 26 år innan ökad beräkningskraft gjorde nytta av upptäckten. En tidning från 2012 av Hinton och två av hans Toronto-studenter visade att djupa neurala nät, tränade med hjälp av backpropagation, slår toppmoderna system inom bildigenkänning. Djupet lärande tog fart. För omvärlden verkade AI vakna över en natt. För Hinton var det en utdelning sedan länge.

Verklighetsförvrängningsfält

Ett neuralt nät ritas vanligtvis som en club sandwich, med lager staplade ovanpå varandra. Skikten innehåller artificiella neuroner, som är dumma små beräkningsenheter som blir upphetsade – så som en riktig neuron blir upphetsad – och för vidare den upphetsningen till de andra neuronerna de är anslutna till. En neurons spänning representeras av ett tal, som 0,13 eller 32,39, som säger hur upphetsad den är. Och det finns ett annat avgörande nummer, på var och en av anslutningarna mellan två neuroner, som bestämmer hur mycket spänning som ska överföras från den ena till den andra. Det numret är tänkt att modellera styrkan hos synapserna mellan neuroner i hjärnan. När siffran är högre betyder det att kopplingen är starkare, så mer av den enes spänning flyter till den andra.

Ett diagram från ett framstående arbete om felspridning av Hinton, David Rumelhart och Ronald Williams.

En av de mest framgångsrika tillämpningarna av djupa neurala nät är bildigenkänning – som i den minnesvärda scenen i HBO:s Silicon Valley där teamet bygger ett program som kan avgöra om det finns en korv på en bild. Sådana program finns faktiskt, och de skulle inte ha varit möjliga för ett decennium sedan. För att få dem att fungera är det första steget att ta en bild. Låt oss säga att det för enkelhetens skull är en liten svartvit bild som är 100 pixlar bred och 100 pixlar hög. Du matar den här bilden till ditt neurala nät genom att ställa in spänningen för varje simulerad neuron i inmatningsskiktet så att den är lika med ljusstyrkan för varje pixel. Det är det nedre lagret av club sandwich: 10 000 neuroner (100x100) som representerar ljusstyrkan för varje pixel i bilden.

Du kopplar sedan detta stora lager av neuroner till ett annat stort lager av neuroner ovanför det, säg några tusen, och dessa i sin tur till ett annat lager av ytterligare några tusen neuroner, och så vidare under några lager. Slutligen, i det översta lagret av smörgåsen, utgångsskiktet, har du bara två neuroner - en representerar korv och den andra representerar inte korv. Tanken är att lära det neurala nätet att excitera endast den första av dessa nervceller om det finns en korv på bilden, och bara den andra om det inte finns det. Backpropagation – tekniken som Hinton har byggt sin karriär på – är metoden för att göra detta.

Backprop är anmärkningsvärt enkelt, även om det fungerar bäst med enorma mängder data. Det är därför big data är så viktigt inom AI – varför Facebook och Google är så hungriga efter det, och varför Vector Institute bestämde sig för att inrätta en butik längre bort från fyra av Kanadas största sjukhus och utveckla datapartnerskap med dem.

I det här fallet tar uppgifterna formen av miljontals bilder, några med korv och några utan; tricket är att de här bilderna är märkta som har korv. När du först skapar ditt neurala nät kan kopplingarna mellan neuroner ha slumpmässiga vikter - slumpmässiga siffror som säger hur mycket spänning som ska skickas längs varje anslutning. Det är som om hjärnans synapser inte har ställts in ännu. Målet med backprop är att ändra dessa vikter så att de får nätverket att fungera: så att när du skickar in en bild av en korv till det lägsta lagret, slutar det översta lagrets korvneuron att bli upphetsad.

Anta att du tar din första träningsbild och att det är en bild på ett piano. Du konverterar pixelintensiteterna för 100x100-bilden till 10 000 nummer, ett för varje neuron i det nedre lagret av nätverket. När spänningen sprider sig över nätverket enligt anslutningsstyrkorna mellan neuroner i intilliggande lager, kommer den så småningom att hamna i det sista lagret, det med de två neuronerna som säger om det finns en korv på bilden. Eftersom bilden är av ett piano, bör varmkorvsneuronen helst ha en nolla, medan den inte korvneuron bör ha ett högt nummer. Men låt oss säga att det inte fungerar så. Låt oss säga att nätverket har fel om den här bilden. Backprop är en procedur för att ändra styrkan på varje anslutning i nätverket för att åtgärda felet för ett givet träningsexempel.

Sättet det fungerar på är att du börjar med de två sista nervcellerna och tar reda på hur fel de hade: hur stor skillnad är det mellan vad spänningstalen borde ha varit och vad de faktiskt var? När det är klart tar du en titt på var och en av anslutningarna som leder in i dessa neuroner – de i nästa lägre lager – och tar reda på deras bidrag till felet. Du fortsätter att göra detta tills du har gått hela vägen till den första uppsättningen anslutningar, längst ner i nätverket. Då vet du hur mycket varje enskild anslutning bidrog till det totala felet, och i ett sista steg ändrar du var och en av vikterna i den riktning som bäst minskar felet totalt sett. Tekniken kallas backpropagation eftersom du sprider fel bakåt (eller neråt) genom nätverket, med början från utgången.

Det otroliga är att när du gör det här med miljoner eller miljarder bilder, börjar nätverket bli ganska bra på att säga om en bild har en korv i sig. Och vad som är ännu mer anmärkningsvärt är att de enskilda lagren av dessa bildigenkänningsnät börjar kunna se bilder på ungefär samma sätt som vårt eget visuella system gör. Det vill säga, det första lagret kan sluta upptäcka kanter, i den meningen att dess nervceller blir upphetsade när det finns kanter och inte blir upphetsade när det inte finns det; lagret ovanför kan man kanske upptäcka uppsättningar av kanter, som hörn; lagret ovanför det kan man börja se former; och lagret ovanför det kan man börja hitta saker som öppen bulle eller stängd bulle, i betydelsen att ha neuroner som svarar på båda fallen. Nätet organiserar sig, med andra ord, i hierarkiska lager utan att någonsin ha varit explicit programmerat på det sättet.

En riktig intelligens går inte sönder när du ändrar problemet något.

Det är det här som har alla fascinerat. Det är inte bara så att neurala nät är bra på att klassificera bilder av korv eller vad som helst: de verkar kunna bygga representationer av idéer. Med text kan du se detta ännu tydligare. Du kan mata in texten på Wikipedia, många miljarder ord lång, i ett enkelt neuralt nät, träna den att spotta ut, för varje ord, en stor lista med siffror som motsvarar spänningen hos varje neuron i ett lager. Om du tänker på var och en av dessa siffror som en koordinat i ett komplext utrymme, så är det du gör i huvudsak att hitta en punkt, känd i detta sammanhang som en vektor, för varje ord någonstans i det utrymmet. Träna nu ditt nätverk på ett sådant sätt att ord som förekommer nära varandra på Wikipedia-sidor får liknande koordinater, och voilà, något galet händer: ord som har liknande betydelser börjar dyka upp nära varandra i utrymmet. Det vill säga, galna och ohängande kommer att ha koordinater nära varandra, liksom tre och sju, och så vidare. Dessutom gör så kallad vektoraritmetik det möjligt att till exempel subtrahera vektorn för Frankrike från vektorn för Paris, addera vektorn för Italien och hamna i grannskapet av Rom. Det fungerar utan att någon uttryckligen säger till nätverket att Rom är för Italien som Paris är för Frankrike.

Det är fantastiskt, säger Hinton. Det är chockerande. Neurala nät kan ses som ett försök att ta saker – bilder, ord, inspelningar av någon som pratar, medicinska data – och sätta in dem i vad matematiker kallar ett högdimensionellt vektorrum, där sakernas närhet eller avstånd speglar någon viktig egenskap. av den verkliga världen. Hinton tror att detta är vad hjärnan själv gör. Om du vill veta vad en tanke är, säger han, kan jag uttrycka den åt dig i en rad ord. Jag kan säga 'John tänkte, Hoppsan.' Men om du frågar: 'Vad är tanken? Vad betyder det för John att ha den tanken?’ Det är inte så att det inuti hans huvud finns ett inledande citat, och ett 'Whoops', och ett avslutande citat, eller ens en rensad version av det. Inuti hans huvud finns ett stort mönster av neural aktivitet. Stora mönster av neural aktivitet, om du är matematiker, kan fångas i ett vektorrum, där varje neurons aktivitet motsvarar ett nummer och varje nummer till en koordinat för en riktigt stor vektor. Enligt Hintons uppfattning är det vad tanken är: en dans av vektorer.

Geoffrey Hinton med tillstånd från google

Det är ingen slump att Torontos flaggskepp AI-institution fick sitt namn för detta faktum. Hinton var den som kom på namnet Vector Institute.

Det finns ett slags verklighetsförvrängningsfält som Hinton skapar, en luft av säkerhet och entusiasm, som ger dig en känsla av att det inte finns något som vektorer inte kan göra. När allt kommer omkring, titta på vad de redan har kunnat producera: bilar som kör sig själva, datorer som upptäcker cancer, maskiner som omedelbart översätter talat språk. Och titta på denna charmiga brittiska vetenskapsman som pratar om gradientnedstigning i högdimensionella utrymmen!

Det är först när du lämnar rummet som du kommer ihåg: dessa djupinlärningssystem är fortfarande ganska dumma, trots hur smarta de ibland verkar. En dator som ser en bild av en hög med munkar staplade på ett bord och textar den automatiskt, som en hög med munkar staplade på ett bord verkar förstå världen; men när samma program ser en bild på en flicka som borstar tänderna och säger att pojken håller i ett basebollträ inser du hur tunn den förståelsen egentligen är, om den någonsin fanns där.

Neurala nät är bara tanklösa fuzzy mönsterigenkännare, och lika användbara som fuzzy mönsterigenkännare kan vara – därav bråttom att integrera dem i nästan alla typer av programvara – representerar de i bästa fall ett begränsat märke av intelligens, en som lätt kan luras . Ett djupt neuralt nät som känner igen bilder kan stoppas totalt när du ändrar en enda pixel, eller lägger till visuellt brus som är omärkligt för en människa. Faktiskt, nästan lika ofta som vi hittar nya sätt att tillämpa djupinlärning, hittar vi fler av dess gränser. Självkörande bilar kan misslyckas med att navigera i förhållanden som de aldrig har sett förut. Maskiner har problem med att analysera meningar som kräver sunt förnuft förståelse för hur världen fungerar.

Djup inlärning efterliknar på något sätt vad som händer i den mänskliga hjärnan, men bara på ett ytligt sätt – vilket kanske förklarar varför dess intelligens ibland kan verka så ytlig. Faktum är att backprop inte upptäcktes genom att sondera djupt in i hjärnan, avkoda själva tanken; den växte fram ur modeller av hur djur lär sig genom försök och misstag i gamla klassiska konditioneringsexperiment. Och de flesta av de stora sprången som kom när det utvecklades innebar inte någon ny insikt om neurovetenskap; de var tekniska förbättringar som nåddes av år av matematik och ingenjörskonst. Det vi vet om intelligens är ingenting emot det stora i det vi fortfarande inte vet.

David Duvenaud, biträdande professor vid samma avdelning som Hinton vid University of Toronto, säger att djupinlärning har varit ungefär som ingenjörskonst före fysik. Någon skriver ett papper och säger: 'Jag gjorde den här bron och den stod upp!' En annan kille har ett papper: 'Jag gjorde den här bron och den föll ner — men sedan lade jag till pelare och sedan stannade den uppe.' en het ny sak. Någon kommer med bågar, och det är som 'Bågar är fantastiska!' Med fysik, säger han, kan du faktiskt förstå vad som kommer att fungera och varför. Först nyligen, säger han, har vi börjat gå in i den fasen av faktisk förståelse med artificiell intelligens.

Hinton själv säger: De flesta konferenser består av att göra mindre variationer … i motsats till att tänka hårt och säga, 'Vad är det med det vi gör nu som verkligen är bristfälligt? Vad har den svårt med? Låt oss fokusera på det.'

Det kan vara svårt att uppskatta detta från utsidan, när allt du ser är det ena stora framsteg efter det andra. Men de senaste framstegen inom AI har varit mindre vetenskap än teknik, till och med mixtrande. Och även om vi har börjat få ett bättre grepp om vilka typer av förändringar som kommer att förbättra system för djupinlärning, är vi fortfarande i stort sett i mörkret om hur dessa system fungerar, eller om de någonsin skulle kunna bli något så kraftfullt som mänskliga sinnet.

Det är värt att fråga sig om vi har vridit bort nästan allt vi kan ur ryggstödet. Om så är fallet kan det betyda en platå för framsteg inom artificiell intelligens.

Tålamod

Om du vill se nästa stora sak, något som kan ligga till grund för maskiner med en mycket mer flexibel intelligens, bör du nog kolla in forskning som liknar det du skulle ha hittat om du stött på backprop på 80-talet: smarta människor pluggar in idéer som inte riktigt fungerar ännu.

För några månader sedan gick jag till Center for Minds, Brains and Machines, en multiinstitutionell satsning med huvudkontor vid MIT, för att se en vän till mig, Eyal Dechter, försvara sin avhandling i kognitionsvetenskap. Strax innan samtalet började höll hans fru Amy, deras hund Ruby och deras dotter Susannah runt och önskade honom lycka till. På skärmen fanns en bild på Ruby, och bredvid en av Susannah som bebis. När pappa bad Susannah att peka ut sig själv slog hon glatt en lång utdragbar pekare mot sin egen babybild. På väg ut ur rummet rullade hon en leksaksvagn bakom sin mamma och skrek Lycka till, pappa! över hennes axel. Vámanos! sa hon till slut. Hon är två.

Att det inte fungerar är bara ett tillfälligt irritationsmoment.

Eyal började sitt föredrag med en häpnadsväckande fråga: Hur kommer det sig att Susannah, efter två års erfarenhet, kan lära sig att prata, att leka, att följa berättelser? Vad är det med den mänskliga hjärnan som gör att den lär sig så bra? Kommer en dator någonsin att kunna lära sig så snabbt och så smidigt?

Vi förstår nya fenomen i termer av saker vi redan förstår. Vi delar upp en domän i bitar och lär oss bitarna. Eyal är matematiker och datorprogrammerare, och han tänker på uppgifter – som att göra en sufflé – som riktigt komplexa datorprogram. Men det är inte så att du lär dig att göra en sufflé genom att lära dig varenda en av programmets miljontals mikroinstruktioner, som Rotera din armbåge 30 grader, titta sedan ner på bänkskivan, sträck ut pekfingret, sedan ... Om du var tvungen att göra att för varje ny uppgift skulle det vara för svårt att lära sig, och du skulle sitta fast med det du redan vet. Istället gjuter vi programmet i form av steg på hög nivå, som Vispa äggvitorna, som i sig är sammansatta av underprogram, som Knäck äggen och Separera ut äggulorna.

Relaterad berättelse

Relaterad berättelse Ingen vet riktigt hur de mest avancerade algoritmerna gör vad de gör. Det kan vara ett problem.

Datorer gör inte detta, och det är en stor del av anledningen till att de är dumma. För att få ett djupinlärningssystem att känna igen en korv, kanske du måste mata den med 40 miljoner bilder på korv. För att få Susannah att känna igen en korv, visar du henne en korv. Och snart kommer hon att ha en språkförståelse som går djupare än att inse att vissa ord ofta förekommer tillsammans. Till skillnad från en dator kommer hon att ha en modell i tankarna om hur hela världen fungerar. Det är ganska otroligt för mig att folk är rädda för att datorer ska ta jobb, säger Eyal. Det är inte så att datorer inte kan ersätta advokater eftersom advokater gör riktigt komplicerade saker. Det beror på att advokater läser och pratar med människor. Det är inte som att vi är nära. Vi är så långt.

En verklig intelligens går inte sönder när du något ändrar kraven på problemet den försöker lösa. Och nyckeldelen av Eyals avhandling var hans demonstration, i princip, av hur du kan få en dator att fungera på det sättet: att smidigt tillämpa vad den redan kan på nya uppgifter, att snabbt starta sig från att veta nästan ingenting om en ny domän att vara expert.

Hinton gjorde den här skissen för sin nästa stora idé, att organisera neurala nät med 'kapslar.'

I grund och botten är det en procedur som han kallar utforskning-komprimeringsalgoritmen. Det får en dator att fungera ungefär som en programmerare som bygger upp ett bibliotek av återanvändbara, modulära komponenter på vägen till att bygga fler och mer komplexa program. Utan att få veta något om en ny domän försöker datorn strukturera kunskap om den bara genom att leka, konsolidera vad den har hittat och leka lite mer, som ett mänskligt barn gör.

Hans rådgivare, Joshua Tenenbaum, är en av de mest citerade forskarna inom AI. Tenenbaums namn kom upp i hälften av de samtal jag hade med andra vetenskapsmän. Några av nyckelpersonerna på DeepMind – teamet bakom AlphaGo, som chockade datavetare genom att slå en världsmästare i det komplexa spelet Go 2016 – hade arbetat som hans postdoktorer. Han är involverad i en startup som försöker ge självkörande bilar lite intuition om grundläggande fysik och andra förares avsikter, så att de bättre kan förutse vad som skulle hända i en situation som de aldrig har sett förut, som när en lastbil kneps framför dem eller när någon försöker smälta samman väldigt aggressivt.

Eyals avhandling översätts ännu inte till den typen av praktiska tillämpningar, än mindre några program som skulle skapa rubriker för att bli bäst på en människa. Problemen som Eyal arbetar med är bara riktigt, riktigt svåra, sa Tenenbaum. Det kommer att ta många, många generationer.

Tenenbaum har långt, lockigt, blekande hår, och när vi satte oss och fikade hade han på sig en knapptröja med svarta byxor. Han sa till mig att han tittar på historien om backprop för inspiration. I decennier var backprop cool matematik som egentligen inte åstadkom någonting. När datorerna blev snabbare och tekniken blev mer sofistikerad, blev det plötsligt. Han hoppas att samma sak kan hända med hans eget arbete och hans elevers, men det kan ta ytterligare ett par decennier.

När det gäller Hinton är han övertygad om att att övervinna AI:s begränsningar innebär att bygga en bro mellan datavetenskap och biologi. Backprop var, i denna uppfattning, en triumf av biologiskt inspirerad beräkning; idén kom till en början inte från ingenjören utan från psykologin. Så nu försöker Hinton få till ett liknande trick.

Neurala nätverk idag är gjorda av stora platta lager, men i den mänskliga neocortex är verkliga nervceller ordnade inte bara horisontellt i lager utan vertikalt i kolumner. Hinton tror att han vet vad kolumnerna är till för - i synen är de till exempel avgörande för vår förmåga att känna igen objekt även när vår synvinkel förändras. Så han bygger en konstgjord version – han kallar dem kapslar – för att testa teorin. Hittills har det inte slagit ut; kapslarna har inte dramatiskt förbättrat hans näts prestanda. Men det här var samma situation som han hade varit i med backprop i nästan 30 år.

Det här måste bara stämma, säger han om kapselteorin och skrattar åt sin egen djärvhet. Och det faktum att det inte fungerar är bara ett tillfälligt irritationsmoment.

James Somers är en författare och programmerare baserad i New York City. Hans tidigare artikel för MIT Technology Review var Toolkits for the Mind i maj/juni 2015, som visade hur internetstartups formas av de programmeringsspråk de använder.

Dölj