Kan den här mannen göra AI mer mänsklig?

Som vilken stolt pappa som helst är Gary Marcus bara alltför glad över att berätta om sin tvåårige sons senaste prestationer. Mer ovanligt tror han att sättet hans barn lär sig och skäl kan vara nyckeln till att göra maskiner mycket mer intelligenta.

Marcus, en 45-årig professor i psykologi vid New York University och grundare av ett nytt företag som heter Geometric Intelligence, sitter i styrelserummet i en livlig startup-inkubator på Manhattan och beskriver ett exempel på sin pojkes uppfinningsrikedom. Från baksätet i bilen hade hans son sett en skylt som visade siffran 11, och eftersom han visste att andra tvåsiffriga nummer hade namn som trettiotre och sjuttiosju frågade han sin far om numret på skylten var ett och ett.

Den här historien var en del av vårt januarinummer 2016

• Se resten av frågan
• Prenumerera

Han hade kommit fram till att det finns en regel om hur man sätter ihop sina siffror, förklarar Marcus med ett leende. Nu hade han övergeneraliserat det, och han gjorde ett misstag, men det var ett mycket sofistikerat misstag.

Marcus har ett helt annat perspektiv än många av de datavetare och matematiker som nu ligger i framkanten av artificiell intelligens. Han har ägnat decennier åt att studera hur det mänskliga sinnet fungerar och hur barn lär sig nya färdigheter som språk och musikalitet. Detta har fått honom att tro att om forskare vill skapa verkligt sofistikerad artificiell intelligens – något som lätt lär sig om världen – måste de ta ledtrådar från hur småbarn tar upp nya begrepp och generaliserar. Och det är en av de stora inspirationerna för hans nya företag, som han driver under ett års ledighet från NYU. Med sitt radikala förhållningssätt till maskininlärning syftar Geometric Intelligence till att skapa algoritmer för användning i en AI som kan lära sig på nya och bättre sätt.

Är djupinlärning baserad på en modell som är för enkel? Marcus tror att datavetare missar en enorm möjlighet genom att ignorera många finesser i det mänskliga sinnet.

Nuförtiden är nästan alla andra som försöker kommersialisera AI, från Google till Baidu, fokuserade på algoritmer som grovt modellerar hur neuroner och synapser i hjärnan förändras när de utsätts för ny information och upplevelser. Detta tillvägagångssätt, känt som djupinlärning, har gett några häpnadsväckande resultat under de senaste åren, särskilt som mer data och mer kraftfull datorhårdvara har gjort det möjligt för de underliggande beräkningarna att växa i skala. Metoder för djupinlärning har matchat – eller till och med överträffat – mänsklig noggrannhet när det gäller att känna igen ansikten i bilder eller identifiera talade ord i ljudinspelningar. Google, Facebook och andra stora företag tillämpar tillvägagångssättet på nästan alla uppgifter där det är användbart att upptäcka ett mönster i enorma mängder data, som att förfina sökresultat eller lära datorer hur man för en konversation (se Teaching Machines to Förstå oss).

Men bygger djupinlärning på en modell av hjärnan som är för enkel? Geometric Intelligence – ja, Marcus själv – slår vad om att datavetare missar en enorm möjlighet genom att ignorera många finesser i hur det mänskliga sinnet fungerar. I sitt författarskap, offentliga framträdanden och kommentarer till pressen kan Marcus vara en hård kritiker av entusiasmen för djupinlärning. Men trots hans tidvis slitande inställning erbjuder han ett värdefullt motperspektiv. Han påpekar bland annat att dessa system behöver matas med många tusen exempel för att lära sig något. Forskare som försöker utveckla maskiner som kan samtala naturligt med människor gör det genom att ge sina system otaliga utskrifter av tidigare konversationer. Detta kan mycket väl producera något som kan enkelt samtala, men kognitiv vetenskap tyder på att det inte är hur det mänskliga sinnet förvärvar språk.

Däremot är en tvåårings förmåga att lära sig genom att extrapolera och generalisera – om än ofullständigt – mycket mer sofistikerad. Helt klart är hjärnan kapabel till mer än att bara känna igen mönster i stora mängder data: den har ett sätt att få djupare abstraktioner från relativt lite data. Att ge maskiner ens en grundläggande förmåga att snabbt lära sig sådana abstraktioner skulle vara en viktig prestation. En självkörande bil kanske inte behöver resa miljontals mil för att lära sig att hantera nya vägförhållanden. Eller en robot kan identifiera och hämta en flaska piller som den bara har visats en eller två gånger. Med andra ord skulle dessa maskiner tänka och agera lite mer som vi gör.

Med lite ovårdat hår och ett par dagars skäggstubb verkar Marcus väl lämpad för sin nya roll som entreprenör. I hans företags utrymme arbetar en handfull programmerare på dyra datorarbetsstationer som kör kraftfulla grafikprocessorer. Vid ett tillfälle, när Marcus vill illustrera en punkt om hur hjärnan fungerar, sträcker han sig efter vad han tror är en whiteboardmarkör. Det visar sig vara en felplacerad pil från en Nerf-pistol.

Marcus pratar snabbt när han är upphetsad, och han har ett snabbt sinne för humor och ett busigt flin. Han vägrar att förklara exakt vilka produkter och applikationer hans företag arbetar med, av rädsla för att ett stort företag som Google kan få en fördel genom att lära sig de avgörande insikterna bakom det. Men han säger att det har utvecklat algoritmer som kan lära av relativt små mängder data och till och med kan extrapolera och generalisera, på ett grovt sätt, från informationen de matas. Marcus säger att hans team har testat dessa algoritmer med uppgifter där djupinlärningsmetoder utmärker sig, och de har visat sig betydligt bättre i flera fall. Vi vet något om vilka egenskaper hjärnan ska ha, förklarar han. Och vi försöker, i någon mening, att bakåtkonstruera från dessa egenskaper.

Underbarn

Marcus, som föddes i Baltimore, blev fascinerad av sinnet på gymnasiet efter att ha läst Sinnets jag , en samling essäer om medvetande redigerad av kognitionsforskaren Douglas Hofstadter och filosofen Daniel Dennett, samt Hofstadters metaforiska bok om sinnen och maskiner, Gödel, Escher, Bach . Ungefär samtidigt skrev han ett datorprogram utformat för att översätta latin till engelska. Svårigheten med uppgiften fick honom att inse att återskapandet av intelligens i maskiner säkert skulle kräva en mycket större förståelse för fenomenen som verkar i det mänskliga sinnet.

Marcus latin-till-engelska program var inte särskilt praktiskt, men det hjälpte till att övertyga Hampshire College att låta honom påbörja en grundutbildning ett par år tidigare. Studenter vid den lilla liberala skolan i Amherst, Massachusetts, uppmuntras att designa sina egna examensprogram. Marcus ägnade sig åt att studera pusslet med mänsklig kognition.

Mitten av 1980-talet var en intressant tid för AI-området. Det började splittras mellan de som försökte producera intelligenta maskiner genom att kopiera hjärnans grundläggande biologi och de som syftade till att efterlikna högre kognitiva funktioner med hjälp av konventionella datorer och mjukvara. Tidigt arbete inom AI baserades på det senare tillvägagångssättet, med hjälp av programmeringsspråk byggda för att hantera logik och symbolisk representation. Fåglar är det klassiska exemplet. Det faktum att fåglar kan flyga skulle kunna kodas som en del av kunskap. Sedan, om en dator fick veta att en stare var en fågel, skulle den dra slutsatsen att starar måste kunna flyga. Flera stora projekt lanserades med syftet att koda in mänsklig kunskap i enorma databaser, i hopp om att någon sorts komplex intelligens så småningom skulle kunna dyka upp.

Men samtidigt som vissa framsteg gjordes, visade det sig att tillvägagångssättet blev allt mer komplext och svårhanterligt. Regler har ofta undantag; inte alla fåglar kan flyga. Och medan pingviner är helt jordbundna, kan en fågel i en bur och en med bruten ving inte flyga av väldigt olika anledningar. Det visade sig omöjligt komplicerat att koda alla undantag från sådana regler. Folk verkar lära sig sådana undantag snabbt, men datorerna vek. (Naturligtvis kan undantag, inklusive elva snarare än entioett, vara förvirrande för människor också.)

Gary Marcus

Ungefär när Marcus förberedde sig för att komma in på Hampshire College kom en grupp psykologer på ett tillvägagångssätt som hotade att vända upp och ner på artificiell intelligens. Redan på 1940-talet hade Donald Hebb presenterat en teori om hur nerverna i hjärnan kunde lära sig att känna igen en input. Han visade hur den upprepade avfyrningen av neuroner kan stärka deras kopplingar till varandra, och därigenom öka sannolikheten att de alla skulle skjuta igen när de matades med samma input. Vissa forskare byggde datorer med liknande design. Men förmågorna hos dessa så kallade neurala nätverk var begränsade fram till 1986, då en grupp forskare upptäckte sätt att öka sin inlärningskraft. Dessa forskare visade också hur neurala nätverk kan användas för att göra olika saker, från att känna igen mönster i visuella data till att lära sig förfluten tid av engelska verb. Träna dessa nätverk på tillräckligt många exempel, och de bildar de kopplingar som behövs för att utföra sådana uppgifter.

Forskarna kallade deras tillvägagångssätt för sambandism och hävdade att tillräckligt stora neurala nätverk kunde återskapa intelligens. Även om deras idéer inte tog över direkt, ledde de så småningom till dagens era av djupt lärande.

Precis när anknytningismen tog fart, bestämde Marcus sig för var han skulle göra sina forskarstudier, och han deltog i en föreläsning av den berömda kognitionsforskaren Steven Pinker, då professor vid MIT. Pinker talade om hur barn lär sig och använder verb, och han hävdade, i motsats till ett rent anknytningistiskt perspektiv, att de inte verkar förvärva dåtidens verb enbart genom att memorera exempel och generalisera till liknande. Pinker visade bevis på att barn snabbt upptäcker språkregler och sedan generaliserar. Han och andra tror i huvudsak att evolutionen har format de neurala nätverk som finns i den mänskliga hjärnan för att tillhandahålla de verktyg som krävs för mer sofistikerad intelligens.

Ett system för djupinlärning kan tränas för att känna igen särskilda fågelarter, men det skulle behöva miljontals exempelbilder och skulle inte veta något om varför en fågel inte kan flyga.

Marcus gick med i Pinkers labb vid MIT vid 19, och Pinker minns honom som en brådmogen student. Jag tilldelade honom ett projekt som analyserade en enkel ja-nej-hypotes på en liten datamängd av det inspelade talet från tre barn, sa han i ett e-postmeddelande. Några dagar senare hade han gjort en uttömmande analys av 25 barns tal som testade ett halvdussin hypoteser och blev grunden för en stor forskningsmonografi.

Som doktorand samlade Marcus ytterligare bevis för att stödja Pinkers idéer om lärande och tillade hans egna insikter. Han var banbrytande för den datoriserade analysen av stora mängder kognitiva forskningsdata, studerade tusentals inspelningar av barns tal för att hitta tillfällen där de gjorde fel som breaked and goed istället för trasig och gick. Detta verkade bekräfta att barn förstår grammatikens regler och sedan applicerar dem på nya ord, samtidigt som de lär sig undantagen från dessa regler utan att behöva göra.

På grundval av denna forskning började Marcus ifrågasätta den konnektionistiska övertygelsen om att intelligens i huvudsak skulle komma från större neurala nätverk, och han började fokusera på begränsningarna och egenheter med djupinlärning. Ett system för djupinlärning skulle kunna tränas för att känna igen särskilda fågelarter i bilder eller videoklipp och att se skillnaden mellan de som kan flyga och de som inte kan. Men den skulle behöva se miljontals exempelbilder för att göra detta, och den skulle inte veta något om varför en fågel inte kan flyga.

Marcus arbete med barn ledde faktiskt till en viktig slutsats. I en bok från 2001 som heter Det algebraiska sinnet , hävdade han att det utvecklande mänskliga sinnet lär sig både från exempel och genom att generera regler från vad det har lärt sig. Hjärnan använder med andra ord något som liknar ett djupinlärningssystem för vissa uppgifter, men den lagrar och manipulerar också regler om hur världen fungerar så att den kan dra användbara slutsatser från bara några få erfarenheter.

Detta betyder inte exakt att geometrisk intelligens försöker efterlikna hur saker händer i hjärnan. I en idealisk värld skulle vi veta hur barn gör, säger Marcus. Vi skulle veta vilka hjärnkretsar som är inblandade, vilka beräkningar de gör. Men neurovetenskapen förblir ett mysterium. Snarare antyder han att företaget använder en väska med tekniker, inklusive sådana som är kompatibla med djupinlärning, för att försöka återskapa mänskligt lärande.

Sunt förnuft

Arbetet på Geometric Intelligence är säkert betydelsefullt, eftersom att blanda nya idéer från kognitionsvetenskap och neurovetenskap kommer utan tvekan att vara viktigt för framtiden för artificiell intelligens. Ändå, efter att ha träffat Marcus, kände jag mig lite som ett litet barn som försökte förstå några okända siffror. Hur kommer allt detta att gå ihop? Jag behövde en av Marcus medarbetare för att visa mig ännu en pusselbit om vad företaget utvecklar.

Zoubin Ghahramani, professor i informationsteknik vid University of Cambridge i Storbritannien, är en av grundarna av Geometric Intelligence. Ghahramani växte upp i Sovjetunionen och Iran innan han flyttade till Spanien och USA, och även om han är exakt lika gammal som Marcus, anlände han till MIT ett år senare. Men eftersom paret delade födelsedag, slutade de med att festa och umgås tillsammans.

Ghahramani är fokuserad på att använda sannolikhet för att göra maskiner smartare. Matematiken bakom det är komplicerad, men anledningen är enkel: sannolikhet ger ett sätt att hantera osäkerhet eller ofullständig information. Flyglösa fåglar kan återigen hjälpa till att illustrera detta. Ett sannolikhetsbaserat system kan tilldela en hög sannolikhet till konceptet att en fågel är kapabel att flyga. Sedan, när den får veta att en struts är en fågel, kommer den att anta att den med största sannolikhet kan flyga. Men annan information, som det faktum att en vuxen struts vanligtvis väger mer än 200 pund, kan ändra detta antagande, vilket minskar sannolikheten för att en struts kan flyga till nära noll. Detta flexibla tillvägagångssätt kan genomsyra maskiner med något som liknar en grov form av sunt förnuft, en egenskap som är fundamentalt viktig för mänsklig intelligens.

När han pratade via Skype från sitt kontor i Cambridge, England, föreslår Ghahramani en speciell applikation som han och Marcus har koll på: att träna robotar för att hantera komplexa miljöer. Inom robotforskning är det dyrt att ha erfarenheter, säger han. Om du vill få en robot att lära sig att gå, eller ett autonomt fordon att lära sig att köra, kan du inte presentera den med en datamängd med en miljon exempel på att den ramlar omkull och går sönder eller råkar ut för olyckor – det gör det bara inte arbete.

Med tanke på att probabilistiska algoritmer och annan teknik som är på gång hos Geometric Intelligence skulle vara kompatibla med djupinlärning, är det möjligt att sådana som Google eller Facebook så småningom kommer att förvärva företaget och lägga till det i dess totala AI-portfölj. Och trots Marcus kritik av sambandism och djupinlärningsfeber har jag en aning om att han skulle vara ganska nöjd med ett sådant resultat.

Även om det händer, kommer det att vara betydelsefullt om Marcus kan visa att det mest mirakulösa inlärningssystem vi känner – det mänskliga sinnet – är nyckeln till framtiden för artificiell intelligens. Marcus ger mig ytterligare ett exempel på sin sons klurighet. Min fru frågade honom: ’Vilka av dina djurkompisar kommer till skolan idag?’ säger Marcus. Och han säger, 'Big Bunny, because Bear and Platypus' eating.' Sedan går min fru tillbaka in i hans rum och visst står de där leksakerna på en stol och 'äter'.

Marcus förundras över att hans tvååring kan resonera kring regler som rör mänskligt beteende – inse att du antingen går i skolan eller gör något annat – och konstruerar en helt ny mening baserat på hans växande förståelse för hur språk fungerar. Efter en paus och ett leende tillägger han: Tja, du visar mig AI-systemet som kan göra det.

Dölj