Lär maskiner att förstå oss

Första gången Yann LeCun revolutionerade artificiell intelligens var det en falsk gryning. Det var 1995, och i nästan ett decennium hade den unge fransmannen varit hängiven vad många datavetare ansåg som en dålig idé: att grovt efterlikna vissa funktioner i hjärnan var det bästa sättet att åstadkomma intelligenta maskiner. Men LeCun hade visat att detta tillvägagångssätt kunde producera något slående smart – och användbart. Han arbetade på Bell Labs och gjorde mjukvara som grovt simulerade neuroner och lärde sig att läsa handskriven text genom att titta på många olika exempel. Bell Labs företagsförälder, AT&T, använde den för att sälja de första maskinerna som kunde läsa handstilen på checkar och skriftliga blanketter. För LeCun och några medtroende i artificiella neurala nätverk verkade det markera början på en era där maskiner kunde lära sig många andra färdigheter som tidigare var begränsade till människor. Det var det inte.

Hela det här projektet försvann typ på dagen för dess största framgång, säger LeCun. Samma dag som han firade lanseringen av bankautomater som kunde läsa tusentals checkar i timmen, meddelade AT&T att det var delas upp i tre företag dedikerade till olika marknader inom kommunikation och datorer. LeCun blev forskningschef på ett smalare AT&T och fick uppdraget att arbeta med andra saker; 2002 skulle han lämna AT&T, snart för att bli professor vid New York University. Samtidigt fann forskare på andra håll att de inte kunde tillämpa LeCuns genombrott på andra datorproblem. Det hjärninspirerade förhållningssättet till AI gick tillbaka till att vara ett randintresse.

Den här historien var en del av vårt septembernummer 2015

• Se resten av frågan
• Prenumerera

LeCun, nu en tjock 55-åring med ett redo leende och ett sidled av mörkt hår berört med grått, slutade aldrig att driva det där randintresset. Och anmärkningsvärt nog har resten av världen kommit runt. De idéer som han och några andra närde inför över två decennier av apati och ibland rent avvisande har under de senaste åren gett slående resultat inom områden som ansikts- och taligenkänning. Deep learning, som området nu kallas, har blivit ett nytt slagfält mellan Google och andra ledande teknikföretag som tävlar om att använda det i konsumenttjänster. Ett sådant företag är Facebook, som anställde LeCun från NYU i december 2013 och satte honom till ansvarig för en ny forskargrupp för artificiell intelligens, FAIR, som idag har 50 forskare men kommer att växa till 100. LeCuns labb är Facebooks första betydande investering i grundläggande forskning, och det kan vara avgörande för företagets försök att bli mer än bara en virtuell social plats. Det kan också omforma våra förväntningar på vad maskiner kan göra.

Facebook och andra företag, inklusive Google, IBM och Microsoft, har gått snabbt för att komma in på detta område under de senaste åren eftersom djupinlärning är mycket bättre än tidigare AI-tekniker för att få datorer att ta upp färdigheter som utmanar maskiner, som att förstå bilder . Dessa mer etablerade tekniker kräver mänskliga experter att mödosamt programmera vissa förmågor, till exempel hur man upptäcker linjer och hörn i bilder. Programvara för djupinlärning tar reda på hur man förstår data själv, utan någon sådan programmering. Vissa system kan nu känna igen bilder eller ansikten ungefär lika exakt som människor.

Nu siktar LeCun på något mycket kraftfullare. Han vill leverera programvara med de språkkunskaper och sunt förnuft som behövs för grundläggande samtal. Istället för att behöva kommunicera med maskiner genom att klicka på knappar eller ange noggrant utvalda söktermer, kunde vi bara berätta för dem vad vi vill som om vi pratade med en annan person. Vår relation till den digitala världen kommer att förändras helt på grund av intelligenta agenter du kan interagera med, förutspår han. Han tror att djupinlärning kan producera programvara som förstår våra meningar och kan svara med lämpliga svar, klargörande frågor eller egna förslag.

Agenter som svarar på sakfrågor eller bokar restauranger åt oss är en uppenbar – om inte precis världsförändrande – tillämpning. Det är också lätt att se hur sådan programvara kan leda till mer stimulerande karaktärer i videospel eller förbättra onlineinlärning. Mer provocerande säger LeCun att system som förstår vanligt språk kan lära känna oss tillräckligt väl för att förstå vad som är bra för oss. System som det här borde kunna förstå inte bara vad folk skulle bli underhållna av utan vad de behöver se oavsett om de kommer att njuta av det, säger han. Sådana bedrifter är inte möjliga med teknikerna bakom sökmotorerna, spamfiltren och virtuella assistenter som försöker förstå oss idag. De ignorerar ofta ordens ordning och klarar sig med statistiska knep som att matcha och räkna nyckelord. Apples Siri, till exempel, försöker passa in det du säger i ett litet antal kategorier som utlöser skriptsvar. De förstår inte riktigt texten, säger LeCun. Det är fantastiskt att det fungerar överhuvudtaget. Samtidigt system som verkar ha bemästrat komplexa språkuppgifter, som IBMs Jeopardy! vinnaren Watson, gör det genom att vara superspecialiserad till ett visst format. Det är gulligt som en demonstration, men inget arbete som verkligen skulle översättas till någon annan situation, säger han.

Däremot kan mjukvara för djupinlärning kunna förstå språket mer på det sätt som människor gör. Forskare på Facebook, Google och på andra håll utvecklar programvara som har visat framsteg mot att förstå vad ord betyder. LeCuns team har ett system som kan läsa enkla berättelser och svara på frågor om dem, med hjälp av fakulteter som logisk deduktion och en rudimentär förståelse av tid.

Men, som LeCun vet från första hand, är artificiell intelligens ökänt för framsteg som gynnar förutsägelser om stora steg framåt men i slutändan förändras väldigt lite. Att skapa programvara som kan hantera språkets bländande komplexitet är en större utmaning än att träna den att känna igen objekt i bilder. Användbarheten av djupinlärning för taligenkänning och bilddetektering är utom tvivel, men det är fortfarande bara en gissning att det kommer att behärska språket och förändra våra liv mer radikalt. Vi vet ännu inte säkert om djupinlärning är en svacka som kommer att visa sig vara något mycket större.

Djup historia

Rötterna till djupinlärning sträcker sig längre tillbaka än LeCuns tid på Bell Labs. Han och några andra som var pionjärer för tekniken återupplivade faktiskt en sedan länge död idé inom artificiell intelligens.

När fältet kom igång, på 1950-talet, började biologer bara utveckla enkla matematiska teorier om hur intelligens och lärande uppstår från signaler som passerar mellan neuroner i hjärnan. Kärnan – fortfarande aktuell idag – var att länkarna mellan neuroner stärks om dessa celler kommunicerar ofta. Fusilladen av neural aktivitet som utlöses av en ny upplevelse justerar hjärnans anslutningar så att den kan förstå det bättre andra gången.

1956 använde psykologen Frank Rosenblatt dessa teorier för att uppfinna ett sätt att göra enkla simuleringar av neuroner i mjukvara och hårdvara. De New York Times meddelade sitt arbete med rubriken Elektronisk 'hjärna' lär sig själv . Rosenblatts perceptron, som han kallade sin design, kunde lära sig att sortera enkla bilder i kategorier - till exempel trianglar och kvadrater. Rosenblatt implementerade vanligtvis sina idéer på jättemaskiner tjockt trasslade med ledningar, men de etablerade de grundläggande principerna som fungerar i artificiella neurala nätverk idag.

Deep learning är bra på att ta diktering och känna igen bilder. Men kan den behärska mänskligt språk?

En dator han byggde hade åtta simulerade neuroner, gjorda av motorer och rattar kopplade till 400 ljusdetektorer. Var och en av neuronerna fick en del av signalerna från ljusdetektorerna, kombinerade dem och, beroende på vad de lade ihop till, spotta ut antingen en ett eller a 0 . Tillsammans motsvarade dessa siffror perceptronens beskrivning av vad den såg. Till en början var resultatet skräp. Men Rosenblatt använde en metod som kallas övervakad inlärning för att träna en perceptron för att generera resultat som korrekt särskiljde olika former. Han skulle visa perceptronen en bild tillsammans med det korrekta svaret. Sedan skulle maskinen justera hur mycket uppmärksamhet varje neuron ägnade sina inkommande signaler, flytta dessa vikter mot inställningar som skulle ge rätt svar. Efter många exempel försåg dessa justeringar datorn med tillräckligt med smarta funktioner för att korrekt kategorisera bilder som den aldrig sett tidigare. Dagens djupinlärningsnätverk använder sofistikerade algoritmer och har miljontals simulerade neuroner, med miljarder kopplingar mellan dem. Men de tränas på samma sätt.

Rosenblatt förutspådde att perceptroner snart skulle kunna prestera som att hälsa på människor med namn, och hans idé blev en grundbult i det begynnande området för artificiell intelligens. Arbetet fokuserade på att skapa perceptroner med mer komplexa nätverk, ordnade i en hierarki av flera inlärningslager. Att skicka bilder eller annan data successivt genom lagren skulle tillåta en perceptron att ta itu med mer komplexa problem. Tyvärr fungerade inte Rosenblatts inlärningsalgoritm på flera lager. 1969 publicerade AI-pionjären Marvin Minsky, som hade gått i gymnasiet med Rosenblatt, en boklång kritik av perceptroner som dödade intresset för neurala nätverk i en stroke. Minsky hävdade att att få fler lager att fungera inte skulle göra perceptroner kraftfulla nog att vara användbara. Artificiell intelligens forskare övergav idén om att göra programvara som lärde sig. Istället övergick de till att använda logik för att skapa fungerande aspekter av intelligens - som en fallenhet för schack. Neurala nätverk knuffades till datavetenskapens marginal.

Icke desto mindre blev LeCun fascinerad när han läste om perceptroner som ingenjörsstudent i Paris i början av 1980-talet. Jag blev förvånad över att det här fungerade och undrade varför folk övergav det, säger han. Han tillbringade dagar på ett forskningsbibliotek nära Versailles, på jakt efter tidningar som publicerats innan perceptroner dog ut. Sedan upptäckte han att en liten grupp forskare i USA i hemlighet arbetade med neurala nätverk igen. Det här var en väldigt undergroundrörelse, säger han. I tidningar som noggrant rensats från ord som neural och att lära sig att undvika avslag från recensenter, arbetade de med något som liknade Rosenblatts gamla problem med hur man tränar neurala nätverk med flera lager.

LeCun gick med i tunnelbanan efter att han träffat dess centrala figurer 1985, inklusive en snett britt vid namn Geoff Hinton, som nu arbetar på Google och University of Toronto. De blev omedelbart vänner, ömsesidiga beundrare – och kärnan i ett litet samhälle som återupplivade idén om neurala nätverk. De stöddes av en övertygelse att att använda en kärnmekanism som ses i naturlig intelligens var det enda sättet att bygga artificiell intelligens. Den enda metoden som vi visste fungerade var en hjärna, så i längden måste det vara så att något sådant system kunde fås att fungera, säger Hinton.

LeCuns framgång på Bell Labs kom till efter att han, Hinton och andra perfekterade en inlärningsalgoritm för neurala nätverk med flera lager. Det var känt som backpropagation, och det väckte ett stort intresse från psykologer och datavetare. Men efter att LeCuns kontrollläsningsprojekt avslutades visade det sig att backpropagation var svårt att anpassa sig till andra problem, och ett nytt sätt att träna programvara för att sortera data uppfanns av en Bell Labs-forskare i korridoren från LeCun. Det involverade inte simulerade neuroner och sågs som matematiskt mer elegant. Mycket snabbt blev det en hörnsten för internetföretag som Google, Amazon och LinkedIn, som använder det för att träna system som blockerar skräppost eller föreslår saker som du kan köpa.

Efter att LeCun kom till NYU 2003, bildade han, Hinton, och en tredje medarbetare, professorn Yoshua Bengio vid University of Montreal, vad LeCun kallar konspirationen för djupinlärning. För att bevisa att neurala nätverk skulle vara användbara utvecklade de i tysthet sätt att göra dem större, träna dem med större datamängder och köra dem på kraftfullare datorer. LeCuns handskriftsigenkänningssystem hade haft fem lager av nervceller, men nu kunde de ha 10 eller många fler. Runt 2010 började det som nu kallades djupinlärning slå etablerade tekniker för verkliga uppgifter som att sortera bilder. Microsoft, Google och IBM lade till det i taligenkänningssystem. Men neurala nätverk var fortfarande främmande för de flesta forskare och ansågs inte vara allmänt användbara. I början av 2012 skrev LeCun ett brinnande brev — till en början publiceras anonymt – efter att en tidning som påstod sig ha satt ett nytt rekord i en standardvisionsuppgift avvisades av en ledande konferens. Han anklagade recensenterna för att vara aningslösa och negativt partiska.

Allt förändrades sex månader senare. Hinton och två studenter använde ett nätverk som det LeCun skapade för läskontroller för att styra fältet i den ledande tävlingen för bildigenkänning. Känd som ImageNet Large Scale Visual Recognition Challenge, den ber programvara att identifiera 1 000 typer av objekt så olika som myggnät och moskéer. Toronto-inlägget identifierade korrekt objektet i en bild inom fem gissningar ungefär 85 procent av gångerna, mer än 10 procentenheter bättre än det näst bästa systemet. Deep-learning-mjukvarans initiala lager av neuroner optimerade sig själva för att hitta enkla saker som kanter och hörn, med lagren efter det som letade efter successivt mer komplexa funktioner som grundläggande former och, så småningom, hundar eller människor.

LeCun minns att han såg samhället som mest hade ignorerat neurala nätverk packas in i rummet där vinnarna presenterade ett dokument om sina resultat. Man kunde se just där att många äldre i samhället bara vände, säger han. De sa: 'Okej, nu köper vi det. Det är det, nu - du vann.'

Akademiker som arbetar med datorseende övergav snabbt sina gamla metoder och djupinlärning blev plötsligt en av huvuddelarna inom artificiell intelligens. Google köpte ett företag som grundades av Hinton och de två andra bakom resultatet från 2012, och Hinton började arbeta där deltid i ett forskarteam som kallas Google Brain. Microsoft och andra företag skapade nya projekt för att undersöka djupinlärning. I december 2013 häpnade Facebooks vd Mark Zuckerberg akademiker genom att dyka upp på den största forskningskonferensen för neurala nätverk, värd för en fest där han meddelade att LeCun startade FAIR (även om han fortfarande jobbar på NYU en dag i veckan).

LeCun hyser fortfarande blandade känslor om 2012 års forskning som förde världen runt till hans synvinkel. Till viss del borde det här ha kommit ut från mitt labb, säger han. Hinton delar den bedömningen. Det var lite olyckligt för Yann att det inte var han som faktiskt gjorde det genombrottssystemet, säger han. LeCuns grupp hade gjort mer arbete än någon annan för att bevisa de tekniker som användes för att vinna ImageNet-utmaningen. Segern kunde ha varit hans om studenternas examensscheman och andra åtaganden inte hindrat hans egen grupp från att ta sig an ImageNet, säger han. LeCuns jakt på djupt lärandes nästa genombrott är nu en chans att jämna ut poängen.

LeCun på Bell Labs 1993, med en dator som kunde läsa handstilen på checkar.

Språkinlärning

Facebooks kontor i New York ligger en tre minuters promenad uppför Broadway från LeCuns kontor på NYU, på två våningar i en byggnad som byggdes som ett varuhus i början av 1900-talet. Arbetare är packade mer tätt i den öppna planen än de är på Facebooks huvudkontor i Menlo Park, Kalifornien, men de kan fortfarande ses glida på ledade skateboards förbi meddelanden för veckovis beer pong. Nästan hälften av LeCuns team av ledande AI-forskare arbetar här, med resten på Facebooks campus i Kalifornien eller ett kontor i Paris. Många av dem försöker göra neurala nätverk bättre på att förstå språk. Jag har anställt alla som jobbar med det här som jag kunde, säger LeCun.

Ett neuralt nätverk kan lära sig ord genom att spola igenom text och beräkna hur varje ord det möter kunde ha förutspåtts från orden före eller efter det. Genom att göra detta lär sig programvaran att representera varje ord som en vektor som indikerar dess relation till andra ord – en process som kusligt fångar begrepp i språket. Skillnaden mellan vektorerna för kung och drottning är densamma som för man och hustru, till exempel. Vektorerna för papper och kartong ligger nära varandra, och de för stora och stora är ännu närmare.

Samma tillvägagångssätt fungerar för hela meningar (Hinton säger att det genererar tankevektorer), och Google tittar på att använda det för att stärka sin automatiska översättningstjänst. En färsk artikel från forskare vid ett kinesiskt universitet och Microsofts laboratorium i Peking använde en version av vektortekniken för att göra programvara som slår vissa människor på IQ-testfrågor som kräver förståelse av synonymer, antonymer och analogier.

LeCuns grupp arbetar på att gå vidare. Språket i sig är inte så komplicerat, säger han. Det som är komplicerat är att ha en djup förståelse av språket och världen som ger dig sunt förnuft. Det är det vi verkligen är intresserade av att bygga in i maskiner. LeCun betyder sunt förnuft eftersom Aristoteles använde termen: förmågan att förstå grundläggande fysisk verklighet. Han vill att en dator ska förstå att meningen Yann tog upp flaskan och gick ut ur rummet betyder att flaskan var kvar hos honom. Facebooks forskare har uppfunnit ett system för djupinlärning som kallas ett minnesnätverk som visar vad som kan vara de tidiga rörelserna av sunt förnuft.

Ett minnesnätverk är ett neuralt nätverk med en minnesbank fastskruvad för att lagra fakta som det har lärt sig så att de inte tvättas bort varje gång det tar in färsk data. Facebook AI-labbet har skapat versioner som kan svara på enkla sunt förnuftsfrågor om text som de aldrig sett förut. Till exempel när forskare gav ett minnesnätverk en mycket förenklad sammanfattning av handlingen för Sagan om ringen , den skulle kunna svara på frågor som Var är ringen? och var var Frodo före undergångsberget? Den kunde tolka den enkla värld som beskrivs i texten trots att den aldrig tidigare har stött på många av namnen eller föremålen, som Frodo eller ring.

Programvaran lärde sig sitt rudimentära sunt förnuft genom att få veta hur man svarar på frågor om en enkel text där karaktärer gör saker i en rad rum, som att Fred flyttade till sovrummet och Joe gick till köket. Men LeCun vill exponera programvaran för texter som är mycket bättre på att fånga livets komplexitet och de saker som en virtuell assistent kan behöva göra. En virtuell concierge som heter Moneypenny som Facebook förväntas släppa kan vara en källa till dessa uppgifter. Assistenten sägs drivas av ett team av mänskliga operatörer som kommer att hjälpa människor att göra saker som att göra restaurangbokningar. LeCuns team skulle kunna ha ett minnesnätverk som vakar över Moneypennys axel innan de så småningom låter det lära sig genom att interagera med människor på egen hand.

Flera företag har öppnat laboratorier för djupinlärning. Jag har anställt alla som jobbar med det här som jag kunde, säger LeCun.

Att bygga något som kan hålla även en grundläggande, snävt fokuserad konversation kräver fortfarande betydande arbete. Till exempel har neurala nätverk bara visat mycket enkla resonemang, och forskare har inte listat ut hur de kan läras att göra planer, säger LeCun. Men resultaten från det arbete som har gjorts med tekniken hittills gör att han är säker på vart det är på väg. Revolutionen är på väg, säger han.

Vissa människor är mindre säkra. Programvara för djupinlärning har hittills bara visat de enklaste funktionerna som krävs för vad vi skulle känna igen som konversation, säger Oren Etzioni , VD för Allen Institute for Artificial Intelligence i Seattle. Logiken och planeringsförmågan som fortfarande behövs, säger han, skiljer sig mycket från de saker som neurala nätverk har gjort bäst: smälta sekvenser av pixlar eller akustiska vågformer för att bestämma vilken bildkategori eller ord de representerar. Problemen med att förstå naturligt språk går inte att reducera på samma sätt, säger han.

Gary Marcus , en professor i psykologi och neuralvetenskap vid NYU som har studerat hur människor lär sig språk och nyligen startat ett företag med artificiell intelligens som heter Geometric Intelligence, tror att LeCun underskattar hur svårt det skulle vara för befintlig programvara att fånga upp språk och sunt förnuft. Att träna programvaran med stora volymer noggrant kommenterade data är bra för att få den att sortera bilder. Men Marcus tvivlar på att det kan få de svårare kunskaper som behövs för språk, där betydelsen av ord och komplexa meningar kan vända beroende på sammanhang. Folk kommer att se tillbaka på djup inlärning och säga att detta är en riktigt kraftfull teknik – det är första gången som AI blev praktiskt, säger han. De kommer också att säga att de sakerna krävde mycket data, och det fanns domäner där folk aldrig fick nog. Marcus tror att språk kan vara en av dessa domäner. För att programvara ska kunna bemästra konversation, skulle den behöva lära sig mer som ett litet barn som tar upp det utan explicita instruktioner, föreslår han.

Djup tro

På Facebooks huvudkontor i Kalifornien sitter västkustens medlemmar i LeCuns team nära Mark Zuckerberg och Mike Schroepfer, företagets CTO. Facebooks ledare vet att LeCuns grupp fortfarande är en bit från att bygga något du kan prata med, men Schroepfer funderar redan på hur den ska användas. Den framtida Facebook som han beskriver hämtar och koordinerar information, som en butler du kommunicerar med genom att skriva eller prata som du kan med en mänsklig.

Man kan engagera sig i ett system som verkligen kan förstå begrepp och språk på en mycket högre nivå, säger Schroepfer. Han föreställer sig att han kan be att du ska se en väns bebisbilder men inte hans skämt, till exempel. Jag tror att en version av det på kort sikt är väldigt realiserbar, säger han. Eftersom LeCuns system uppnår bättre resonemang och planeringsförmåga, förväntar han sig att samtalet blir mindre ensidigt. Facebook kan erbjuda information som det tror att du skulle gilla och fråga vad du tyckte om det. Så småningom är det som den här superintelligenta hjälparen som är ansluten till alla informationsströmmar i världen, säger Schroepfer.

Det är inte klart hur mycket vi skulle ha nytta av smartare virtuella assistenter, men vi kanske inte behöver vänta länge för att ta reda på det.

Algoritmerna som behövs för att driva sådana interaktioner skulle också förbättra de system som Facebook använder för att filtrera de inlägg och annonser vi ser. Och de kan vara avgörande för Facebooks ambitioner att bli mycket mer än bara en plats att umgås på. När Facebook börjar hålla artiklar och videor på uppdrag av media- och underhållningsföretag, till exempel, kommer det att behöva bättre sätt för människor att hantera information. Virtuella assistenter och andra spinouter från LeCuns arbete kan också hjälpa Facebooks mer ambitiösa avsteg från sin ursprungliga verksamhet, såsom Oculus-gruppen som arbetar för att göra virtuell verklighet till en massmarknadsteknologi.

Inget av detta kommer att hända om de senaste imponerande resultaten möter ödet för tidigare stora idéer inom artificiell intelligens. Blomningar av spänning runt neurala nätverk har vissnat två gånger redan. Men samtidigt som man klagar på att andra företag eller forskare överhyjar sitt arbete är en av LeCuns favoritsysselsättningar , säger han att det finns tillräckligt med indicier för att stå fast bakom sina egna förutsägelser om att djupinlärning kommer att ge imponerande resultat. Tekniken ger fortfarande mer precision och kraft inom alla områden av AI där den har tillämpats, säger han. Det behövs nya idéer om hur man kan tillämpa det på språkbehandling, men det fortfarande lilla området expanderar snabbt eftersom företag och universitet ägnar fler människor åt det. Det kommer att påskynda framstegen, säger LeCun.

Det är fortfarande inte klart att djupinlärning kan leverera något som den information som butlern Facebook föreställer sig. Och även om det kan, är det svårt att säga hur mycket världen verkligen skulle dra nytta av det. Men vi kanske inte behöver vänta länge för att få reda på det. LeCun gissar att virtuella hjälpare med en språkbehärskning som saknar motstycke för programvara kommer att finnas tillgängliga om bara två till fem år. Han förväntar sig att alla som tvivlar på djupinlärningens förmåga att behärska språk kommer att bevisas ha fel ännu tidigare. Det är samma fenomen som vi observerade strax före 2012, säger han. Saker och ting börjar fungera, men de som gör mer klassiska tekniker är inte övertygade. Inom ett eller två år är det slut.

Dölj