AI:s språkproblem

Maskiner som verkligen förstår språk skulle vara otroligt användbara. Men vi vet inte hur man bygger dem. Förbi

• Will Knight arkivsida

9 augusti 2016

Ungefär halvvägs genom en särskilt spänd omgång Go som hölls i Seoul, Sydkorea, mellan Lee Sedol, en av de bästa spelarna genom tiderna, och AlphaGo, en artificiell intelligens skapad av Google, gjorde AI-programmet ett mystiskt drag som visade en nervös kant över sin mänskliga motståndare.

På drag 37 valde AlphaGo att sätta en svart sten i vad som till en början verkade som en löjlig position. Det såg säkert ut att ge upp betydande territorium – ett nybörjarmisstag i ett spel som handlar om att kontrollera utrymmet på brädet. Två tv-kommentatorer undrade om de hade missuppfattat flytten eller om maskinen hade gått sönder på något sätt. I själva verket, i motsats till någon konventionell visdom, skulle drag 37 göra det möjligt för AlphaGo att bygga en formidabel grund i mitten av brädet. Google-programmet hade faktiskt vunnit spelet med ett drag som ingen människa skulle ha kommit på.

Om konsten

• En anledning till att det är så svårt att förstå språk för datorer och AI-system är att ord ofta har betydelser baserat på sammanhang och till och med utseendet på bokstäverna och orden. I bilderna som åtföljer denna berättelse visar flera konstnärer användningen av en mängd olika visuella ledtrådar för att förmedla betydelser långt bortom de faktiska bokstäverna.

  
  
  

Den här historien var en del av vårt septembernummer 2016

• Se resten av frågan
• Prenumerera

AlphaGos seger är särskilt imponerande eftersom det antika spelet Go ofta ses som ett test av intuitiv intelligens. Reglerna är ganska enkla. Två spelare turas om att lägga svarta eller vita stenar i skärningspunkten mellan horisontella och vertikala linjer på ett bräde, och försöker omringa motståndarens pjäser och ta bort dem från spelet. Att spela bra är dock otroligt svårt.

Medan schackspelare kan se några drag framåt, är detta inte möjligt i Go utan att spelet utvecklas till svåröverskådlig komplexitet, och det finns inga klassiska gambits. Det finns inte heller något enkelt sätt att mäta fördelar, och det kan vara svårt för även en expertspelare att förklara exakt varför han eller hon gjorde ett särskilt drag. Detta gör det omöjligt att skriva en enkel uppsättning regler för ett datorprogram på expertnivå att följa.

AlphaGo fick inte veta hur man spelar Go alls. Istället analyserade programmet hundratusentals matcher och spelade miljontals matcher mot sig själv. Bland flera AI-tekniker använde den en alltmer populär metod som kallas djupinlärning, som involverar matematiska beräkningar inspirerade, mycket löst, för övrigt sammankopplade lager av nervceller eld i en hjärna när den lär sig att förstå ny information. Programmet lärde sig själv genom timmar av övning, gradvis finslipa en intuitiv känsla för strategi. Att det sedan kunde slå en av världens bästa Go-spelare representerar en riktig milstolpe inom maskinintelligens och AI.

Lawrence Weiner
En gummiboll som kastas på havet
1970/2014

Några timmar efter drag 37 vann AlphaGo matchen och gick upp två matcher till ingenting i bäst-av-fem-matchen. Efteråt stod Sedol framför en skara journalister och fotografer och bad artigt om ursäkt för att han svikit mänskligheten. Jag är ganska mållös, sa han och blinkade genom en storm av blixtfotografering.

AlphaGos överraskande framgång pekar på hur mycket framsteg som har gjorts inom artificiell intelligens under de senaste åren, efter decennier av frustration och motgångar som ofta beskrivs som en AI-vinter. Djup inlärning innebär att maskiner i allt högre grad kan lära sig själva hur man utför komplexa uppgifter som för bara ett par år sedan ansågs kräva människans unika intelligens. Självkörande bilar är redan en förutsebar möjlighet. Inom en snar framtid kommer system baserade på djupinlärning att hjälpa till att diagnostisera sjukdomar och rekommendera behandlingar.

Djup inlärning innebär att maskiner i allt högre grad kan lära sig själva hur man utför komplexa uppgifter som för bara ett par år sedan ansågs kräva människans unika intelligens.

Men trots dessa imponerande framsteg är en grundläggande förmåga fortfarande svårfångad: språket. System som Siri och IBMs Watson kan följa enkla talade eller maskinskrivna kommandon och svara på grundläggande frågor, men de kan inte föra en konversation och har ingen verklig förståelse för de ord de använder. Om AI verkligen ska vara transformativt måste detta förändras.

Även om AlphaGo inte kan tala så innehåller den teknik som kan leda till större språkförståelse. På företag som Google, Facebook och Amazon, såväl som på ledande akademiska AI-labb, försöker forskare äntligen lösa det till synes svårlösta problemet, med hjälp av några av samma AI-verktyg – inklusive djupinlärning – som är ansvariga för AlphaGos framgång och dagens AI-revival. Huruvida de lyckas kommer att avgöra omfattningen och karaktären av det som förvandlas till en artificiell intelligensrevolution. Det kommer att hjälpa till att avgöra om vi har maskiner som vi enkelt kan kommunicera med – maskiner som blir en intim del av vår vardag – eller om AI-system förblir mystiska svarta lådor, även när de blir mer autonoma. Det finns inget sätt att du kan ha ett AI-system som är mänskligt som inte har språket i centrum, säger Josh Tenenbaum, professor i kognitiv vetenskap och beräkning vid MIT. Det är en av de mest uppenbara sakerna som skiljer mänsklig intelligens åt.

Kanske kommer samma tekniker som låter AlphaGo erövra Go äntligen göra det möjligt för datorer att behärska språket, eller så kommer det också att krävas något annat. Men utan språkförståelse blir effekten av AI annorlunda. Naturligtvis kan vi fortfarande ha oerhört kraftfull och intelligent programvara som AlphaGo. Men vår relation med AI kan vara mycket mindre samarbetsvillig och kanske mycket mindre vänlig. En tjatande fråga sedan början var 'Tänk om du hade saker som var intelligenta i betydelsen av att vara effektiva, men inte som oss i betydelsen av att inte känna empati för vad vi är?' säger Terry Winograd, professor emeritus vid Stanford University. Du kan föreställa dig maskiner som inte är baserade på mänsklig intelligens, som är baserade på den här big-data-grejen och som styr världen.

Maskinviskare

Ett par månader efter AlphaGos triumf reste jag till Silicon Valley, hjärtat av den senaste boomen inom artificiell intelligens. Jag ville besöka forskarna som gör anmärkningsvärda framsteg när det gäller praktiska tillämpningar av AI och som nu försöker ge maskiner större förståelse för språk.

Jag började med Winograd, som bor i en förort inbäddad i den södra kanten av Stanfords campus i Palo Alto, inte långt från Googles, Facebooks och Apples högkvarter. Med lockigt vitt hår och buskig mustasch ser han ut som en vördnadsvärd akademiker, och han har en smittande entusiasm.

Redan 1968 gjorde Winograd ett av de tidigaste försöken att lära en maskin att prata intelligent. Ett matematiskt underbarn fascinerat av språk, han hade kommit till MIT:s nya AI-labb för att studera för sin doktorsexamen, och han bestämde sig för att bygga ett program som skulle samtala med människor, via en textuppmaning, med vardagsspråk. Det verkade inte vara en besynnerlig ambition vid den tiden. Otroliga framsteg gjordes inom AI, och andra på MIT byggde komplexa datorseendesystem och futuristiska robotarmar. Det fanns en känsla av okända, obegränsade möjligheter, minns han.

Joseph Kosuth
Fyra färger Fyra ord
1966

Alla var dock inte övertygade om att språket kunde bemästras så lätt. Vissa kritiker, inklusive den inflytelserika lingvisten och MIT-professorn Noam Chomsky, ansåg att AI-forskarna skulle kämpa för att få maskiner att förstå, med tanke på att språkets mekanik hos människor var så dåligt förstådd. Winograd minns att han deltog i en fest där en elev till Chomsky gick därifrån när han hörde honom säga att han arbetade i AI-labbet.

Men det fanns anledning att vara optimistisk också. Joseph Weizenbaum, en tyskfödd professor vid MIT, hade byggt det allra första chatbotprogrammet ett par år tidigare. Den kallades ELIZA och var programmerad att agera som en tecknad psykoterapeut, upprepa viktiga delar av ett uttalande eller ställa frågor för att uppmuntra till ytterligare samtal. Om du till exempel berättade för programmet att du var arg på din mamma, skulle det stå: Vad kommer du mer att tänka på när du tänker på din mamma? Ett billigt knep, men det fungerade förvånansvärt bra. Weizenbaum blev chockad när några försökspersoner började bekänna sina mörkaste hemligheter för sin maskin.

Det finns ett uppenbart problem med att tillämpa djupinlärning på språk. Det är att ord är godtyckliga symboler, och som sådana skiljer de sig fundamentalt från bildspråk.

Winograd ville skapa något som verkligen verkade förstå språk. Han började med att minska omfattningen av problemet. Han skapade en enkel virtuell miljö, en blockvärld, bestående av en handfull imaginära föremål som sitter på ett imaginärt bord. Sedan skapade han ett program, som han kallade SHRDLU , som kunde analysera alla substantiv, verb och enkla grammatikregler som behövs för att referera till denna avskalade virtuella värld. SHRDLU (ett nonsensord som bildas av den andra kolumnen med nycklar på en Linotype-maskin) skulle kunna beskriva objekten, svara på frågor om deras relationer och göra ändringar i blockvärlden som svar på inskrivna kommandon. Den hade till och med ett slags minne, så att om du sa åt den att flytta den röda konen och sedan hänvisade till konen, skulle den anta att du menade den röda snarare än en av en annan färg.

SHRDLU hölls upp som ett tecken på att AI-området gjorde stora framsteg. Men det var bara en illusion. När Winograd försökte göra programmets blockvärld större, blev reglerna som krävdes för att ta hänsyn till de nödvändiga orden och grammatisk komplexitet ohanterliga. Bara några år senare hade han gett upp och så småningom övergav han AI helt för att fokusera på andra forskningsområden. Begränsningarna var mycket närmare än vad det verkade då, säger han.

Winograd drog slutsatsen att det skulle vara omöjligt att ge maskiner sann språkförståelse med hjälp av de verktyg som fanns tillgängliga då. Problemet, som Hubert Dreyfus, professor i filosofi vid UC Berkeley, hävdade i en bok från 1972 som heter Vad datorer inte kan göra , är att många saker människor gör kräver en sorts instinktiv intelligens som inte kan fångas med hårda och snabba regler. Det är just därför, innan matchen mellan Sedol och AlphaGo, många experter var tveksamma till att maskiner skulle bemästra Go.

John Baldessari
Ren skönhet
1966–68

Men även när Dreyfus framförde det argumentet, utvecklade ett fåtal forskare faktiskt ett tillvägagångssätt som så småningom skulle ge maskiner den här typen av intelligens. Med lös inspiration från neurovetenskapen experimenterade de med artificiella neurala nätverk - lager av matematiskt simulerade neuroner som kunde tränas att skjuta som svar på vissa input. Till att börja med var dessa system smärtsamt långsamma, och tillvägagångssättet avfärdades som opraktiskt för logik och resonemang. Avgörande är dock att neurala nätverk kunde lära sig att göra saker som inte kunde handkodas, och senare skulle detta visa sig användbart för enkla uppgifter som att känna igen handskrivna tecken, en färdighet som kommersialiserades på 1990-talet för att läsa siffrorna på checkar. Förespråkarna hävdade att neurala nätverk så småningom skulle låta maskiner göra mycket, mycket mer. En dag, hävdade de, skulle tekniken till och med förstå språk.

Under de senaste åren har neurala nätverk blivit mycket mer komplexa och kraftfulla. Tillvägagångssättet har gynnats av viktiga matematiska förbättringar och, ännu viktigare, snabbare datorhårdvara och massor av data. År 2009 hade forskare vid University of Toronto visat att ett djupinlärningsnätverk med många lager kunde känna igen tal med rekordnoggrannhet. Och sedan 2012 vann samma grupp en maskinseende-tävling med en algoritm för djupinlärning som var förvånansvärt exakt.

Ett djupt lärande neuralt nätverk känner igen objekt i bilder med ett enkelt knep. Ett lager av simulerade neuroner tar emot input i form av en bild, och några av dessa neuroner kommer att avfyras som svar på intensiteten hos enskilda pixlar. Den resulterande signalen passerar genom många fler lager av sammankopplade neuroner innan den når ett utdatalager, som signalerar att objektet har setts. En matematisk teknik känd som backpropagation används för att justera känsligheten hos nätverkets neuroner för att producera rätt svar. Det är detta steg som ger systemet förmågan att lära sig. Olika lager inuti nätverket kommer att svara på funktioner som kanter, färger eller struktur. Sådana system kan nu känna igen föremål, djur eller ansikten med en noggrannhet som konkurrerar med människors.

Det finns ett uppenbart problem med att tillämpa djupinlärning på språk. Det är att ord är godtyckliga symboler, och som sådana skiljer de sig fundamentalt från bildspråk. Två ord kan ha liknande betydelse samtidigt som de innehåller helt olika bokstäver, till exempel; och samma ord kan betyda olika saker i olika sammanhang.

På 1980-talet hade forskare kommit på en smart idé om hur man förvandlar språk till den typ av problem som ett neuralt nätverk kan hantera. De visade att ord kan representeras som matematiska vektorer, vilket gör att likheter mellan relaterade ord kan beräknas. Till exempel är båt och vatten nära i vektorrymden även om de ser väldigt olika ut. Forskare vid University of Montreal, ledda av Yoshua Bengio, och en annan grupp på Google, har använt denna insikt för att bygga nätverk där varje ord i en mening kan användas för att konstruera en mer komplex representation – något som Geoffrey Hinton, professor vid University of Toronto och en framstående djuplärande forskare som arbetar deltid på Google, kallar en tankevektor.

Genom att använda två sådana nätverk är det möjligt att översätta mellan två språk med utmärkt noggrannhet. Och genom att kombinera den här typen av nätverk med ett som är utformat för att känna igen objekt i bilder, är det möjligt att trolla fram förvånansvärt rimliga bildtexter.

Livets syfte

Sitter i ett konferensrum i hjärtat av Googles livliga huvudkontor i Mountain View, Kalifornien, funderar en av företagets forskare som hjälpte till att utveckla detta tillvägagångssätt, Quoc Le , tanken på en maskin som skulle kunna hålla en ordentlig konversation. Le's ambitioner skär rakt in i hjärtat av varför talande maskiner kan vara användbara. Jag vill ha ett sätt att simulera tankar i en maskin, säger han. Och om du vill simulera tankar, bör du kunna fråga en maskin vad den tänker på.

Tauba Auerbach
Svaret/var inte här II
2008

Google lär redan sina datorer grunderna i språket. I maj tillkännagav företaget ett system, kallat Parsey McParseface, som kan titta på syntax, känna igen substantiv, verb och andra textelement. Det är inte svårt att se hur värdefullt bättre språkförståelse kan vara för företaget. Googles sökalgoritm används för att helt enkelt spåra sökord och länkar mellan webbsidor. Nu, med hjälp av ett system som heter RankBrain, läser den texten på sidor i ett försök att få fram mening och leverera bättre resultat. Le vill ta så mycket längre. Genom att anpassa systemet som har visat sig användbart för översättning och bildtextning, byggde han och hans kollegor Smart Reply, som läser innehållet i Gmail-meddelanden och föreslår en handfull möjliga svar. Han skapade också ett program som lärde sig från Googles IT-supportchattloggar hur man svarar på enkla tekniska frågor.

Senast byggde Le ett program som kunde ge bra svar på öppna frågor; den tränades genom att matas med dialog från 18 900 filmer. Vissa av dess svar verkar kusligt spot-on. Till exempel frågade Le: Vad är meningen med livet? och programmet svarade: Att tjäna det större bästa. Det var ett ganska bra svar, minns han med ett stort flin. Förmodligen bättre än min skulle ha varit.

Det finns bara ett problem, vilket snabbt blir uppenbart när man tittar på fler av systemets svar. När Le frågade, hur många ben har en katt? hans system svarade, fyra, tror jag. Sedan försökte han, hur många ben har en tusenfoting? vilket gav ett märkligt svar: Åtta. I grund och botten har Le's program ingen aning om vad det handlar om. Den förstår att vissa kombinationer av symboler går ihop, men den har ingen uppskattning av den verkliga världen. Den vet inte hur en tusenfoting faktiskt ser ut eller hur den rör sig. Det är fortfarande bara en illusion av intelligens, utan den sortens sunt förnuft som människor tar för givet. System för djupinlärning kan ofta vara töntigt på det här sättet. Den som Google skapade för att skapa bildtexter skulle göra bisarra fel, som att beskriva en gatuskylt som ett kylskåp fyllt med mat.

Le frågade: Vad är meningen med livet? och programmet svarade: Att tjäna det större bästa.

Av en märklig slump är Terry Winograds granne i Palo Alto någon som kanske kan hjälpa datorer att få en djupare förståelse för vad ord faktiskt betyder. Fei-Fei Li, chef för Stanford Artificial Intelligence Lab, var mammaledig när jag besökte, men hon bjöd in mig till sitt hem och presenterade mig stolt för sin vackra tre månader gamla baby, Phoenix. Se hur hon ser på dig mer än mig, sa Li medan Phoenix stirrade på mig. Det beror på att du är ny; det är tidig ansiktsigenkänning.

Li har ägnat mycket av sin karriär åt att forska om maskininlärning och datorseende. För flera år sedan ledde hon ett försök att bygga en databas med miljontals bilder av objekt, var och en taggade med ett lämpligt nyckelord. Men Li tror att maskiner behöver en ännu mer sofistikerad förståelse för vad som händer i världen, och i år släppte hennes team ytterligare en databas med bilder, kommenterade i mycket rikare detaljer. Varje bild har taggats av en människa med dussintals beskrivningar: En hund som åker skateboard, Hund har fluffig, vågig päls, Vägen är sprucken och så vidare. Förhoppningen är att maskininlärningssystem ska lära sig att förstå mer om den fysiska världen. Språkdelen av hjärnan matas med mycket information, inklusive från det visuella systemet, säger Li. En viktig del av AI kommer att vara att integrera dessa system.

Detta är närmare sättet barn lär sig, genom att associera ord med föremål, relationer och handlingar. Men analogin med mänskligt lärande går bara så långt. Små barn behöver inte se en skateboardhund för att kunna föreställa sig eller verbalt beskriva en. Li tror faktiskt att dagens maskininlärning och AI-verktyg inte kommer att räcka för att åstadkomma riktig AI. Det kommer inte bara att vara datarik djupinlärning, säger hon. Li tror att AI-forskare kommer att behöva tänka på saker som emotionell och social intelligens. Vi [människor] är hemska på att använda enorma data, säger hon, men vi är bra på abstraktion och kreativitet.

Ingen vet hur man ska ge maskiner dessa mänskliga färdigheter – om det ens är möjligt. Finns det något unikt mänskligt med sådana egenskaper som sätter dem utom räckhåll för AI?

Kognitiva forskare som MIT:s Tenenbaum teoretiserar att viktiga komponenter i sinnet saknas i dagens neurala nätverk, oavsett hur stora dessa nätverk kan vara. Människor har förmågan att lära sig mycket snabbt av en relativt liten mängd data och har en inbyggd förmåga att modellera världen i 3-D mycket effektivt. Språket bygger på andra förmågor som förmodligen är mer grundläggande, som finns hos unga spädbarn innan de har språk: att uppfatta världen visuellt, agera på våra motoriska system, förstå världens fysik eller andra agenters mål, säger Tenenbaum.

Om han har rätt kommer det att bli svårt att återskapa språkförståelse i maskiner och AI-system utan att försöka efterlikna mänskligt lärande, mental modellbygge och psykologi.

Förklara dig

Noah Goodmans kontor på Stanfords psykologiavdelning är praktiskt taget avskalat förutom ett par abstrakta målningar som står mot en vägg och några övervuxna växter. När jag kom fram skrev Goodman på en bärbar dator med bara fötterna uppe på ett bord. Vi tog en promenad över det solblekta campuset för iskaffe. Språket är speciellt genom att det förlitar sig på mycket kunskap om språk, men det förlitar sig också på en enorm mängd sunt förnuft kunskap om världen, och de två går ihop på mycket subtila sätt, förklarade han.

Goodman och hans elever har utvecklat ett programmeringsspråk, kallat Webppl, som kan användas för att ge datorer ett slags probabilistiskt sunt förnuft, vilket visar sig vara ganska användbart i en konversation. En experimentell version kan förstå ordlekar, och en annan kan hantera överdrift. Om det sägs att vissa människor var tvungna att vänta för evigt på ett bord på en restaurang, kommer det automatiskt att avgöra att den bokstavliga meningen är osannolik, och de har troligen bara hängt kvar länge och varit irriterade. Systemet är långt ifrån riktigt intelligent, men det visar hur nya tillvägagångssätt kan hjälpa till att göra AI-program som pratar på ett mer verklighetstroget sätt.

Samtidigt antyder Goodmans exempel också hur svårt det kommer att vara att lära språk till maskiner. Att förstå den kontextuella innebörden av forever är den typ av sak som AI-system kommer att behöva lära sig, men det är en ganska enkel och rudimentär prestation.

Jag vill ha ett sätt att simulera tankar i en maskin, säger han. Och om du vill simulera tankar, bör du kunna fråga en maskin vad den tänker på.

Trots problemets svårighet och komplexitet ger den häpnadsväckande framgång som forskare har haft genom att använda djupinlärningstekniker för att känna igen bilder och utmärka sig i spel som Go åtminstone hopp om att vi kan vara på gränsen till språkgenombrott också . Om så är fallet kommer dessa framsteg precis i tid. Om AI ska fungera som ett allestädes närvarande verktyg som människor använder för att öka sin egen intelligens och förtroende för att ta över uppgifter i ett sömlöst samarbete, kommer språket att vara nyckeln. Det kommer att vara särskilt sant eftersom AI-system i allt högre grad använder djupinlärning och andra tekniker för att i huvudsak programmera sig själva.

Generellt sett är system för djupinlärning imponerande, säger John Leonard, professor vid MIT som forskar om automatiserad körning. Men å andra sidan är deras prestation verkligen svår att förstå.

Toyota, som studerar en rad självkörande teknologier, har initierat ett forskningsprojekt vid MIT ledd av Gerald Sussman, en expert på artificiell intelligens och programmeringsspråk, för att utveckla automatiserade körsystem som kan förklara varför de vidtog en viss åtgärd. Och ett självklart sätt för en självkörande bil att göra detta skulle vara genom att prata. Att bygga system som vet vad de vet är ett riktigt svårt problem, säger Leonard, som leder ett annat Toyota-stödt projekt vid MIT. Men ja, helst skulle de inte bara ge ett svar utan en förklaring.

Några veckor efter hemkomsten från Kalifornien såg jag David Silver, Google DeepMind-forskaren som designade AlphaGo, hålla ett föredrag om matchen mot Sedol på en akademisk konferens i New York. Silver förklarade att när programmet kom med sitt mördande drag under match två, var hans lag lika förvånade som alla andra. Allt de kunde se var AlphaGos förutspådda vinstodds, som ändrades lite även efter drag 37. Det var först flera dagar senare, efter noggrann analys, som Google-teamet gjorde en upptäckt: genom att smälta tidigare spel hade programmet räknat ut chanserna för en mänsklig spelare som gör samma drag på en på 10 000. Och dess träningsspel hade också visat att pjäsen erbjöd en ovanligt stark positionsfördel.

Så på ett sätt visste maskinen att Sedol skulle bli helt förblindad.

Silver sa att Google överväger flera alternativ för att kommersialisera tekniken, inklusive någon sorts intelligent assistent och ett verktyg för hälsovård. Efteråt frågade jag honom om vikten av att kunna kommunicera med AI:n bakom sådana system. Det är en intressant fråga, sa han efter en paus. För vissa applikationer kan det vara viktigt. Liksom inom vården kan det vara viktigt att veta varför ett beslut fattas.

När AI-system blir allt mer sofistikerade och komplexa är det faktiskt svårt att föreställa sig hur vi kommer att samarbeta med dem utan språk – utan att kunna fråga dem: Varför? Mer än detta skulle förmågan att kommunicera utan ansträngning med datorer göra dem oändligt mycket mer användbara, och det skulle kännas inget annat än magiskt. Språket är trots allt vårt mest kraftfulla sätt att förstå världen och interagera med den. Det är på tiden att våra maskiner
kom ikapp.

Will Knight är seniorredaktör för AI och robotik på MIT Technology Review . Hans film The People's Robots dök upp i maj/juni-numret.

Dölj