211service.com
Tuffare Turing-test avslöjar Chatbots dumhet
Användare: Siri, ring mig en ambulans.
Siri: Okej, från och med nu kommer jag att ringa dig en ambulans.
Apple fixade det här felet kort efter att dess virtuella assistent först släpptes 2011. Men en ny tävling visar att datorer fortfarande saknar det sunda förnuftet som krävs för att undvika sådana pinsamma sammanblandningar.
Resultaten av tävlingen presenterades vid en akademisk konferens i New York denna vecka, och de ger ett mått på hur mycket arbete som behöver göras för att göra datorer verkligt intelligenta.
Illustration av Max Bode
De Winograd Schema Challenge ber datorer att förstå meningar som är tvetydiga men vanligtvis enkla för människor att tolka. Att disambiguera Winograd Schema-meningar kräver en del sunt förnuft. I meningen Kommunfullmäktige vägrade demonstranterna tillstånd för att de fruktade våld, det är logiskt sett oklart vem ordet de syftar på, även om människor förstår på grund av det bredare sammanhanget.
Programmen som deltog i utmaningen var lite bättre än slumpmässiga på att välja rätt mening av meningar. De två bästa deltagarna hade rätt 48 procent av gångerna, jämfört med 45 procent om svaren väljs slumpmässigt. För att vara berättigad att göra anspråk på det stora priset på $25 000 måste deltagarna uppnå minst 90 procents noggrannhet. De gemensamma bästa bidragen kom från Quan Liu, en forskare vid University of Science and Technology i Kina, och Nicos Issak, en forskare från Open University of Cypern.
Det är föga förvånande att maskiner knappt var bättre än slumpen, säger Gary Marcus , en forskningspsykolog vid New York University och en rådgivare till tävlingen. Det beror på att det är notoriskt svårt att ge datorer sunt förnuft. Kunskap om handkodning är omöjligt tidskrävande, och det är inte lätt för datorer att lära sig om den verkliga världen genom att utföra statistisk analys av text. De flesta av deltagarna i Winograd Schema Challenge försöker använda någon kombination av handkodad grammatikförståelse och en kunskapsbas av fakta.
Marcus, som också är medgrundare till en ny AI-startup, Geometric Intelligence, säger att det är anmärkningsvärt att Google och Facebook inte deltog i evenemanget, även om forskare vid dessa företag har föreslagit att de gör stora framsteg när det gäller förståelse av naturligt språk. Det kan ha varit så att de där killarna valsade in i det här rummet och fick hundra procent och sa 'hah!' säger han. Men det skulle ha förvånat mig.
Tävlingen fungerar inte bara som ett mått på framsteg inom AI. Det visar också hur svårt det kommer att vara att bygga mer intuitiva och graciösa chatbots och att träna datorer att extrahera mer information från skriven text.
Forskare på Google, Facebook, Amazon och Microsoft riktar sin uppmärksamhet mot språket. De använder de senaste maskininlärningsteknikerna, särskilt deep learning neurala nätverk, för att utveckla smartare, mer intuitiva chatbots och personliga assistenter (se Teaching Machines to Understand Us ). I själva verket, med chatbots och röstassistenter som blir vanligare och med dramatiska framsteg inom områden som bild- och taligenkänning, kanske du tror att maskiner blev ganska bra på att förstå språk.
Ett av de två förstahandsbidragen använde faktiskt en banbrytande metod för maskininlärning. Lius grupp, som inkluderade forskare från York University i Toronto och National Research Council of Canada, använde djupinlärning för att träna en dator för att känna igen förhållandet mellan olika händelser, som att spela basket och vinna eller bli skadad, från tusentals texter.
Jag blev glad över att se djupinlärning användas, säger Leora Morgenstern , en senior forskare på Leidos Corporation, ett teknikkonsultföretag, och en av arrangörerna av utmaningen.
Lius team hävdar att efter att ha åtgärdat ett problem med hur dess system analyserade tävlingens frågor, är det nästan 60 procent korrekt. Morgenstern varnar dock för att även om dessa påståenden bekräftades, skulle noggrannheten fortfarande vara mycket sämre än en människas.
Winograd Schema-meningar lyftes först fram som ett sätt att mäta maskinförståelse av Hector Levesque, en artificiell intelligensforskare vid University of Toronto. De är uppkallade efter Terry Winograd, en pionjär inom området och en professor vid Stanford University som byggde ett av de första konversationsdatorprogrammen.
Utmaningen föreslogs 2014 som en förbättring av Turingtestet. Alan Turing, en förfader till datorer och artificiell intelligens som på 1950-talet funderade på om maskiner en dag skulle kunna tänka som människor gör, föreslog ett enkelt sätt att testa en maskins intelligens. Hans idé var att en maskin skulle försöka lura en person att tro att han pratade med en riktig person i en sms-konversation.
Problemet med Turing-testet är att det ofta är lätt för ett program att lura en person med enkla knep och undanflykter. Men ett program kan inte analysera Winograd Schema eller andra tvetydiga meningar utan någon form av allmän kunskap.
Tävlingen kan få betydande praktiska konsekvenser. Det kommer att dyka upp när du börjar stödja dialoger, säger Charlie Ortiz , en senior huvudforskare på Nuance, ett företag som tillverkar programvara för röstigenkänning och röstgränssnitt, som sponsrade Winograd Schema Challenge. Ortiz säger att sunt förnuft kommer att krävas för även enkla konversationer med datorer. När jag handlar, om jag säger: 'Jag vill skaffa ett fodral till min gitarr; det ska vara starkt.’ Så syftar ’det’ på fodralet eller gitarren?
Marcus tillägger att sunt förnuftsresonemang kommer att bli viktigare i takt med att enheter som smarta apparater eller bärbara prylar blir vanligare. När du vill ställa en fråga till din klocka får du inte bläddra igenom 50 alternativ, säger han. När du börjar prata med din bil eller din klocka och du blir av med skrivmodaliteten och vill ha en sammankopplad uppsättning meningar – den här konversationsdiskursen – hänvisar folk helt enkelt tillbaka till saker och ting, och du måste lösa dessa problem för att Det Fungerar.