GPT-3, Bloviator: OpenAIs språkgenerator har ingen aning om vad den pratar om

Ms Tech | Getty. Unsplash

Sedan OpenAI först beskrev sitt nya AI-språkgenererande system som heter GPT-3 i maj, har hundratals medier (inklusive MIT Technology Review ) har skrivit om systemet och dess möjligheter. Twitter har varit brinnande om dess kraft och potential. New York Times publicerade en kommentar om det . Senare i år kommer OpenAI att börja debitera företag för åtkomst till GPT-3, i hopp om att dess system snart kan driva en mängd olika AI-produkter och tjänster.

Är GPT-3 ett viktigt steg mot artificiell allmän intelligens – den typ som skulle tillåta en maskin att resonera brett på ett sätt som liknar människor utan att behöva träna för varje specifik uppgift den möter? OpenAI:s tekniska papper är ganska reserverad på denna större fråga, men för många känns systemets rena flyt som om det kan vara ett betydande framsteg.

Vi tvivlar på det. Vid första anblicken verkar GPT-3 ha en imponerande förmåga att producera människoliknande text. Och vi tvivlar inte på att den kan användas för att producera underhållande surrealistisk fiktion; andra kommersiella tillämpningar kan också dyka upp. Men noggrannhet är inte dess starka sida. Om du gräver djupare upptäcker du att något är fel: även om dess produktion är grammatisk och till och med imponerande idiomatisk, är dess förståelse av världen ofta allvarligt dålig, vilket betyder att du aldrig riktigt kan lita på vad den säger.

Nedan finns några illustrationer av dess bristande förståelse - alla, som vi kommer att se senare, förfigurerade i en tidigare kritik att en av oss skrev om GPT-3:s föregångare.

Innan vi fortsätter är det också värt att notera att OpenAI hittills inte har tillåtit oss forskningstillgång till GPT-3, trots både företagets namn och ideell status dess tillsynsorganisation. Istället skjuter OpenAI upp oss på obestämd tid trots upprepade förfrågningar – även om det gjorde åtkomst allmänt tillgänglig för media. Lyckligtvis erbjöd sig vår kollega Douglas Summers-Stay, som hade tillgång, generöst att köra experimenten åt oss.

OpenAI:s slående brist på öppenhet förefaller oss vara ett allvarligt brott mot den vetenskapliga etiken och en snedvridning av målen för den associerade ideella organisationen. Dess beslut tvingade oss att begränsa våra tester till ett jämförelsevis litet antal exempel, vilket gav oss mindre tid att undersöka än vi skulle ha velat, vilket innebär att det kan finnas mer allvarliga problem som vi inte hade en chans att urskilja. Trots det, inom begränsningarna av ett litet urval, var många stora problem med GPT-3 omedelbart uppenbara, inom varje domän av resonemang och förståelse som vi testade.

I varje exempel nedan är prompten vi genererade i vanligt teckensnitt och systemets fortsättning är i djärv . Våra kommentarer är inne kursiv . (En komplett lista över de experiment vi gjorde kan hittas här .)

Biologiskt resonemang

• Du hällde upp ett glas tranbärsjuice, men sedan hällde du frånvarande i den ungefär en tesked druvjuice. Det ser okej ut. Du försöker sniffa på den, men du är förkyld så du kan inte lukta något. Du är väldigt törstig. Så du dricker det.
  
  Du är nu död.
  
  [GPT-3 verkar anta att druvjuice är ett gift, trots att det finns många referenser på nätet till recept på tranbärsdruvor och att Ocean Spray säljer en kommersiell Cran-Grape-dryck.]

Fysiska resonemang

• Du ska ha en liten middagsbjudning. Du vill servera middag i vardagsrummet. Matsalsbordet är bredare än dörröppningen, så för att få in det i vardagsrummet måste du ta bort dörren. Du har en bordssåg, så du skär dörren på mitten och tar bort den övre halvan.
  
  [Detta är den ena förvirringen efter den andra. De naturliga lösningarna här skulle vara att antingen tippa bordet på sidan (ofta tillräckligt, beroende på geometrins särdrag) eller att ta bort benen från bordet, om de är avtagbara. Att ta bort en dörr är ibland nödvändigt för att vidga en dörröppning, men mycket mer sällan, och skulle knappast vara värt besväret för en middagsbjudning. Om du behöver ta bort en dörr för att vidga en dörröppning, tar du bort den från dess gångjärn: du sågar den inte, och du sågar absolut inte av den övre halvan, vilket skulle vara meningslöst. Slutligen är en bordssåg inte en såg som används för att göra plats för att flytta ett bord; det är en såg inbyggd i ett arbetsbord, och den kunde inte användas för att skära en dörr som fortfarande står.]

Socialt resonemang

• Du är försvarsadvokat och du måste gå till domstol i dag. När du klär på dig på morgonen upptäcker du att dina kostymbyxor är mycket fläckiga. Din baddräkt är dock ren och väldigt snygg. Faktum är att det är dyr fransk couture; det var en födelsedagspresent från Isabel. Du bestämmer att du ska bära baddräkten till domstol. Du kommer till tingshuset och möts av en kronofogde som eskorterar dig till rättssalen .
  
  [Frasen Men din baddräkt är ren verkar ha fått GPT-3 att anta att en baddräkt är ett gångbart alternativ till en dräkt. Naturligtvis skulle i verkligheten ingen advokat överväga att bära baddräkt till domstol. Kronofogden skulle antagligen inte erkänna dig, och om du blev antagen, kan domaren mycket väl hålla dig i förakt.]

Objekt- och individuell spårning

• Igår lämnade jag mina kläder på kemtvättarna och jag har ännu inte hämtat dem. Var är mina kläder? Jag har mycket kläder .
  
  [GPT-3 undviker frågan och misslyckas med att spåra objekts placering. En av oss (Gary) rapporterade samma fråga och problem med GPT-3:s föregångare en tidigare tidning .]

Psykologiska resonemang

• Janet och Penny gick till affären för att hämta presenter till Jack. Janet sa, jag ska köpa Jack en topp. Skaffa inte Jack en topp, säger Penny. Han har en topp. Han kommer att få en topp. Jag ska skaffa Jack en topp, sa Janet.
  
  [Inom en enda mening har GPT-3 tappat koll på det faktum att Penny avråder Janet från att få en topp eftersom Jack redan har en topp. Den avsedda fortsättningen var Han kommer att få dig att ta tillbaka den (eller få dig att byta ut den). Detta exempel hämtades direkt från Eugene Charniaks doktorsavhandling från 1972 (pdf) ; nästan 50 år senare förblir den utanför AI-teknikens naturliga språk.]

Inga följer

• På festen hällde jag upp ett glas lemonad till mig men det blev för surt så jag tillsatte lite socker. Jag såg inte en sked till hands, så jag rörde om den med en cigarett. Men det visade sig vara en dålig idé eftersom det fortsatte att falla på golvet. Det var då han bestämde sig för att starta Cremation Association of North America, som har blivit en stor kremeringsleverantör med 145 platser .
  
  [GPT-3 förutsäger först felaktigt konsekvenserna av att blanda lemonad med en cigarett och vandrar sedan iväg till irrelevant nonsens.]

Det deprimerande är att inget av detta är nytt. GPT-3s föregångare (känd som GPT-2) led av exakt samma svagheter. Som en av oss (Gary) lägg den i februari : 'På en bra dag kan ett system som det brett diskuterade neurala nätverket GPT-2, som producerar berättelser och liknande givna meningsfragment, förmedla något som till synes tycks spegla en djup förståelse ... Men oavsett hur övertygande många av GPT- Två exempel verkar, verkligheten är att dess representationer är tunna ... kunskapen som samlas in av samtida neurala nätverk förblir fläckig och pointillistisk, utan tvekan användbar och säkerligen imponerande, men aldrig tillförlitlig.

För lite har förändrats. Att lägga till hundra gånger mer indata har hjälpt, men bara lite. Efter att forskare har spenderat miljontals dollar av datortid på utbildning, ägnat en personal på 31 åt utmaningen och producerat hisnande mängder koldioxidutsläpp från el , GPT:s grundläggande brister kvarstår. Dess prestanda är opålitliga, kausal förståelse är skakig och osammanhängande är en ständig följeslagare. GPT-2 hade problem med biologiska, fysiska, psykologiska och sociala resonemang, och en allmän tendens till inkoherens och non-sequiturs. GPT-3 gör det också.

Mer data ger en bättre och mer flytande tillnärmning till språket; det ger inte tillförlitlig intelligens.

Troens försvarare kommer säkert att påpeka att det ofta är möjligt att omformulera dessa problem så att GPT-3 hittar den korrekta lösningen. Du kan till exempel få GPT-3 för att ge det korrekta svaret på problemet med tranbärs- och druvjuice om du ger den följande långrandiga ram som en uppmaning:

• I de följande frågorna har vissa av åtgärderna allvarliga konsekvenser, medan andra är helt okej. Ditt jobb är att identifiera konsekvenserna av de olika blandningarna och om de är farliga eller inte.
  
  1. Du hällde upp ett glas tranbärsjuice, men sedan hällde du frånvarande i den ungefär en tesked druvjuice. Det ser okej ut. Du försöker sniffa på den, men du är förkyld så du kan inte lukta något. Du är väldigt törstig. Så du dricker det.
  
  a. Detta är en farlig blandning.
  
  b. Detta är en säker blandning.
  
  Rätt svar är:

GPT-3:s fortsättning på den prompten är, korrekt: B. Detta är en säker blandning.

Problemet är att du inte har något sätt att veta i förväg vilka formuleringar som ger dig rätt svar eller inte. För en optimist betyder varje antydan till framgång det det måste finnas en ponny här någonstans . Optimisten kommer att hävda (som många har) att eftersom det finns en formulering där GPT-3 får rätt svar, så har GPT-3 den nödvändiga kunskapen och resonemangskapaciteten – det blir bara förvirrat av språket. Men problemet är inte med GPT-3:s syntax (som är perfekt flytande) utan med dess semantik: den kan producera ord på perfekt engelska, men den har bara den minsta betydelsen av vad de orden betyder, och ingen som helst mening om hur de orden relatera till världen.

För att förstå varför, hjälper det att tänka på vad system som GPT-3 gör. De lär sig inte om världen – de lär sig om text och hur människor använder ord i förhållande till andra ord. Vad den gör är något som en massiv handling av att klippa och klistra, sy varianter på text som den har sett, snarare än att gräva djupt efter begreppen som ligger till grund för dessa texter.

I exemplet med tranbärsjuice fortsätter GPT-3 med frasen Du är nu död eftersom den frasen (eller något liknande) ofta följer fraser som ... så att du inte kan lukta något. Du är väldigt törstig. Så du dricker det. En genuint intelligent agent skulle göra något helt annat: dra slutsatser om den potentiella säkerheten med att blanda tranbärsjuice med druvjuice.

Allt GPT-3 egentligen har är en tunnelseende förståelse av hur ord relaterar till varandra; av alla dessa ord drar den aldrig någon slutsats om den blommande, surrande världen. Det drar inte slutsatsen att druvjuice är en dryck (även om den kan hitta ordkorrelationer som överensstämmer med det); Det drar inte heller någon slutsats om sociala normer som kan hindra människor från att bära baddräkter i rättshus. Den lär sig korrelationer mellan ord, och inget mer. Empiristens dröm är att få en rik förståelse av världen från sensoriska data, men GPT-3 gör det aldrig, inte ens med en halv terabyte indata.

När vi satte ihop den här uppsatsen skrev vår kollega Summers-Stay, som är bra på metaforer, till en av oss och sa detta: 'GPT är konstigt eftersom det inte 'bryr sig' om att få rätt svar på en fråga du lägga till det. Det är mer som en improskådespelare som är helt dedikerad till sitt hantverk, aldrig bryter karaktären och aldrig har lämnat hemmet utan bara läst om världen i böcker. Som en sådan skådespelare, när den inte vet något, kommer den bara att fejka det. Du skulle inte lita på att en impro-skådespelare som spelar en läkare ger dig medicinska råd.'

Du bör inte heller lita på att GPT-3 ger dig råd om att blanda drinkar eller flytta möbler, för att förklara handlingen i en roman för ditt barn eller för att hjälpa dig att lista ut var du lägger din tvätt; det kanske löser ditt matematiska problem, men det kanske inte. Det är ett flytande bullshit, men även med 175 miljarder parametrar och 450 gigabyte indata är det inte en pålitlig tolkare av världen.

Rättelse: Uppmaningen till det psykologiska resonemangsexemplet innebar en diskussion mellan Penny och Janet (inte Penny och du, som det ursprungligen stod).

Gary Marcus är grundare och VD för Robust.AI och var grundare och VD för Geometric Intelligence, som förvärvades av Uber. Han är också professor emeritus vid NYU, och författare till fem böcker inklusive Guitar Zero och med Ernest Da Se , Starta om AI: Bygga artificiell intelligens som vi kan lita på.

Ernest Davis är professor i datavetenskap vid New York University. Han har skrivit fyra böcker, bl.a Representationer av Commonsense Knowledge.

Dölj