Varför GPT-3 är det bästa och sämsta av AI just nu

Open AI:s språk AI imponerade allmänheten med sin uppenbara behärskning av engelska – men är allt en illusion?





Sierra och Lenny

  • Will Douglas Heaven arkivsida
24 februari 2021


  • Varför det är viktigt:

    Stora datormodeller som lär sig naturligt språk är ett stort steg mot AI som kan förstå och interagera med den mänskliga världen.


  • Nyckelspelare:

    • OpenAI



    • Google

    • Facebook


  • Tillgänglighet:

    Nu

GPT-3 har fångat allmänhetens fantasi till skillnad från någon AI sedan DeepMinds AlphaGo eller IBMs schackspelande DeepBlue.

Byggd av OpenAI , ett forskningslabb baserat i San Francisco, är det en stor språkmodell —en algoritm som använder djupinlärning, tränad på texten i tusentals böcker och större delen av internet, för att sätta ihop ord och fraser. När den lanserades 2020 verkade dess förmåga att efterlikna mänskligt skriven text med kuslig realism för många som en milstolpe på vägen mot verklig maskinintelligens.

Framstegsfrågan

Den här historien var en del av vårt marsnummer 2021



  • Se resten av frågan
  • Prenumerera

Här är en exempel på vad den kan göra . Delen i kursiv stil var uppmaningen från en människa.

—

jag Efter ett chockerande fynd upptäckte forskare en flock enhörningar som bodde i en avlägsen, tidigare outforskad dal i Anderna. Ännu mer överraskande för forskarna var det faktum att enhörningarna talade perfekt engelska. De visade sig också ha perfekt kapat hår och bar vad som såg ut att vara Dior-smink.



Vi blev chockade när vi upptäckte enhörningarna, sa antropologen Daniel St. Maurice. De var som ingenting vi någonsin sett förut. Vi hade hört legender om enhörningarna, men trodde aldrig att de faktiskt existerade.

När forskarna först anlände till dalen blev enhörningarna förvånade och förskräckta av närvaron av människor, men var också upphetsade. Enhörningarna välkomnade forskarna och förklarade att de hade väntat på dem väldigt länge.

2021

10 banbrytande teknologier

Som du kan se kan GPT-3 producera komplexa meningar som läses som om de kunde ha producerats av en människa. Exempelmeningarna inkluderar kulturella referenser och en trovärdig redogörelse för hur forskarna skulle reagera. Maskiner som kan använda språket på detta sätt är viktiga av flera anledningar. Språket är avgörande för att förstå den vardagliga världen: människor använder det för att kommunicera, för att dela idéer och beskriva koncept. En AI som behärskar språket skulle få en bättre förståelse av världen i processen.

Stora språkmodeller har många praktiska användningsområden också . De driver bättre chatbots som håller mer flytande konversationer; de kan generera artiklar och berättelser om vad som helst, givet en uppmaning; de kan sammanfatta textstycken eller svara på frågor om dem. Tillgång till GPT-3 är endast genom inbjudan, men folk har redan använt det för att driva dussintals appar , från ett verktyg som genererar startidéer till ett AI-skriptat äventyrsspel som utspelar sig i en fängelsehåla.

GPT-3 är inte den enda stora språkmodellen som dyker upp 2020. Microsoft, Google och Facebook tillkännagav alla sina egna. Men GPT-3 var den överlägset bästa generalisten. Och det ger intrycket att det kan skriva vad som helst: fanfiction, filosofisk polemik och till och med kod. När folk började prova GPT-3 själva förra sommaren, översvämmade tusentals exempel på dess mångsidighet sociala medier. diskussioner fick till och med gnistor om huruvida GPT-3 var den första artificiella allmänna intelligensen.

Det är inte. Trots de oerhört övertygande textavsnitten som den kan strömma ut, gör GPT-3 inget riktigt nytt. Vad det istället visar är att storlek kan vara allt. För att bygga GPT-3 använde OpenAI mer eller mindre samma tillvägagångssätt och algoritmer som den använde för sitt äldre syskon, GPT-2 , men det överdimensionerade både det neurala nätverket och träningsuppsättningen. GPT-3 har 175 miljarder parametrar – värdena i ett nätverk som justeras under träning – jämfört med GPT-2:s 1,5 miljarder. Den tränades också på mycket mer data.

Innan GPT-2 tog utbildningen av en språkmodell med hjälp av djupinlärning vanligtvis två pass: den tränades på en allmän datamängd för att ge den en grundläggande förståelse av språket och tränades sedan på en mindre uppsättning inriktad på en specifik uppgift, som t.ex. förståelse eller översättning. GPT-2 visade att du kunde få bra resultat över hela linjen med bara ett pass om du kastade fler exempel på en större modell. Så med GPT-3 fördubblades OpenAI och gjorde den största språkmodellen någonsin.

Resultaten som fångade allas uppmärksamhet var dock ofta körsbärsplockade. GPT-3 upprepar eller motsäger sig ofta i textstycken som är mer än några hundra ord långa. Det kommer ut med tjut. GPT-3 döljer sin dumhet bakom en silvertunga, men det tar vanligtvis några gånger för att få den att generera något som inte visar sprickorna.

Relaterad berättelse

OpenAI:s nya språkgenerator GPT-3 är chockerande bra – och helt sinneslös

AI är den största språkmodellen som någonsin skapats och kan generera fantastisk människoliknande text på begäran men kommer inte att föra oss närmare sann intelligens.

GPT-3:s förmågor gör det också svårt att ignorera AI:s växande problem. Dess enorma strömförbrukning är dåliga nyheter för klimatet: forskare vid Köpenhamns universitet i Danmark uppskatta att träning av GPT-3 skulle ha haft ungefär samma koldioxidavtryck som att köra bil sträckan till månen och tillbaka, om den hade tränats i ett datacenter fullt drivs av fossila bränslen. Och kostnaderna för sådan utbildning – som av vissa experter uppskattas till minst 10 miljoner USD i GPT-3:s fall – visar den senaste forskningen utom räckhåll för alla utom de rikaste labben .

OpenAI rapporterar att träning av GPT-3 förbrukade flera tusen petaflop/s-dagars datorkraft. En petaflop/s-dag är en enhet för energiförbrukning som består av att utföra 1015 – det är tusen biljoner, eller en kvadriljon – neurala nätverksberäkningar per sekund under en dag. Som jämförelse konsumerade GPT-2 bara tiotals petaflop/s-dagar.

Ännu ett problem är att GPT-3 suger upp mycket av den desinformation och fördomar som den hittar på nätet och reproducerar den på begäran. Som laget som byggde det sa i papper som beskriver tekniken : internettränade modeller har fördomar i internetskala.

Den mänskliga faner som GPT-3 ger maskingenererad text gör den lätt att lita på. Detta har fått en del att hävda att GPT-3 och alla mänskliga språkmodeller bör komma med en säkerhetsvarning, en Användare-varning-dekal, som uppmärksammar människor att de chattar med programvara och inte en människa.

För några månader sedan släppte någon en GPT-3-driven bot på Reddit , där den postade hundratals kommentarer och interagerade med dussintals användare under flera dagar innan den avslöjades. Mycket av dess verksamhet var ofarlig. Men boten svarade också på kommentarer om självmordstankar och gav personliga råd som nämnde föräldrarnas stöd.

Trots alla dessa problem är GPT-3 en vinst för dem som tror att större är bättre. Sådana modeller visar att datorkraft och data kommer dig långt, och vi kan förvänta oss mer av båda i framtiden. Hur kan en GPT-4 se ut? Vi kan förvänta oss att chatbots blir snyggare, bättre på att sätta ihop längre stycken av sammanhängande text, med en ännu bredare behärskning av samtalsämnen.

Men språket är bara ett sätt att förstå och interagera med världen. Nästa generations språkmodeller kommer att integrera andra färdigheter, som bildigenkänning. OpenAI tar redan GPT-3 i denna riktning med AI:er som använder språk för att förstå bilder och bilder för att förstå språk.

Om du vill veta tillståndet för djupinlärning idag, titta på GPT-3. Det är ett mikrokosmos av det bästa och sämsta inom AI.