Tekniken bakom OpenAI:s skönlitterära AI, som skriver ut falska nyheter, förklarade

Ordbubblor som visar början av science fiction-berättelsen och en dator som fortsätter berättelsen Ms. Tech

I torsdags (14 februari) släppte det ideella forskningsföretaget OpenAI en ny språkmodell kapabel att generera övertygande stycken av prosa. Så övertygande , i själva verket att forskarna har avstått från öppen källkod, i hopp om att stoppa dess potentiella beväpning som ett sätt att massproducera falska nyheter.

En OpenAI-anställd skrev ut detta AI-skrivna prov och postade det i papperskorgen: https://t.co/PT8CMSU2AR pic.twitter.com/PuXEzxL7Xd

— Greg Brockman (@gdb) 14 februari 2019

Även om de imponerande resultaten är ett anmärkningsvärt steg bortom vad befintliga språkmodeller har uppnått, är tekniken inte helt ny. Istället drevs genombrottet främst av att mata algoritmen allt mer träningsdata – ett trick som också har varit ansvarigt för de flesta av de andra senaste framstegen när det gäller att lära AI att läsa och skriva. Det är lite överraskande människor när det gäller vad du kan göra med [...] mer data och större modeller, säger Percy Liang, professor i datavetenskap vid Stanford.

De textstycken som modellen producerar är tillräckligt bra för att utkläda sig till något mänskligt skrivet. Men den här förmågan ska inte förväxlas med en genuin förståelse av språk - det slutliga målet för underområdet för AI som kallas naturlig språkbehandling (NLP). (Det finns en analog i datorseende: en algoritm kan syntetisera mycket realistiska bilder utan någon sann visuell förståelse.) Faktum är att få maskiner till den nivån av förståelse en uppgift som till stor del har undgått NLP-forskare. Det målet kan ta år, till och med årtionden, att uppnå, antar Liang, och kommer sannolikt att involvera tekniker som ännu inte existerar.

Fyra olika språkfilosofier driver för närvarande utvecklingen av NLP-tekniker. Låt oss börja med den som används av OpenAI.

#1. Distributionssemantik

Språkfilosofi. Ord får betydelse från hur de används. Till exempel är orden katt och hund besläktade i betydelse eftersom de används mer eller mindre på samma sätt. Du kan mata och klappa en katt, och du matar och klappar en hund. Du kan dock inte mata och klappa en apelsin.

Relaterad berättelse

Relaterad berättelse Matad med miljarder ord skapar den här algoritmen övertygande artiklar och visar hur AI kan användas för att lura människor i stor skala.

Hur det översätts till NLP. Algoritmer baserade på distributionssemantik har till stor del varit ansvariga för de senaste genombrotten inom NLP . De använder maskininlärning för att bearbeta text, hitta mönster genom att i huvudsak räkna hur ofta och hur nära ord används i förhållande till varandra. De resulterande modellerna kan sedan använda dessa mönster för att konstruera kompletta meningar eller stycken och driva saker som autokomplettering eller andra prediktiva textsystem. På senare år har vissa forskare också börjat experimentera med att titta på fördelningen av slumpmässiga teckensekvenser snarare än ord, så modeller kan mer flexibelt hantera akronymer, skiljetecken, slang och annat som inte förekommer i ordboken, samt språk som inte har tydliga avgränsningar mellan ord.

Fördelar. Dessa algoritmer är flexibla och skalbara, eftersom de kan tillämpas i alla sammanhang och lära av omärkta data.

Nackdelar. Modellerna de producerar förstår faktiskt inte meningarna de konstruerar. I slutet av dagen skriver de prosa med hjälp av ordassociationer.

#2. Ram semantik

Språkfilosofi. Språk används för att beskriva handlingar och händelser, så meningar kan delas in i subjekt, verb och modifierare— vem , Vad , var , och när .

Hur det översätts till NLP. Algoritmer baserade på ramsemantik använder en uppsättning regler eller massor av märkt träningsdata för att lära sig att dekonstruera meningar. Detta gör dem särskilt bra på att analysera enkla kommandon – och därmed användbara för chatbotar eller röstassistenter. Om du till exempel bad Alexa att hitta en restaurang med fyra stjärnor för morgondagen, skulle en sådan algoritm ta reda på hur man verkställer meningen genom att dela upp den i handlingen (hitta), Vad (restaurang med fyra stjärnor), och när (i morgon).

Fördelar. Till skillnad från distributionssemantiska algoritmer, som inte förstår texten de lär sig av, kan ramsemantiska algoritmer särskilja de olika informationsbitarna i en mening. Dessa kan användas för att svara på frågor som När äger denna händelse rum?

Nackdelar. Dessa algoritmer kan bara hantera mycket enkla meningar och lyckas därför inte fånga nyanser. Eftersom de kräver mycket kontextspecifik utbildning är de inte heller flexibla.

#3. Modellteoretisk semantik

Språkfilosofi. Språket används för att förmedla mänsklig kunskap.

Hur det översätts till NLP. Modellteoretisk semantik bygger på en gammal idé inom AI att all mänsklig kunskap kan kodas, eller modelleras , i en serie logiska regler. Så om du vet att fåglar kan flyga, och örnar är fåglar, så kan du dra slutsatsen att örnar kan flyga. Detta tillvägagångssätt är inte längre på modet eftersom forskare snart insåg att det fanns för många undantag från varje regel (pingviner är till exempel fåglar men kan inte flyga). Men algoritmer baserade på modellteoretisk semantik är fortfarande användbara för att extrahera information från kunskapsmodeller, som databaser. Liksom ram-semantiska algoritmer analyserar de meningar genom att dekonstruera dem i delar. Men medan ramsemantik definierar dessa delar som vem , Vad , var , och när , modellteoretisk semantik definierar dem som de logiska regler som kodar kunskap. Tänk till exempel på frågan Vilken är den största staden i Europa efter befolkning? En modellteoretisk algoritm skulle dela upp den i en serie fristående frågor: Vilka är alla städer i världen? Vilka finns i Europa? Vilken befolkning har städerna? Vilken befolkning är störst? Den skulle då kunna gå igenom kunskapsmodellen för att få ditt slutliga svar.

Fördelar. Dessa algoritmer ger maskiner möjligheten att svara på komplexa och nyanserade frågor.

Nackdelar. De kräver en kunskapsmodell som är tidskrävande att bygga och är inte flexibla i olika sammanhang.

#4. Grundad semantik

Språkfilosofi. Språk får mening från levd erfarenhet. Med andra ord, människor skapade språk för att uppnå sina mål, så det måste förstås inom ramen för vår målinriktade värld.

Hur det översätts till NLP. Detta är det nyaste tillvägagångssättet och det som Liang tycker håller mest lovande. Den försöker efterlikna hur människor tar upp språk under sitt liv: maskinen börjar med ett tomt tillstånd och lär sig att associera ord med rätt betydelser genom samtal och interaktion. I ett enkelt exempel, om du ville lära en dator hur man flyttar runt objekt i en virtuell värld, skulle du ge den ett kommando som Flytta det röda blocket till vänster och sedan visa det vad du menade. Med tiden skulle maskinen lära sig att förstå och utföra kommandona utan hjälp.

Fördelar. I teorin bör dessa algoritmer vara mycket flexibla och komma närmast en genuin språkförståelse.

Nackdelar. Undervisningen är mycket tidskrävande – och alla ord och fraser är inte lika lätta att illustrera som Flytta det röda blocket.

På kort sikt, tror Liang, kommer NLP-området att se mycket större framsteg från att utnyttja befintliga tekniker, särskilt de som är baserade på distributionssemantik. Men på längre sikt, menar han, har de alla gränser. Det finns förmodligen en kvalitativ klyfta mellan hur människor förstår språk och uppfattar världen och våra nuvarande modeller, säger han. Att täppa till det gapet skulle förmodligen kräva ett nytt sätt att tänka, tillägger han, samt mycket mer tid.

Detta dök ursprungligen upp i vårt AI-nyhetsbrev The Algorithm. För att få det direkt levererat till din inkorg, registrera dig här gratis.

Dölj