Baidu har ett nytt knep för att lära AI betydelsen av språk

Boktryckstecken MS Tech / Källa: Unsplash

Tidigare denna månad avsatte en kinesisk teknikjätte Microsoft och Google i tysthet i en pågående tävling inom AI. Företaget var Baidu, Kinas närmaste motsvarighet till Google, och tävlingen var General Language Understanding Evaluation, även känd som GLUE.

GLUE är ett allmänt accepterat riktmärke för hur väl ett AI-system förstår mänskligt språk. Den består av nio olika tester för saker som att plocka ut namnen på personer och organisationer i en mening och ta reda på vad ett pronomen som det refererar till när det finns flera potentiella föregångare. En språkmodell som ger höga poäng på GLUE kan därför hantera olika läsförståelseuppgifter. Av ett fullpoäng på 100 får genomsnittspersonen poäng runt 87 poäng . Baidu är nu det första laget att överträffa 90 med sin modell, ERNIE.

De offentlig topplista för GLUE förändras hela tiden, och ett annat lag kommer sannolikt att toppa Baidu snart. Men det som är anmärkningsvärt med Baidus prestation är att det illustrerar hur AI-forskning drar nytta av en mångfald av bidragsgivare. Baidus forskare var tvungna att utveckla en teknik specifikt för det kinesiska språket för att bygga ERNIE (som står för Enhanced Representation through Knowledge IntEgration). Det råkar dock råka ut för att samma teknik gör den bättre på att förstå engelska också.

ERNIEs föregångare

För att uppskatta ERNIE, överväg modellen som den inspirerades av: Googles BERT . (Ja, de är båda uppkallade efter Sesam tecken .)

Innan BERT (Bidirectional Encoder Representations from Transformers) skapades i slutet av 2018, var modellerna med naturliga språk inte så bra. De var duktiga på att förutsäga nästa ord i en mening – därför väl lämpade för applikationer som Autocomplete – men de kunde inte hålla ut en enda tankegång över ens en liten passage. Detta berodde på att de inte förstod betydelsen, till exempel vad ordet det kan syfta på.

Men BERT ändrade på det. Tidigare modeller lärde sig att förutsäga och tolka betydelsen av ett ord genom att bara beakta sammanhanget som förekom eller efter det – aldrig båda samtidigt. De var med andra ord enkelriktad .

BERT, däremot, överväger sammanhanget innan och efter ett ord på en gång, gör det dubbelriktad . Den gör detta med en teknik som kallas maskering. I ett givet textavsnitt döljer BERT slumpmässigt 15 % av orden och försöker sedan förutsäga dem från de återstående. Detta gör att den kan göra mer exakta förutsägelser eftersom den har dubbelt så många ledtrådar att arbeta utifrån. I meningen Mannen gick till ___ för att köpa mjölk, till exempel ger både början och slutet av meningen ledtrådar till det saknade ordet. ___ är ett ställe du kan gå till och ett ställe där du kan köpa mjölk.

Användningen av maskering är en av kärninnovationerna bakom dramatiska förbättringar i naturliga språkuppgifter och är en del av anledningen till att modeller som OpenAI:s ökända GPT-2 kan skriva extremt övertygande prosa utan att avvika från en central tes.

Från engelska till kinesiska och tillbaka igen

När Baidu-forskare började utveckla sin egen språkmodell ville de bygga vidare på maskeringstekniken. Men de insåg att de behövde justera det för att passa det kinesiska språket.

På engelska fungerar ordet som den semantiska enheten – vilket betyder att ett ord som har dragits ur sitt sammanhang fortfarande innehåller betydelse. Detsamma kan inte sägas om tecken på kinesiska. Även om vissa karaktärer har inneboende betydelse, som eld (火, huŏ ), vatten (vatten, shuĭ ), eller trä (木, blind ), de flesta gör det inte förrän de är uppträdda med andra. Karaktären 灵 ( lyng ), till exempel, kan antingen betyda smart (机灵, jīlíng ) eller själ (själ, línghún ), beroende på dess matchning. Och karaktärerna i ett egennamn som Boston (波士顿, bōshìdùn ) eller USA (USA, mixer ) betyder inte samma sak en gång delat isär.

Så forskarna tränade ERNIE på en ny version av maskering som döljer strängar av tecken snarare än enstaka. De tränade den också att skilja mellan meningsfulla och slumpmässiga strängar så att den kunde maskera rätt teckenkombinationer därefter. Som ett resultat har ERNIE ett större grepp om hur ord kodar information på kinesiska och är mycket mer exakt på att förutsäga de saknade bitarna. Detta visar sig vara användbart för applikationer som översättning och informationshämtning från ett textdokument.

Forskarna upptäckte mycket snabbt att detta tillvägagångssätt faktiskt fungerar bättre för engelska också. Även om det inte är lika ofta som kinesiska, har engelska på samma sätt strängar av ord som uttrycker en mening som skiljer sig från summan av deras delar. Egennamn som Harry Potter och uttryck som chip off det gamla blocket kan inte tolkas meningsfullt genom att dela upp dem i enskilda ord.

Så för meningen:

Harry Potter är en serie fantasyromaner skrivna av J.K. Rowling.

BERT kan maskera det på följande sätt:

[mask] Potter är en serie [mask] fantasyromaner [mask] av J. [mask] Rowling.

Men ERNIE skulle istället maskera det så här:

Harry Potter är [mask] [mask] [mask] fantasyromaner av [mask] [mask] [mask].

ERNIE lär sig alltså mer robusta förutsägelser baserade på betydelse snarare än statistiska ordanvändningsmönster.

En mångfald av idéer

Den senaste versionen av ERNIE använder också flera andra träningstekniker. Den tar hänsyn till ordningen av meningar och avstånden mellan dem, till exempel för att förstå den logiska utvecklingen av ett stycke. Viktigast är dock att den använder en metod som kallas kontinuerlig träning som gör att den kan träna på ny data och nya uppgifter utan att den glömmer bort dem den lärt sig tidigare. Detta gör att den kan bli bättre och bättre på att utföra ett brett spektrum av uppgifter över tiden med minimal mänsklig inblandning.

Baidu använder ERNIE aktivt för att ge användarna mer tillämpliga sökresultat, ta bort dubbletter av berättelser i sitt nyhetsflöde och förbättra sin AI-assistent Xiao Dus förmåga att svara på förfrågningar korrekt. Den har också beskrivit ERNIEs senaste arkitektur i ett papper som kommer att presenteras på konferensen Association for the Advancement of Artificial Intelligence nästa år. På samma sätt som deras team byggde på Googles arbete med BERT, hoppas forskarna att andra också kommer att dra nytta av deras arbete med ERNIE.

När vi började det här arbetet tänkte vi specifikt på vissa egenskaper hos det kinesiska språket, säger Hao Tian, ​​chefsarkitekten för Baidu Research. Men vi upptäckte snabbt att det var applicerbart utöver det.

För att få fler berättelser som denna levererade direkt till din inkorg, registrera dig för vårt Webby-nominerade AI-nyhetsbrev The Algorithm. Det är gratis.

Dölj