211service.com
Blandade meningar visar att AI:er fortfarande inte riktigt förstår språk
Ms Tech | Unsplash / Brett Jordan
Många AI:er som verkar förstå språk och som får bättre resultat än människor på en vanlig uppsättning förståelseuppgifter märker inte när orden i en mening blandas ihop, vilket visar att de förstår inte språk alls . Problemet ligger i hur system för bearbetning av naturligt språk (NLP) tränas; det pekar också på ett sätt att göra dem bättre.
Relaterad berättelse
Sättet vi tränar AI på är i grunden felaktigt Processen som används för att bygga de flesta maskininlärningsmodeller vi använder idag kan inte säga om de kommer att fungera i den verkliga världen eller inte – och det är ett problem.Forskare vid Auburn University i Alabama och Adobe Research upptäckte felet när de försökte få ett NLP-system att generera förklaringar till dess beteende, som varför det påstod att olika meningar betydde samma sak. När de testade sitt tillvägagångssätt insåg de att blandade ord i en mening inte gjorde någon skillnad för förklaringarna. Det här är ett generellt problem för alla NLP-modeller, säger Anh Nguyen vid Auburn University, som ledde arbetet.
Teamet tittade på flera toppmoderna NLP-system baserade på BERT (en språkmodell utvecklad av Google som stödjer många av de senaste systemen, inklusive GPT-3). Alla dessa system får bättre resultat än människor LIM (General Language Understanding Evaluation), en standarduppsättning uppgifter som är utformade för att testa språkförståelse, som att hitta parafraser, bedöma om en mening uttrycker positiva eller negativa känslor och verbala resonemang.
Man biter hund: De fann att dessa system inte kunde avgöra när ord i en mening blandades ihop, även när den nya ordningen ändrade innebörden. Till exempel upptäckte systemen korrekt att meningarna Orsakar marijuana cancer? och hur kan rökning av marijuana ge dig lungcancer? var omskrivningar. Men de var ännu mer säkra på att Du röker cancer hur marijuana lunga kan ge? och Lung kan ge marijuana rökning hur du cancer? menade samma sak också. Systemen beslutade också att meningar med motsatt betydelse—som Kan marijuana orsaka cancer? och orsakar cancer marijuana? – ställde samma fråga.
Den enda uppgift där ordföljd spelade roll var en där modellerna var tvungna att kontrollera den grammatiska strukturen i en mening. Annars ändrades inte mellan 75 % och 90 % av de testade systemens svar när orden blandades.
Vad är det som händer? Modellerna verkar fånga upp några nyckelord i en mening, oavsett vilken ordning de kommer i. De förstår inte språket som vi gör, och GLUE – ett mycket populärt riktmärke – mäter inte sann språkanvändning. I många fall tvingar den uppgift en modell tränas på den inte att bry sig om ordföljd eller syntax i allmänhet. Med andra ord, GLUE lär NLP-modeller att hoppa genom bågar.
Många forskare har börjat använda en hårdare uppsättning tester som kallas SuperGLUE, men Nguyen misstänker att det kommer att ha liknande problem.
Det här problemet har också identifierats av Yoshua Bengio och kollegor, som upptäckte det ordna om orden i en konversation ibland inte ändrade svaren chatbots gjorde. Och ett team från Facebook AI Research hittade exempel på att detta händer med kinesiska . Nguyens team visar att problemet är utbrett.
Spelar det någon roll? Det beror på applikationen. Å ena sidan skulle en AI som fortfarande förstår när du gör ett stavfel eller säger något förvrängt, som en annan människa kunde, vara användbar. Men i allmänhet är ordföljd avgörande när man tar bort en menings betydelse.
fixa det hur? Den goda nyheten är att det kanske inte är så svårt att fixa. Forskarna fann att att tvinga en modell att fokusera på ordföljd, genom att träna den att utföra en uppgift där ordföljd spelade roll (som att upptäcka grammatiska fel), också gjorde att modellen presterade bättre på andra uppgifter. Detta tyder på att att justera uppgifterna som modellerna är utbildade för att göra kommer att göra dem bättre överlag.
Nguyens resultat är ännu ett exempel på hur modeller kommer ofta långt ifrån vad folk tror att de är kapabla till. Han tycker att det belyser hur svårt det är att göra AI:er som förstår och resonerar som människor . Ingen har en aning, säger han.