Området för naturlig språkbehandling jagar fel mål

Ms Tech | Unsplash

Vid ett typiskt årsmöte i Föreningen för beräkningslingvistik (ACL), programmet är en parad av titlar som En strukturerad variationsautokodare för kontextuell morfologisk böjning. Samma tekniska smak genomsyrar tidningarna, forskningssamtalen och många korridorchattar.

På årets konferens i juli kändes något annorlunda – och det var inte bara det virtuella formatet. Deltagarnas samtal var ovanligt inåtvända om kärnmetoderna och målen för bearbetning av naturligt språk (NLP), grenen av AI som fokuserade på att skapa system som analyserar eller genererar mänskligt språk. Papper i årets nya Temaspår ställde frågor som: Är nuvarande metoder verkligen tillräckligt för att uppnå fältets slutmål? Vad är det till och med dessa mål?

Jag och mina kollegor kl Elementär kognition , ett AI-forskningsföretag baserat i Connecticut och New York, ser ångesten som motiverad. Faktum är att vi tror att området behöver en omvandling, inte bara i systemdesign, utan i ett mindre glamoröst område: utvärdering.

Den nuvarande NLP-tidsandan uppstod från ett halvt decennium av stadiga förbättringar under standardutvärderingsparadigmet. Systems förmåga att förstå har i allmänhet mätts på referensdatauppsättningar bestående av tusentals frågor, var och en åtföljd av passager som innehåller svaret. När djupa neurala nätverk svepte över fältet i mitten av 2010-talet, gav de ett kvantsprång i prestanda. Efterföljande arbetsomgångar fortsatte att öka poängen allt närmare 100 % (eller åtminstone paritet med människor).

Så forskare skulle publicera nya datamängder av även knepigare frågor , bara för att se ännu större neurala nätverk snabbt lägga upp imponerande resultat. Mycket av dagens läsförståelseforskning innebär noggrant tweaking av modeller för att få ut ytterligare några procentenheter på de senaste datamängderna. State of the art har praktiskt taget blivit ett egennamn: We beat SOTA on Trupp med 2,4 poäng!

Men många människor i de fält börjar bli trötta på att jaga topplistan. Vad har världen egentligen vunnit om ett massivt neuralt nätverk uppnår SOTA på något riktmärke med en punkt eller två? Det är inte som om någon bryr sig om att svara på dessa frågor för sin egen skull; att vinna topplistan är en akademisk övning som kanske inte gör verkliga verktyg bättre. Faktum är att många uppenbara förbättringar kommer inte från allmänna förståelseförmågor, utan från modellers extraordinära skicklighet på utnyttjar oäkta mönster i datan. Omsätts de senaste framstegen verkligen i att hjälpa människor att lösa problem?

Sådana tvivel är mer än abstrakt irritation; huruvida systemen verkligen är skickliga på språkförståelse har verkliga insatser för samhället. Naturligtvis innebär förståelse en bred samling av färdigheter. För enklare applikationer – som att hämta Wikipedia fakta eller bedöma känslan i produktrecensioner – moderna metoder mår ganska bra . Men när människor föreställer sig datorer som förstår språk, föreställer de sig mycket mer sofistikerade beteenden: juridiska verktyg som hjälper människor att analysera sina problem; forskningsassistenter som syntetiserar information från hela webben; robotar eller spelkaraktärer som utför detaljerade instruktioner.

Dagens modeller är inte i närheten av att uppnå den nivån av förståelse – och det är inte klart att ännu ett SOTA-dokument kommer att föra fältet närmare.

Hur hamnade NLP-gemenskapen med en sådan klyfta mellan utvärderingar på papper och den verkliga förmågan? I en ACL positionspapper , mina kollegor och jag hävdar att i strävan att nå svåra riktmärken har utvärderingar tappat de verkliga målen ur sikte: de sofistikerade nedströmsapplikationerna. För att låna en rad från tidningen har NLP-forskarna tränat för att bli professionella sprinters genom att titta runt på gymmet och anamma alla övningar som ser svåra ut.

För att få utvärderingar mer i linje med målen hjälper det att överväga vad som håller tillbaka dagens system.

En människa som läser en passage kommer att bygga en detaljerad representation av enheter, platser, händelser och deras relationer – en mental modell av världen som beskrivs i texten. Läsaren kan sedan fylla i saknade detaljer i modellen, extrapolera en scen framåt eller bakåt, eller till och med göra en hypotes om kontrafaktiska alternativ.

Den här typen av modellering och resonemang är precis vad automatiserade forskningsassistenter eller spelkaraktärer måste göra – och det saknas påtagligt i dagens system. En NLP-forskare kan vanligtvis stoppa ett toppmodernt läsförståelsesystem inom några få försök. Ett pålitlig teknik är att undersöka systemets modell av världen, som kan lämna till och med den mycket balllyhootade GPT-3 babblande om cykloptiska grässtrån.

Att genomsyra automatiserade läsare med världsmodeller kommer att kräva stora innovationer inom systemdesign, som diskuteras i flera Tema-spår inlagor . Men vårt argument är mer grundläggande: hur system än implementeras, om de behöver ha trogna världsmodeller, bör utvärderingar systematiskt testa om de har trogna världsmodeller.

Så hårt sagt, det kan låta självklart, men det görs sällan. Forskargrupper som Allen Institute for AI ha föreslagen andra sätt att förstärka utvärderingarna, som att rikta in sig på olika språkliga strukturer, ställa frågor som bygger på flera resonemangssteg, eller till och med bara aggregering många riktmärken . Andra forskare, som t.ex Yejin Choi s grupp vid University of Washington, har fokuserat på testning allmänning känsla , som drar in aspekter av en världsmodell. Sådana ansträngningar är användbara, men de fokuserar i allmänhet fortfarande på att sammanställa frågor som dagens system har svårt att svara på.

Vi föreslår ett mer grundläggande skifte: för att konstruera mer meningsfulla utvärderingar bör NLP-forskare börja med att noggrant specificera vad ett systems världsmodell ska innehålla för att vara användbar för nedströmsapplikationer. Vi kallar en sådan redogörelse en mall för förståelse.

En särskilt lovande testbädd för detta tillvägagångssätt är fiktiva berättelser. Originalberättelser är informationsrika, oGooglebara och centrala för många applikationer, vilket gör dem till ett idealiskt test av läsförståelse. Utifrån kognitionsvetenskaplig litteratur om mänskliga läsare, vår VD David Ferrucci har föreslagit en fyrdelad mall för att testa ett AI-systems förmåga att förstå berättelser.

• Rumslig: Var finns allt och hur placeras det genom hela berättelsen?
• Temporär: Vilka händelser inträffar och när?
• Orsak: Hur leder händelser mekanistiskt till andra händelser?
• Motiverande: Varför bestämmer karaktärerna sig för att vidta de åtgärder de vidtar?

Genom att systematiskt ställa dessa frågor om alla entiteter och händelser i en berättelse, kan NLP-forskare bedöma systemens förståelse på ett principiellt sätt och söka efter de världsmodeller som system faktiskt behöver.

Det är uppmuntrande att se NLP-gemenskapen reflektera över vad som saknas i dagens teknologier. Vi hoppas att detta tänkande kommer att leda till betydande investeringar, inte bara i nya algoritmer, utan i nya och mer rigorösa sätt att mäta maskinernas förståelse. Sådant arbete kanske inte skapar så många rubriker, men vi misstänker att investeringar på detta område kommer att driva fältet framåt minst lika mycket som nästa gigantiska modell.

Jesse Dunietz är forskare vid Elementär kognition , där han arbetar med att utveckla rigorösa utvärderingar för läsförståelsesystem. Han är också en pedagogisk designer för MIT Kommunikationslab och a vetenskapsskribent .

Dölj