AI har fortfarande inte sunt förnuft för att förstå mänskligt språk

Suddig skrift på väggen Pexels / Jimmy Chan

Tills ganska nyligen var datorer hopplösa på att producera meningar som faktiskt var vettiga. Men området för bearbetning av naturligt språk (NLP) har tagit stora framsteg, och maskiner kan nu skapa övertygande passager med en knapptryckning.

Dessa framsteg har drivits av djupinlärningstekniker, som plockar ut statistiska mönster i ordanvändning och argumentstruktur från stora mängder text. Men a nytt papper från Allen Institute of Artificial Intelligence uppmärksammar något som fortfarande saknas: maskiner förstår inte riktigt vad de skriver (eller läser).

Detta är en grundläggande utmaning i den stora strävan efter generaliserbar AI – men bortom akademin är det också relevant för konsumenter. Chatbots och röstassistenter byggda på toppmoderna naturliga språkmodeller har till exempel blivit gränssnittet för många finansiella institut , vårdgivare , och statliga myndigheter . Utan en genuin språkförståelse är dessa system mer benägna att misslyckas, vilket fördröjer tillgången till viktiga tjänster.

Forskarna byggde på arbetet med Winograd Schema Challenge , ett test som skapades 2011 för att utvärdera sunt förnuftsresonemang hos NLP-system. Utmaningen använder en uppsättning av 273 frågor som involverar meningspar som är identiska förutom ett ord. Det ordet, känt som en utlösare, vänder på betydelsen av varje menings pronomen, som visas i exemplet nedan:

• Trofén får inte plats i den bruna resväskan pga dess för stor .
• Trofén får inte plats i den bruna resväskan pga dess för små .

För att lyckas måste ett NLP-system ta reda på vilket av två alternativ pronomenet refererar till. I det här fallet skulle den behöva välja trofé för den första och resväska för den andra för att korrekt lösa problemet.

Testet designades ursprungligen med tanken att sådana problem inte kunde besvaras utan ett djupare grepp om semantik. Toppmoderna djupinlärningsmodeller kan nu nå cirka 90 % noggrannhet, så det verkar som om NLP har kommit närmare sitt mål. Men i deras papper, som kommer att få utmärkelsen Outstanding Paper Award vid nästa månads AAAI-konferens, utmanar forskarna effektiviteten av riktmärket och därmed nivån på framsteg som fältet faktiskt har gjort.

De skapade en betydligt större datamängd, kallad WinoGrande, med 44 000 av samma typer av problem. För att göra det designade de ett crowdsourcing-schema för att snabbt skapa och validera nya meningspar. (En del av anledningen till att Winograd-datauppsättningen är så liten är att den tillverkades för hand av experter.) Arbetare på Amazon Mechanical Turk skapade nya meningar med obligatoriska ord valda genom en randomiseringsprocedur. Varje meningspar gavs sedan till ytterligare tre arbetare och behölls endast om det uppfyllde tre kriterier: minst två arbetare valde de korrekta svaren, alla tre ansåg att alternativen var entydiga och pronomens referenser kunde inte härledas genom enkla ordassociationer.

Som ett sista steg körde forskarna också datamängden genom en algoritm för att ta bort så många artefakter som möjligt - oavsiktliga datamönster eller korrelationer som kan hjälpa en språkmodell att komma fram till rätt svar av fel anledningar. Detta minskade chansen att en modell kunde lära sig att spela datamängden.

När de testade toppmoderna modeller på dessa nya problem sjönk prestandan till mellan 59,4 % och 79,1 %. Däremot nådde människor fortfarande 94% noggrannhet. Detta betyder att en hög poäng på det ursprungliga Winograd-testet sannolikt är uppblåst. Det är bara en datamängdsspecifik prestation, inte en allmän uppgiftsprestation, säger Yejin Choi, docent vid University of Washington och senior forskningschef vid AI2, som ledde forskningen.

Choi hoppas att datamängden kommer att fungera som ett nytt riktmärke. Men hon hoppas också att det ska inspirera fler forskare att se bortom djupt lärande. Resultaten betonade för henne att äkta sunt förnuft NLP-system måste införliva andra tekniker, såsom strukturerade kunskapsmodeller. Henne tidigare arbete har visat betydande lovande i denna riktning. Vi måste på något sätt hitta en annan spelplan, säger hon.

Tidningen har fått en del kritik. Ernest Davis, en av forskarna som arbetade med den ursprungliga Winograd-utmaningen, säger att många av exempelmeningsparen som listas i tidningen är allvarligt felaktiga, med förvirrande grammatik. De stämmer inte överens med hur människor som talar engelska faktiskt använder pronomen, skrev han i ett mejl.

Men Choi noterar att riktigt robusta modeller inte behöver perfekt grammatik för att förstå en mening. Människor som talar engelska som andraspråk blandar ibland ihop sin grammatik men förmedlar ändå sin mening.

Människor kan lätt förstå vad våra frågor handlar om och välja rätt svar, säger hon och syftar på 94 % prestandaprestandan. Om människor skulle kunna göra det, är min ståndpunkt att maskiner också ska kunna göra det.

För att få fler berättelser som denna levererade direkt till din inkorg, registrera dig för vårt Webby-nominerade AI-nyhetsbrev The Algorithm. Det är gratis.

Dölj