King – Man + Woman = Queen: The Marvelous Mathematics of Computational Linguistics

Beräkningslingvistik har dramatiskt förändrat hur forskare studerar och förstår språk. Förmågan att siffra enorma mängder ord för första gången har lett till helt nya sätt att tänka om ord och deras relation till varandra.

Denna sifferknas visar exakt hur ofta ett ord förekommer nära andra ord, en viktig faktor för hur de används. Så ordet OS kan förekomma nära ord som att springa, hoppa och kasta men mindre ofta bredvid ord som elektron eller stegosaurus. Denna uppsättning relationer kan ses som en flerdimensionell vektor som beskriver hur ordet Olympics används inom ett språk, som i sig kan ses som ett vektorrum.

Och däri ligger denna enorma förändring. Denna nya metod gör att språk kan behandlas som vektorrum med exakta matematiska egenskaper. Nu börjar språkstudier bli ett problem inom vektorrumsmatematiken.

Idag utforskar Timothy Baldwin vid University of Melbourne i Australien och några kompisar en av de märkliga matematiska egenskaperna hos denna vektorrymd: att addera och subtrahera vektorer producerar en annan vektor i samma utrymme.

Frågan de tar upp är denna: vad betyder dessa sammansatta vektorer? Och när de utforskar denna fråga finner de att skillnaden mellan vektorer är ett kraftfullt verktyg för att studera språk och förhållandet mellan ord.

Först lite bakgrund. Det enklaste sättet att tänka på ord och hur de kan adderas och subtraheras som vektorer är med ett exempel. Den mest kända är följande: kung – man + kvinna = drottning. Med andra ord, att lägga till vektorerna som är associerade med orden kung och kvinna medan du subtraherar man är lika med vektorn som är associerad med drottning . Detta beskriver ett könsförhållande.

Ett annat exempel är: Paris – Frankrike + Polen = Warszawa. I det här fallet är vektorskillnaden mellan Paris och Frankrike fångar begreppet huvudstad.

Baldwin och co frågar hur tillförlitligt detta tillvägagångssätt kan vara och hur långt det kan tas. För att göra detta jämför de hur vektorrelationer förändras beroende på korpusen av studerade ord. Fungerar till exempel samma vektorrelationer i korpusen av ord från Wikipedia som i korpusen av ord från Google News eller Reuters English newswire?

För att ta reda på det tittar de på vektorerna förknippade med ett antal välkända samband mellan klasser av ord. Dessa inkluderar förhållandet mellan en enhet och dess delar, till exempel flygplan och cockpit; en handling och föremålet den involverar, såsom jakt och rådjur; ett substantiv och dess samlingssubstantiv sådan myra och armé. De inkluderar också en rad grammatiska länkar – ett substantiv och dess plural, som hund och hundar, ett verb och dess förflutna tid, som vet och visste; och ett verb och dess tredje person plural såsom acceptera och acceptera.

Resultaten ger intressant läsning. Baldwin och co säger att vektorsummorna som fångas i dessa relationer i allmänhet bildar täta kluster i vektorutrymmena som är associerade med varje korpus.

Det finns dock några intressanta extremvärden där ord har mer än en betydelse och så har tvetydiga representationer i dessa vektorrum. Exempel i tredje person plural kluster inkluderar studera och studier, springa och springa, öka och öka, alla ord som kan vara substantiv och verb, vilket förvränger deras vektorer i dessa utrymmen.

Det är intressant arbete som går längs denna nya väg i studiet av ord och deras relationer till varandra. Den här artikeln är den första som testar generaliserbarheten av vektorskillnadsmetoden över ett brett spektrum av lexikaliska relationer, säger de.

En viktig fråga som Baldwin och co försummar är hur denna bättre förståelse kan användas i den verkliga världen. Ett uppenbart svar är att hjälpa maskiner att förstå mänskligt språk. En annan är att hjälpa till med språköversättning.

Det är värt att notera att en av pionjärerna och drivkrafterna inom detta område är Google och dess maskinöversättningsteam. Dessa killar har upptäckt att en vektorrelation som visas på engelska i allmänhet också fungerar på spanska, tyska, vietnamesiska och faktiskt alla språk.

Det är så Google gör sin maskinöversättning. I huvudsak betraktar den en mening som ekvivalent på två språk om dess position i vektorrymden för var och en är densamma. Genom detta tillvägagångssätt är dess traditionella betydelse nästan irrelevant.

Men på grund av språkets idiosynkratiska natur finns det många undantag. Det är dessa som orsakar problemen för maskinöversättningsalgoritmer.

Så att hitta sätt att upptäcka oklarheterna kan vara ett användbart sätt att rätta till dessa problem.

Ref: arxiv.org/abs/1509.01692 : Ta och tog, Gaggla och Gås, Boka och Läs: Utvärdera nyttan av vektorskillnader för lexikal relationsinlärning

Dölj