Lingvistikens genombrott förebådar maskinöversättning för tusentals sällsynta språk

Den bästa gissningen är att människor för närvarande talar cirka 6 900 olika språk. Mer än hälften av världens befolkning kommunicerar med bara en handfull av dem – kinesiska, engelska, hindi, spanska och ryska. Faktum är att 95 procent av människorna kommunicerar på bara 100 språk.

De andra argotarna är mycket mindre vanliga. Språkforskare uppskattar faktiskt att ungefär en tredjedel av världens språk talas av färre än 1 000 människor och riskerar att dö ut under de närmaste 100 åren eller så. Med dem kommer det unika kulturarvet som de förkroppsligar – berättelser, fraser, skämt, naturläkemedel och till och med unika känslor.

Det är lätt att tro att maskininlärning kan hjälpa. Problemet är att maskinöversättning förlitar sig på enorma annoterade datamängder för att utföra sin handel. Dessa datamängder består av stora korpus av böcker, artiklar och webbplatser som har översatts manuellt till andra språk. Detta fungerar som en Rosetta-sten för maskininlärningsalgoritmer, och ju större datamängd desto bättre lär de sig.

En karta som visar hur förflutnas indikatorer klusterar sig för 100 av de undersökta språken.

Men dessa enorma datamängder finns helt enkelt inte för de flesta språk. Det är därför som maskinöversättning bara fungerar för en liten bråkdel av de vanligaste språken. Google Translate, till exempel, talar bara cirka 90 språk.

Så en viktig utmaning för lingvister är att hitta ett sätt att automatiskt analysera mindre vanliga språk för att bättre förstå dem.

Idag säger Ehsaneddin Asgari och Hinrich Schutze vid Ludwig-Maximilian University of München i Tyskland att de har gjort just det. Deras nya tillvägagångssätt avslöjar viktiga delar av nästan alla språk som sedan kan användas som ett språngbräda för maskinöversättning.

Den nya tekniken bygger på en enda text som har översatts till minst 2 000 olika språk. Detta är Bibeln, och lingvister har länge insett dess betydelse i deras disciplin.

Följaktligen har de skapat en databas som heter Parallel Bible Corpus, som består av översättningar av Nya testamentet på 1 169 språk. Den här datamängden är inte tillräckligt stor för den typ av industriell maskininlärning som Google och andra utför. Så Asgari och Schutze har kommit på ett annat tillvägagångssätt baserat på hur tider uppträder på olika språk.

De flesta språk använder specifika ord eller bokstavskombinationer för att beteckna tider. Så det nya tricket är att manuellt identifiera dessa signaler på flera språk och sedan använda datautvinningstekniker för att leta igenom andra översättningar och leta efter ord eller bokstäver som spelar samma roll.

Till exempel, på engelska betecknas presens av ordet is, framtidsformen med ordet will, och pretenstiden med ordet var. Naturligtvis finns det andra tecken också.

Asgari och Schutzes idé är att hitta alla dessa ord i den engelska översättningen av Bibeln tillsammans med andra exempel från en handfull andra språköversättningar. Leta sedan efter ord eller bokstäversträngar som spelar samma roll på andra språk. Till exempel, bokstavssträngen -ed betecknar även dåtid på engelska.

Men det finns en twist. Asgari och Schutze börjar inte med engelska eftersom det är ett relativt gammalt språk med många undantag från regeln, vilket gör det svårt att lära sig.

Istället börjar de med en uppsättning kreolspråk som har utvecklats från en blandning av andra språk. Eftersom de är yngre har kreolska språk haft mindre tid på sig att utveckla dessa språkliga egenheter. Och det betyder att de generellt sett innehåller bättre markörer för språkliga egenskaper som spänd. Vår motivering är att kreolspråk är mer regelbundna än andra språk eftersom de är unga och inte har samlat på sig 'historiskt bagage' som kan göra beräkningsanalys svårare, säger de.

Ett av dessa språk är Seychelles Creole, som använder ordet ti för att beteckna preteritum. Till exempel betyder mon travay att jag arbetar på det här språket, medan mon ti travay betyder att jag arbetade och mon ti pe travay betyder att jag arbetade. Så ti är ett bra tecken på dåtid.

Asgari och Schutze sammanställer en lista över förflutnas betecknare på 10 andra språk och bryter sedan Parallell Bible Corpus för andra ord och bokstavssträngar som har samma funktion. De upprepar detta för nutid och framtida tid.

Resultaten ger intressant läsning. Tekniken avslöjar lingvistiska konstruktioner relaterade till tid i vanliga språk som -ed på engelska och -te på tyska, såväl som de ord och fraser som utför samma funktioner på mycket mindre vanliga språk som förfluten tid signifier den i Gourmanchema språk från Burkino Faso, och yi i Yalunka, talat i Mali, och så vidare.

Detta arbete gör det möjligt för forskarna att skapa kartor som visar hur språk som använder liknande tempuskonstruktioner är relaterade (se diagram).

Det är intressant arbete. Asgari och Schutze har utvecklat en beräkningsmetod för att analysera hur människor använder dåtid, nutid och framtida tid på över 1 000 språk. Detta är den största beräkningsstudie på flera språk som någonsin genomförts. Faktum är att antalet inblandade språk är en storleksordning större än i andra studier.

Verket har betydande tillämpning. De språkspända kartorna gör att forskarna snabbt kan räkna ut relationerna mellan språk och hur de hänger ihop. Det skulle kunna användas för att bättre förstå språkets utveckling.

Och samma tillvägagångssätt skulle också kunna användas för andra språkliga drag. Vi kräver bara att ett språkligt särdrag är tydligt markerat på några få tusentals språk i motsats till att det måste markeras på alla språk som undersöks, säger Asgari och Schutze.

Konsekvenserna sträcker sig längre. Beräkningslingvistik har haft en djupgående inverkan på vår förståelse av språk, hur det varierar runt om i världen och hur maskiner kan förstå det. Denna framväxande disciplin har gjort det möjligt att automatiskt översätta många språk direkt till andra i skriftlig och talad form. Faktum är att löftet är att omedelbar maskinöversättning snart kommer att matcha och sedan överträffa förmågan hos mänskliga tolkar.

Men användbarheten av maskinöversättning för vissa språk gör dem mer populära på bekostnad av språk som inte tillgodoses. Det är därför maskinöversättning kan påskynda utrotningen av hotade språk.

Språkvetare har faktiskt sett ett liknande fenomen med andra former av masskommunikation, såsom satellit-TV-tjänster. Dessa sänder i allmänhet på ett enda språk, vilket då blir mer önskvärt och populärt än språk som inte sänds.

Asgari och Schutzes arbete kan hjälpa till att vända detta mönster av nedgång. Naturligtvis är det ett stort steg från detta arbete till korrekt maskinöversättning, men det är ett steg i rätt riktning.

Ref: arxiv.org/abs/1704.08914 : Förflutna, nutid, framtid: En beräkningsundersökning av typologin för spänning på 1 000 språk

Dölj