211service.com
Mänskliga översättare är fortfarande på topp – för nu
Du kanske har missat sprängandet av champagnekorkar och skuren av tejp, men de senaste månaderna har datorlingvister börjat hävda att neural maskinöversättning nu matchar mänskliga översättares prestanda.
Tekniken att använda ett neuralt nätverk för att översätta text från ett språk till ett annat har förbättrats med stormsteg under de senaste åren, tack vare de pågående genombrotten inom maskininlärning och artificiell intelligens. Så det är egentligen inte en överraskning att maskiner har närmat sig människors prestanda. Faktum är att beräkningslingvister har bra bevis för att stödja detta påstående.
Men idag säger Samuel Laubli vid universitetet i Zürich och ett par kollegor att champagnen borde läggas på is igen. De ifrågasätter inte sina kollegors resultat men säger att testprotokollet inte tar hänsyn till hur människor läser hela dokument. När detta bedöms ligger maskiner betydligt efter människan, säger de.
Frågan är hur maskinöversättning ska utvärderas. Detta görs för närvarande på två mått: adekvathet och flyt. Lämpligheten av en översättning bestäms av professionella mänskliga översättare som läser både originaltexten och översättningen för att se hur väl den uttrycker källans betydelse. Flytande bedöms av enspråkiga läsare som bara ser översättningen och avgör hur väl den uttrycks på engelska.
Beräkningslingvister är överens om att detta system ger användbara betyg. Men enligt Laubli och co jämför det nuvarande protokollet endast översättningar på meningsnivå, medan människor också utvärderar text på dokumentnivå.
Så de har utvecklat ett nytt protokoll för att jämföra prestanda för maskinöversättare och mänskliga översättare på dokumentnivå. De bad professionella översättare att bedöma hur väl maskiner och människor översatte över 100 nyhetsartiklar skrivna på kinesiska till engelska. Examinatorerna bedömde varje översättning för adekvathet och flyt på meningsnivå men, avgörande också på nivån för hela dokumentet.
Resultaten ger intressant läsning. Till att börja med fann Laubli och co ingen signifikant skillnad i hur professionella översättare bedömde lämpligheten hos maskin- och människoöversatta meningar. Genom detta mått är människor och maskiner lika bra översättare, vilket är i linje med tidigare rön.
Men när det gäller att utvärdera hela dokumentet bedöms mänskliga översättningar som mer adekvata och mer flytande än maskinöversättningar. Mänskliga bedömare som bedömer lämplighet och flyt visar en starkare preferens för mänsklig översättning framför maskinöversättning när de utvärderar dokument jämfört med isolerade meningar, säger de.
Forskarna tror sig veta varför. Vi antar att utvärdering på dokumentnivå avslöjar fel som felöversättning av ett tvetydigt ord eller fel relaterade till textuell sammanhållning och koherens, som fortfarande är svåra eller omöjliga att upptäcka i en meningsnivåutvärdering, säger de.
Teamet ger till exempel exemplet på en ny app som heter 微信挪 车, som människor konsekvent översätter som WeChat Move the Car men som maskiner ofta översätter på flera olika sätt i samma artikel. Maskiner översätter den här frasen som Twitter Move Car, WeChat mobile och WeChat Move. Denna typ av inkonsekvens, säger Laubli och co, gör dokument svårare att följa.
Detta tyder på att sättet som maskinöversättning utvärderas måste utvecklas bort från ett system där maskiner betraktar varje mening isolerat.
När kvaliteten på maskinöversättningen förbättras kommer översättningar att bli svårare att särskilja när det gäller kvalitet, och det kan vara dags att gå över till utvärdering på dokumentnivå, vilket ger bedömarna mer sammanhang för att förstå originaltexten och dess översättning, och även avslöjar översättningsfel relaterade till att diskutera fenomen som förblir osynliga i en utvärdering på meningsnivå, säger Laubli och co.
Den förändringen borde hjälpa maskinöversättningen att förbättras. Vilket betyder att den fortfarande är inställd på att överträffa mänsklig översättning - bara inte ännu.
Ref: arxiv.org/abs/1808.07048 : Har maskinöversättning uppnått mänsklig paritet? Ett fall för utvärdering på dokumentnivå