Facebooks nya polyglot AI kan översätta mellan 100 språk

Edurne Chopeitia / Unsplash

Nyheterna: Facebook är öppen källkod en ny AI-språkmodell som heter M2M-100 som kan översätta mellan vilket par som helst bland 100 språk. Av de 4 450 möjliga språkkombinationerna översätts 1 100 av dem direkt. Detta till skillnad från tidigare flerspråkiga modeller, som i hög grad förlitar sig på engelska som mellanliggande. En översättning från kinesiska till franska, till exempel, går vanligtvis från kinesiska till engelska och sedan engelska till franska, vilket ökar risken för att det uppstår fel.

Datakurering: Modellen tränades på 7,5 miljarder meningspar. För att sammanställa en så stor datamängd förlitade sig forskarna mycket på automatiserad kurering. De använde webbsökrobotar för att skrapa bort miljarder meningar från nätet och lät en annan språkmodell som heter FastText identifiera språket. (De använde ingen Facebook-data.) Sedan använde de ett program som heter LASER 2.0, som tidigare utvecklats av Facebooks AI-forskningslabb, som använder oövervakad inlärning – maskininlärning som inte kräver manuellt märkt data – för att matcha meningar mellan olika språk genom att deras mening.

LASER 2.0 skapar vad som kallas inbäddningar från stora, ostrukturerade datamängder av meningar. Den tränar på de tillgängliga meningsexemplen inom varje språk och kartlägger deras relationer till varandra baserat på hur ofta och hur nära varandra de används. Dessa inbäddningar hjälper maskininlärningsmodellen att uppskatta betydelsen av varje mening, vilket sedan gör att LASER 2.0 automatiskt kan koppla ihop meningar som delar samma betydelse på olika språk.

Parningsspråk: Forskarna fokuserade på de språkkombinationer som de trodde var vanligast efterfrågade. De grupperade språk efter språkliga, geografiska och kulturella likheter, med antagandet att människor som bor i samma region skulle kommunicera oftare. En språkgrupp inkluderade till exempel de vanligaste språken som talas i Indien, inklusive bengali, hindi, tamil och urdu. LASER 2.0 riktade sedan sin sökning efter meningspar på alla möjliga språkpar inom varje grupp.

Pågående utmaningar: Språk som talas på platser som Afrika och Sydostasien lider fortfarande av översättningskvalitetsproblem eftersom för lite språkdata är tillgänglig för att skrapas bort från webben, säger Angela Fan, den ledande forskaren i projektet. Med tanke på beroendet av webbdata måste forskarna också ta reda på tekniker för att identifiera och utrota all inbäddad sexism, rasism och andra diskriminerande fördomar. Just nu har forskarna använt ett svordomsfilter för att rensa upp ett särskilt grovt språk, men det är mestadels begränsat till engelska.

Endast forskning: Facebook har inga aktuella planer på att använda modellen i sina produkter. M2M-100 är endast avsedd för forskningsändamål, säger Fan. Men i slutändan är målet att modellen ska förbättra och utöka Facebooks befintliga översättningsmöjligheter. Applikationer kan inkludera användarkommunikation (till exempel funktionen som låter människor översätta inlägg till sitt modersmål) och kanske innehållsmoderering.

Dölj