Googles AI kan nu översätta ditt tal samtidigt som du behåller din röst

En bild av FN:s generalsekreterare Ban Ki-moon som lyssnar på en översättningsenhet EMILIO MORENATTI / AP

Lyssna på detta spanska ljudklipp.

Så här kan den engelska översättningen låta när den används i ett traditionellt automatiskt översättningssystem.

Nu är det så här det låter när det sätts genom Googles nya automatiska översättningssystem.

Resultaten är inte perfekta, men du kan höra hur Googles översättare kunde behålla rösten och tonen från den ursprungliga högtalaren. Den kan göra detta eftersom den konverterar ljudingång direkt till ljudutgång utan några mellanliggande steg . Däremot konverterar traditionella översättningssystem ljud till text, översätter texten och syntetiserar sedan om ljudet, vilket förlorar egenskaperna hos den ursprungliga rösten på vägen.

Det nya systemet, kallat Translatotron, har tre komponenter, som alla tittar på högtalarens ljudspektrogram - en visuell ögonblicksbild av de frekvenser som används när ljudet spelas, ofta kallat ett röstavtryck. Den första komponenten använder ett neuralt nätverk som är tränat för att mappa ljudspektrogrammet i inmatningsspråket till ljudspektrogrammet i utmatningsspråket. Den andra omvandlar spektrogrammet till en ljudvåg som kan spelas. Den tredje komponenten kan sedan lägga tillbaka den ursprungliga högtalarens röstegenskaper i den slutliga ljudutgången.

Detta tillvägagångssätt ger inte bara mer nyanserade översättningar genom att behålla viktiga ickeverbala ledtrådar, utan i teorin borde det också minimera översättningsfel, eftersom det reducerar uppgiften till färre steg.

Translatotron är för närvarande ett proof of concept. Under testningen testade forskarna systemet endast med översättning från spanska till engelska, vilket redan krävde en hel del noggrant kurerad träningsdata. Men ljudutgångar som klippet ovan visar potentialen för ett kommersiellt system senare. Du kan lyssna på fler av dem här .

Dölj