211service.com
Facebooks AI-system kan tala med Bill Gates röst
Bill Gates Jack Taylor / Stringer / Getty
Maskintal är något av en besvikelse. Även de bästa text-till-tal-systemen har en mekanisk kvalitet och saknar de grundläggande förändringar i intonation som människor använder. Stephen Hawkings mycket kopierade talsystem är ett exempel.
Det är något av en överraskning med tanke på de enorma framstegen inom maskininlärning de senaste åren. De tekniker som har fungerat så bra för att känna igen ansikten och föremål och sedan producera realistiska bilder av dem borde säkert fungera lika bra med ljud. Inte riktigt.
Åtminstone inte förrän idag. Ange Sean Vasquez och Mike Lewis på Facebook AI Research, som har hittat ett sätt att övervinna begränsningarna hos text-till-tal-system för att producera anmärkningsvärt verklighetstrogna ljudklipp som genereras helt av maskin. Deras maskin, kallad MelNet, återger inte bara mänsklig intonation utan kan göra det med samma röst som riktiga människor. Så laget tränade det att tala som Bill Gates, bland andra. Verket öppnar möjligheten till mer realistisk interaktion mellan människor och datorer, men det väcker också spöket för en ny era av falskt ljudinnehåll.
Först lite bakgrund. De långsamma framstegen med realistiska text-till-tal-system beror inte på brist på försök. Många team har försökt träna algoritmer för djupinlärning för att reproducera verkliga talmönster med hjälp av stora databaser med ljud.
Problemet med detta tillvägagångssätt, säger Vasquez och Lewis, är med typen av data. Fram till nu har det mesta arbetet fokuserat på ljudvågformsinspelningar. Dessa visar hur ljudets amplitud förändras över tiden, där varje sekund av inspelat ljud består av tiotusentals tidssteg.
Dessa vågformer visar specifika mönster i ett antal olika skalor. Under några sekunders tal, till exempel, reflekterar vågformen de karakteristiska mönstren som är förknippade med ordsekvenser. Men på skalan av mikrosekunder visar vågformen egenskaper som är förknippade med röstens tonhöjd och klang. Och på andra skalor reflekterar vågformen talarens intonation, fonemstrukturen och så vidare.
Ett annat sätt att tänka på dessa mönster är som korrelationer mellan vågformen vid ett tidssteg och vid nästa tidssteg. Så för en given tidsskala är ljudet i början av ett ord korrelerat med de ljud som följer.
System för djupinlärning borde vara bra på att lära sig dessa typer av samband och reproducera dem. Problemet är att korrelationerna verkar över många olika tidsskalor, och djupinlärningssystem kan studera korrelationer över endast begränsade tidsskalor. Det beror på en typ av inlärningsprocess som de använder, kallad backpropagation, som upprepade gånger kopplar om nätverket för att förbättra dess prestanda baserat på de exempel som det ser.
Upprepningsfrekvensen begränsar tidsskalan över vilken korrelationer kan läras. Så ett nätverk för djupinlärning kan lära sig korrelationer i ljudvågformer över långa eller korta tidsskalor, men inte både och. Det är därför de presterar så dåligt på att återge tal.
Vasquez och Lewis har ett annat förhållningssätt. Istället för ljudvågformer använder de spektrogram för att träna sitt nätverk för djupinlärning. Spektrogram registrerar hela spektrumet av ljudfrekvenser och hur de förändras över tiden. Så medan vågformer fångar förändringen över tiden för en parameter, amplitud, fångar spektrogram förändringen över ett stort antal olika frekvenser.
Detta innebär att ljudinformationen packas tätare i denna typ av datarepresentation. Den tidsmässiga axeln för ett spektrogram är storleksordningar mer kompakt än den för en vågform, vilket betyder beroenden som sträcker sig över tiotusentals tidssteg i vågformer bara sträcker sig över hundratals tidssteg i spektrogram, säger Vasquez och Lewis.
Det gör korrelationerna mer tillgängliga för ett system för djupinlärning. Detta gör det möjligt för våra spektrogrammodeller att generera ovillkorliga tal- och musikprover med konsistens under flera sekunder, säger de.
Och resultaten är imponerande. Efter att ha tränat systemet med vanligt tal från TED-talk, kan MelNet sedan återge TED-talarens röst som säger mer eller mindre vad som helst under några sekunder. Facebookforskarna visar sin flexibilitet genom att använda Bill Gates TED-talk för att träna MelNet och sedan använda sin röst för att säga en rad slumpmässiga fraser.
Det här är systemspråket Vi rynkar pannan när händelserna tar en dålig vändning och Port är ett starkt vin med en rökig smak. Andra exempel finns här.
Vi rynkar pannan när händelserna tar en dålig vändning
portvin är ett starkt vin med en rökig smak
Det finns vissa begränsningar såklart. Vanligt tal innehåller korrelationer över ännu längre tidsskalor. Till exempel använder människor förändringar i intonation för att indikera förändringar i ämne eller humör när berättelser utvecklas under tiotals sekunder eller minuter. Facebooks maskin verkar ännu inte vara kapabel till det.
Så även om MelNet kan skapa anmärkningsvärt verklighetstrogna fraser, har teamet ännu inte fulländat längre meningar, stycken eller hela berättelser. Det verkar inte vara ett mål som sannolikt kommer att nås snart.
Ändå kan arbetet ha en betydande inverkan på interaktion mellan människa och dator. Många samtal involverar bara korta fraser. Särskilt telefonoperatörer och helpdesk kan klara sig med en rad relativt korta fraser. Så den här tekniken kan automatisera dessa interaktioner på ett sätt som är mycket mer mänskligt än nuvarande system.
För tillfället är Vasquez och Lewis dock fåniga om potentiella tillämpningar.
Och som alltid finns det potentiella problem med naturligt klingande maskiner, särskilt de som kan efterlikna människor på ett tillförlitligt sätt. Det krävs inte mycket fantasi för att föreställa scenarier där denna teknik kan användas för bus. Och av den anledningen är det ännu ett AI-relaterat framsteg som väcker fler etiska frågor än det besvarar.
Ref: arxiv.org/abs/1906.01083 : MelNet: En generativ modell för ljud i frekvensdomänen