Deep Learning Machine löser Cocktailparty-problemet

Cocktailpartyeffekten är möjligheten att fokusera på en specifik mänsklig röst samtidigt som man filtrerar bort andra röster eller bakgrundsljud. Den lätthet med vilken människor utför detta trick motsäger utmaningen som forskare och ingenjörer har ställts inför i att reproducera det syntetiskt. I stort sett överträffar människor lätt de bästa automatiserade metoderna för att peka ut röster.

Ett särskilt utmanande cocktailparty-problem är inom musikområdet, där människor lätt kan koncentrera sig på en sångröst överlagd på en musikalisk bakgrund som inkluderar ett brett utbud av instrument. Som jämförelse är maskiner dåliga på denna uppgift.

Idag ser det ut att förändras tack vare Andrew Simpsons och kompisars arbete vid University of Surrey i Storbritannien. Dessa killar har använt några av de senaste framstegen i samband med djupa neurala nätverk för att separera mänskliga röster från bakgrunden i ett brett spektrum av sånger.

Deras tillvägagångssätt visar de enorma framsteg som har gjorts de senaste åren inom maskininlärning och neurala nätverk. Och det banar väg för en mer generell lösning på det berömda cocktailpartyproblemet som borde göra att bland annat sången lätt kan separeras från musiken de ackompanjerar.

Metoden dessa killar använder är relativt okomplicerad. De börjar med en databas med 63 låtar som är tillgängliga som en uppsättning individuella spår som var och en innehåller ett annat instrument eller röst, såväl som den helt mixade versionen av låten.

Simpson och co delar upp varje spår i 20-sekunders segment och skapar ett spektrogram för varje som visar hur frekvenserna i ljudet varierar över tiden. Resultatet är ett slags unikt fingeravtryck som identifierar instrumentet eller rösten.

De skapar också ett spektrogram av den helt blandade versionen av låten. Detta är i huvudsak alla komponentspektrogrammen adderade.

Uppgiften att välja ut en röst från denna blandning är i huvudsak uppgiften att separera röstens unika spektrogram från de andra spektrogrammen som finns.

Simpson och co tränade sitt djupa konvolutionella neurala nätverk för att göra exakt det. De använde 50 av dessa låtar för att träna nätverket samtidigt som de behöll de återstående 13 för att testa det på. Totalt genererade det mer än 20 000 spektrogram för träningsändamål.

Uppgiften för det neurala nätverket var enkel. Som en ingång gav de det det helt blandade spektrogrammet och förväntade sig att det i huvudsak skulle producera sångspektrogrammet som utdata.

Uppgiften i denna typ av maskininlärning är en parameteroptimering. Deras djupa neurala nätverk har en miljard parametrar som måste ställas in på ett sätt som ger önskad utdata.

Denna process av optimering – eller inlärning – sker genom iteration. Så nätverket börjar med dessa parametrar inställda slumpmässigt och förbättrar sedan gradvis inställningarna varje gång det skannar genom databasen, vilket det gjorde över hundra iterationer.

Efter att ha hittat ett bra setup för nätverket gav Simpson och co det de 13 låtarna som de inte hade sett tidigare för att testa hur väl det kunde skilja sången från mixen.

Resultaten visade sig vara imponerande. Dessa resultat visar att en konvolutionell syn på djupt neurala nätverk är kapabel att generalisera röstseparation, lärd i ett musikaliskt sammanhang, till nya musikaliska sammanhang, säger teamet.

Simpson och co jämförde till och med sina resultat med de från en konventionell cocktailpartyalgoritm som tillämpades på samma data. Den största fördelen med det djupa neurala nätverket verkar vara i dess allmänna inlärning av vad 'vokala' ljud är, säger de.

Med andra ord, efter att ha lärt sig hur en röst låter, kan ett djupt neuralt nätverk använda denna information för att välja ut andra röster från en mix. Men hur bra detta tillvägagångssätt är jämfört med mänskliga prestationer, säger de inte.

En omedelbar tillämpning är att producera musikspår minus sång för karaokemaskiner. Det är helt klart ett … errr … viktigt mål men det finns också bredare konsekvenser.

Djupa neurala nätverk revolutionerar maskininlärning inom en lång rad områden. Tills nyligen hade människor en tydlig dominans i mönsterigenkänningsuppgifter som ansiktsigenkänning och objektigenkänning. Det försprånget har minskat avsevärt och i vissa fall tappats helt.

Nu spelar maskinerna ikapp när det gäller cocktailpartyproblem och bara en dåre skulle satsa på att de skulle triumfera inom en inte alltför avlägsen framtid.

Ref: arxiv.org/abs/1504.04658 : Deep Karaoke: Extrahera sång från musikaliska blandningar med hjälp av ett konvolutionellt Deep Neural Network

Dölj