211service.com
Machine-Learning Algorithm Watches Dance Dance Revolution, skapar sedan sina egna danser
Dance Dance Revolution är ett av de klassiska videospelen från det sena 1900-talet. Ett bevis på dess framgång, nyhet och livslängd är att den fortfarande är populär idag, nästan 20 år sedan lanseringen.
Detta är ett dansspel som består av en skärm och en dansplattform som spelarna styr med fötterna. Plattformen har fyra plattor, som spelare måste röra till musik i den ordning som anges av ett diagram på skärmen. Så spelarna måste dansa till musiken på det sätt som spelet kräver.
Spelet tillåter också spelare att designa och distribuera sina egna danser. Genom åren har människor skapat enorma databaser med danser för ett stort utbud av populära låtar.
Det gav Chris Donahue och kompisar, vid University of California, San Diego, en idé. Varför inte använda denna enorma databas för att träna en djupinlärningsmaskin för att skapa sina egna danser?
Idag visar de hur de har gjort just det. Deras system – kallat Dance Dance Convolution – tar som indata råljudfilerna från poplåtar och producerar dansrutiner som en utgång. Resultatet är en maskin som kan koreografera musik.
Spelet i sig är i princip okomplicerat. När musiken spelas, rör spelaren vid dynorna på dansplattformen i den ordning som visas på skärmen. Varje dyna kan vara i ett av fyra lägen: på, av, håll (eller frys) och släpp. Eftersom de fyra kuddarna kan aktiveras eller släppas oberoende, finns det 256 möjliga stegkombinationer när som helst.
Naturligtvis blir danserna successivt svårare, med de flesta låtar med danser med fem svårighetsgrader. Svårigheten bestäms av hastigheten på de rytmiska underavdelningarna. Spel på nybörjarnivå har steg på kvarts- och åttondelsnoter, men danser med högre svårighetsgrad har steg på 16:e noter och vissa mönster som involverar tolfte och 24:e toner.
Det finns också andra informella regler för att skapa dansdiagram. Kartförfattare strävar efter att undvika mönster som skulle tvinga en spelare att möta sig bort från skärmen, säger Donahue och co. Resultatet är danser med en mängd olika rika strukturer.
Uppgiften att automatisera skapandet av dansdiagram är inte på något sätt enkel. Donahue och co delar upp det i två delar. Den första är att bestämma när steg ska placeras och den andra är att bestämma vilka steg som ska väljas. De tränar sedan en maskininlärningsalgoritm för att lära sig varje uppgift.
Den första uppgiften går ut på att identifiera en uppsättning tidsstämplar i en låt där steg ska placeras. Detta liknar ett väl studerat problem inom musikforskning som kallas för detektering av start. Detta innebär att identifiera viktiga ögonblick i en låt som melodinoter eller trumslag.
Även om inte varje början i våra data motsvarar ett Dance Dance Revolution-steg, motsvarar varje Dance Dance Revolution-steg en början, säger Donahue och co.
När tidsstämplarna för varje steg har identifierats är den andra uppgiften att välja ett steg att ta vid varje ögonblick.
I alla maskininlärningsuppgifter är träningsdatauppsättningen avgörande. Musikforskningen har försvårats tidigare eftersom upphovsrättsfrågor kan förhindra att låtar används i forskning (eller åtminstone förs vidare tillsammans med resultaten).
DDR kommer runt detta eftersom så många dansdiagram har skapats av vanliga användare. Donahue och co säger att ett onlineförråd, kallat Stepmania Online, lagrar över 350 gigabyte med danslistor på mer än 100 000 låtar.
För denna forskning fokuserar teamet på två mindre datamängder bestående av inspelningar plus dansdiagram. Den första innehåller 90 låtar koreograferade av en enda författare, som har producerat listor med fem svårighetsgrader för varje låt. Den andra datamängden innehåller 133 låtar var och en med ett enda dansdiagram.
Teamet ökar sedan datamängden genom att skapa en spegelbild av varje diagram – till exempel genom att byta vänster mot höger och uppåt mot nedåt (eller båda). Resultatet är en datamängd på 35 timmars musik i form av råa ljudfiler med mer än 350 000 steg.
Donahue och co använder sedan 80 procent av musiken för att träna maskininlärningsalgoritmen att känna igen tider för stegplacering. De validerar och testar den resulterande modellen med de återstående 20 procenten av datan. Och de använder liknande proportioner för att träna en annan algoritm för att bestämma stegvalet. Liknande tekniker används i stor utsträckning i maskininlärning för uppgifter, såsom bearbetning av naturliga språk.
Resultaten är imponerande. Våra experiment fastställer möjligheten att använda maskininlärning för att automatiskt generera högkvalitativa DDR-diagram från råljud, säger Donahue och co.
Genom att kombinera insikter från musikalisk detektering och statistisk språkmodellering har vi designat och utvärderat ett antal djupinlärningsmetoder för att lära sig att koreografera, säger de.
Det är underhållande arbete som visar användbarheten av maskininlärning för uppgifter där det finns stora annoterade datamängder. Det visar också att ännu en gång har en annan bastion av mänsklig kreativitet fallit för maskinerna.
Ref: arxiv.org/abs/1703.06891 : Dans Dans Convolution