211service.com
Att lösa tungvridande problem med talanimering
Motion Capture är en mycket använd teknik för att registrera människokroppens rörelser. Faktum är att tekniken har blivit allestädes närvarande inom områden som idrottsvetenskap, där den används för att analysera rörelser och gång, såväl som i filmanimationer och spel, där den används för att styra datorgenererade avatarer.
Som ett resultat finns det en hel bransch för att analysera rörelser på detta sätt, tillsammans med billig, färdig utrustning och mjukvara för att fånga och hantera data. Det finns en enorm gemenskap av producenter och konsumenter av motion capture, otaliga databaser och stockanimationsresurser och ett rikt ekosystem av proprietära och öppen källkodsprogram för att manipulera dem, säger Ingmar Steiner vid Saarlands universitet i Tyskland och några kompisar.
En av funktionerna i motion capture-världen är att en de facto-standard, känd som BioVision Hierarchy eller BVH, har dykt upp för kodning av kroppsrörelsedata. BVH har överlevt företaget som skapade det och får nu brett stöd, förmodligen för att det är enkelt och klart definierat, enkelt att implementera och läsbart för människor, säger Steiner och co.
Men medan BVH används för att koda data från nästan alla tänkbara former av rörelsefångst, finns det ett undantag – tungartikulering under tal. Om du har tyckt att talanimering i spelkaraktärer ser dålig ut, är det anledningen.
Detta tillstånd har inte kommit till på grund av brist på data eller teknikerna för att producera dem. Tvärtom, forskare har använt realtids-MRI och elektromagnetisk avbildningsteknik för att spela in tungans artikulation under en tid nu. Dessa tekniker producerar faktiskt animationer i betydligt högre upplösning än vad som normalt används i till exempel filmer och spel.
Problemet är att dessa tekniker registrerar data i ett helt annat format än vad som konventionellt används och ingen har kommit runt till jobbet att konvertera det till ett vanligare format som BVH. Det gör talanalys tekniskt utmanande att genomföra och nästan omöjlig att enkelt inkludera i andra medier
Allt detta förändras idag, tack vare Steiner och cos arbete. De här killarna har utarbetat hur man konverterar högupplöst tungdata till BVH-format, genom att kombinera data från flera källor samtidigt.
De har demonstrerat det nya tillvägagångssättet på en standarddatabas med befintliga tungartikulationsinspelningar. Dessa inkluderar realtids-MR, tandskanning och elektromagnetisk inspelning som fångar rörelse genom att placera ledande spolar på olika delar av tungan och skallen för referens, och mäta hur dessa interagerar med ett elektromagnetiskt fält när de rör sig.
Resultaten är animeringar som genereras från högupplösta data som kan hanteras av mer eller mindre vilken motion capture-mjukvara som helst och, framför allt, med ett tillräckligt litet fotavtryck för att inkluderas i realtidsvisualiserings- och kontrolltekniker.
Steiner och co är snabba med att påpeka att begränsningarna i deras tillvägagångssätt. Denna teknik är inte på något sätt avsedd att ge en exakt modell av tungans former eller rörelser, som tidigare arbete med biomekaniska modeller gör, säger de. Snarare är fördelen här den lätta implementeringen ... där realistisk animering är viktigare än att matcha den verkliga formen på tungan.
Det kommer att vara användbart för film- och spelindustrin där bra talanimering är anmärkningsvärd genom sin frånvaro. Så det ser ut att förändras. Håll utkik efter bättre talanimering i virtuella karaktärer och animationer inom en inte alltför avlägsen framtid.
Ref: arxiv.org/abs/1310.8585 : Talanimering med elektromagnetisk artikulografi som rörelsefångningsdata