211service.com
Oculus Rift Hack överför dina ansiktsuttryck till din avatar
Virtuell verklighet är inställd på att få en viktig skvätt social verklighet.
Programvaran kombinerar data från sensorer som spårar de övre och nedre delarna av ansiktet och matchar resultatet till en 3D-modell av ett ansikte.
Forskare vid University of Southern California och Facebooks Oculus-avdelning har visat ett sätt att spåra ansiktsuttrycken hos någon som bär ett virtuell verklighetsheadset och överföra dem till en virtuell karaktär. Det kan ge mycket mer givande umgänge, arbete eller lek i virtuella världar, eftersom uttrycket av en virtuell kroppsdubbel eller en annan världslig avatar perfekt kan efterlikna en persons verkliga ansikte.
Systemet spårar rörelsen i en persons mun med hjälp av en 3D-kamera kopplad till headsetet med en kort bom. Rörelserna i den övre delen av ansiktet mäts med hjälp av töjningsmätare som läggs till skumstoppningen som passar headsetet till ansiktet. Efter att de två datakällorna har kombinerats kan en korrekt 3D-representation av användarens ansiktsrörelser användas för att animera en virtuell karaktär, oavsett om det är en ersatzperson eller något annat än mänskligt (se video).
Det skulle kunna göra att bo och interagera i virtuella världar mer övertygande, säger Hao Li , en biträdande professor vid University of Southern California som ledde projektet. För att få en virtuell social miljö vill man förmedla det här beteendet till andra människor, säger han. Detta är den första ansiktsspårningen som har demonstrerats genom en huvudmonterad display. Li utsågs till en av MIT Technology Review s Young Innovators 2013.
Facebooks vd Mark Zuckerberg har sagt att han är intresserad av att Oculus Rift-headsetet ger nya sätt att umgås, även om han inte har avslöjat några detaljer. Det sociala nätverket förvärvade Oculus förra året (se Vad Zuckerberg ser i Oculus Rift ).
Li säger att Oculus-forskarna arbetade med honom enbart som en forskningsövning, men att det inte skulle vara alltför svårt att polera systemet de kom fram till och göra det till en kommersiell produkt. Om folk tycker att det här är riktigt centralt för viktiga mördarapplikationer skulle man kunna få det i produktion relativt snabbt, säger han.
Det här är riktigt coolt, säger Philip Rosedale, som tidigare grundade Second Life och nu är VD för en virtuell världsstartup som heter Hifi . Företaget arbetar på att möjliggöra realistisk virtuell social interaktion genom att använda webbkameror och annan sensorteknik för att spåra ansiktsuttryck och arm- och handgester (se The Quest to Put More Reality in Virtual Reality ).
Det finns goda bevis för att att få människors avatarer att visa sitt verkliga kroppsspråk hjälper dem att ansluta till andra människor i en virtuell värld, säger Rosedale. Han håller med Li om att det borde vara möjligt att effektivisera första proof of concept. Kameran skulle till exempel kunna integreras på undersidan av headsetet. Ansträngningar från forskare och nystartade företag för att sätta in eyetracking-kameror i virtual reality-headset kan erbjuda ett alternativt sätt att samla in data på den övre delen av ansiktet.
Grundbulten i Lis system är programvara som kan kombinera data från sensorerna som spårar de övre och nedre delarna av ansiktet och matcha resultatet till en 3D-modell av ett ansikte.
För närvarande kräver den programvaran att du går igenom en kort kalibreringsprocess första gången du använder systemet. Först ger du dina ansiktsmuskler ett 10-sekunders träningspass genom att förvränga dem till några olika uttryck samtidigt som du bär ett headset med displaydelen borttagen framför en 3-D-kamera, så att den kan få en full bild av ansiktet. Sedan tar du på dig hela headsetet och ger ansiktet ett träningspass i ytterligare 10 sekunder. Data som samlas in hjälper programvaran att ta reda på hur den korrekt matchar dataströmmarna från ditt övre och nedre ansikte.
Li säger att han arbetar för att eliminera det steget genom att mata sin programvara med mer data på olika ansikten. Han arbetar också med andra tekniker som kan göra det lättare att kopiera ditt riktiga jag till en virtuell värld. Många verktyg har redan utvecklats för att skapa 3D-kopior av människors kroppar och ansikten med hjälp av konventionella och 3D-kameror. Li skapade nyligen ett system som tar itu med den mer utmanande uppgiften att göra en realistisk 3D-återskapning av en persons frisyr. Hans programvara kan bara göra det ett enda foto . Det projektet och den ansiktsspårande forskningen kommer båda att presenteras på Siggraph datorgrafikkonferens i Los Angeles i augusti.