211service.com
Nvidias Eye-Tracking-teknik kan revolutionera den virtuella verkligheten
Titta på en klocka på en vägg i närheten. Fokuspunkten för din blick ska vara i fokus, medan scenen dygnet runt är suddig, som om din hjärna skisserar din omgivning, eller, i datorgrafiktermer, återger en lågupplöst version av scenen.
Nvidia använder samma knep för att rendera virtuell verklighet, och det kan bidra till att förbättra realismen i virtuella världar avsevärt. Genom att fokusera grafikåtergivningskraften på ett mindre område är det möjligt att skärpa bilden som en person ser avsevärt.
Leonardo da Vinci var den första personen att lägga märke till detta visuella fenomen, kallat foveal vision, på 1400-talet. David Luebke , tillsammans med fyra andra forskare på Nvidia, har ägnat de senaste nio månaderna åt att efterlikna principen i VR genom att helt återge endast det specifika området där en spelare tittar och lämna resten av scenen med en mycket lägre upplösning.
Denna virtuella scen renderades med hjälp av Nvidias foveal vision-metod, som spårar fokus för användarens blick och suddar ut perifera syn runt den.
När spelaren som använder Nvidia-systemet fokuserar på ett nytt område av scenen, flyttar eyetracking-mjukvaran fokus för renderingen i natura. För att rendera en hel scen i VR med 90 bilder per sekund, den lägsta acceptabla bildhastigheten i VR innan användare börjar rapportera illamående, måste fyra miljoner pixlar renderas med nästan hundra gånger i sekunden. Men genom att fokusera renderingen enbart på spelarens siktlinje kan enorma beräkningsbesparingar göras. Prestationsvinsterna är för stora för att ignoreras, säger Luebke.
Principen är inte ny inom VR-forskning. – Principen är inte ny inom VR-forskning. Det Kickstarter-stödda Fove-headsetet använder faktiskt ett liknande system (se 'Peka, klicka och eld i virtuell verklighet—med bara dina ögon'). Luebke har tillbringat mycket av de senaste 15 åren med att studera området, först medan han var professor vid University of Virginia och nu vid Nvidia. Tidigare har dock eyetracking-tekniken kämpat för att hålla jämna steg med den snabba hastigheten hos mänskliga ögonrörelser, vilket orsakar en magspårande latenseffekt när en användare byter från, säg, vänster sida av en scen till höger. En ny prototyp eyetracking VR-skärm av Sensomotoriska instrument är kapabel till exakt ögonspårning med låg latens vid 250 Hertz. För första gången har vi eyetrackers som du inte kan springa ifrån med ögonen, förklarar Luebke.
Även med den här kapaciteten behövde Nvidias team lägga ner mycket tid på att beräkna exakt hur mycket det kunde sänka upplösningen av en scens periferi innan en tittare märker det. Perifert seende är väldigt bra på att upptäcka flimmer, förklarar Luebke. Det används för att hjälpa oss att se tigrar i skogen.
Som sådan är varje flimmer från nedbrytningen oroande. På samma sätt, om periferin blir för suddig, kan det skapa en tunnelseendeeffekt, som om betraktaren tittar genom en kikare. Du kan se att något är fel, även om du inte riktigt kan sätta fingret på vad, säger Luebke.
För att lösa problemet fann Nvidias forskare att om de ökar kontrasten på den perifera scenen samtidigt som de sänker upplösningen, blir det mänskliga sinnet helt lurat.
Medan Nvidia inte har några produkter i produktion som underlättar tekniken, hoppas företaget, som tillhandahåller hårdvara och mjukvara för många VR-företag, att dess resultat kommer att uppmuntra de stora headsettillverkarna att inkludera eyetrackers i sina framtida huvudmonterade skärmar. En del av det vi gör här är att hjälpa till att definiera trafikreglerna för VR, säger Luebke.
Det är osannolikt att tekniken kommer att dyka upp utanför VR – till exempel i bärbara datorer – eftersom eyetrackers blir mycket mindre effektiva ju längre de är från ens ansikte. VR, där trackern sitter några centimeter från ögat, erbjuder däremot den perfekta parningen. Tekniken kommer sannolikt att påverka företagets framtida grafikkort, vilket ger utvecklare möjlighet att prioritera beräkningsprocess på specifika pixlar och omdefiniera renderingsalgoritmer.