211service.com
Virtual Eyes tränar djupinlärningsalgoritmen för att känna igen blickens riktning
Ögonkontakt är en av de mest kraftfulla formerna av icke-verbal kommunikation. Om avatarer och robotar någonsin ska kunna utnyttja det, kommer datavetare att behöva övervaka, förstå och reproducera detta beteende bättre.
Men eyetracking är lättare sagt än gjort. Det kanske mest lovande tillvägagångssättet är att träna en maskininlärningsalgoritm för att känna igen blickriktningen genom att studera en stor databas med bilder av ögon där blickriktningen redan är känd.
Problemet här är att stora databaser av detta slag inte finns. Och de är svåra att skapa: tänk dig att fotografera en person som tittar i ett brett spektrum av riktningar, med alla möjliga olika kameravinklar under många olika ljusförhållanden. Och sedan göra det igen för en annan person med en annan ögonform och ansikte och så vidare. Ett sådant projekt skulle vara oerhört tidskrävande och dyrt.
Idag säger Erroll Wood vid University of Cambridge i Storbritannien och några kompisar att de har löst detta problem genom att skapa en enorm databas med precis den typ av bilder av ögon som en maskininlärningsalgoritm kräver. Det har gjort det möjligt för dem att träna en maskin att känna igen blickens riktning mer exakt än vad som någonsin har uppnåtts tidigare.
Så hur har de gjort detta? Deras knep är att skapa databasen helt på konstgjord väg. De börjar med att bygga en mycket detaljerad virtuell modell av ett öga, ett ögonlock och regionen runt det. De bygger sedan in den här modellen i olika ansikten som representerar människor i olika åldrar, hudfärger och ögontyper och fotograferar dem – praktiskt taget.
Fotografierna kan beskrivas med fyra olika variabler. Dessa är: kameraposition, blickriktning, ljusmiljö och ögonmodell. För att skapa databasen börjar Wood and co med en speciell ögonmodell och ljusmiljö och börjar med att ögonen pekar i en specifik riktning. De varierar sedan kamerapositionen och tar bilder från ett brett spektrum av vinklar runt huvudet.
Därefter flyttar de ögonen till en annan position och upprepar variationerna i kameraposition. Och så vidare.
Resultatet är en databas med mer än 11 000 bilder som täcker 40 graders variationer i kameravinkel och förändringar i blickvariationer över 90 grader. De valde ögonfärg och miljöljusförhållanden slumpmässigt för varje bild.
Slutligen använde Wood och co datamängden för att träna ett djupt konvolutionellt neuralt nätverk för att känna igen blickens riktning. Och de testade den resulterande algoritmen på en uppsättning naturliga bilder tagna från naturen. Vi visade att vår metod överträffar toppmoderna metoder för utseendebaserad blickuppskattning i det vilda över datauppsättningar, säger de.
Det är intressant arbete. Tekniker för djupinlärning tar för närvarande ordet inom datavetenskap med storm tack vare två framsteg. Den första är en bättre förståelse av själva neurala nätverk, vilket har gjort det möjligt för datavetare att avsevärt förbättra dem.
Det andra är skapandet av enorma kommenterade datamängder som kan användas för att träna dessa nätverk. Många av dessa nya datamängder har skapats med hjälp av crowdsourcing-metoder som Amazons Mechanical Turk.
Men Wood och co har tagit ett annat grepp. Deras datamängd är helt syntetisk, skapad inuti en dator. Så det ska bli intressant att se var de annars kan tillämpa denna syntetiska metod för att skapa datamängder för andra typer av djupinlärning.
Ref: arxiv.org/abs/1505.05916 : Återgivning av ögon för registrering av ögonform och blickuppskattning