Enpixelkamera når milstolpe och efterliknar mänskligt syn

Computational imaging genomgår en revolution. Detta är disciplinen att göra bilder med hjälp av beräkningstekniker snarare än optiska. Dess mest kända genombrott är förmågan att spela in högupplösta bilder och filmer med en enda pixel. Men forskare har också använt det för att bygga objektivfria kameror, 3D-bildsystem och mer.

Idag tar de tekniken ännu längre genom att använda den för att efterlikna hur människor ser världen. David Phillips vid University of Glasgow och några kompisar säger att de har hittat ett sätt att använda en enda pixel för att skapa bilder där det centrala området spelas in i hög upplösning medan periferin spelas in i låg upplösning. Det härmar exakt djurens synsystem där näthinnan har en central region med hög synskärpa som kallas fovea omgiven av ett område med lägre upplösning.

Teamet har till och med visat hur man flyttar den foveerade regionen för att följa objekt inom synfältet. Tekniken har potential att förändra hur många bildsystem fungerar i framtiden.

Först lite bakgrund. Ett bildsystem med en enda pixel registrerar ljus från en scen vid en enda punkt. Detta ljus måste randomiseras på något sätt, till exempel genom att det passerar genom frostat glas eller reflekteras från en mikrospegeluppsättning som är slumpmässigt anordnad.

Det är lätt att tro att lite kan vinnas genom att spela in ljus randomiserat på detta sätt. Tricket är förstås att ta massor av enpixelbilder på detta sätt. Även om varje datapunkt verkar vara ett slumpmässigt urval av ljus, är konsekutiva datapunkter korrelerade eftersom de är reflektioner från samma scen.

Så tricket bakom beräkningsavbildning är att använda en datautvinningsalgoritm för att hitta korrelationen mellan på varandra följande bilder. Lite siffror kan sedan återskapa den ursprungliga scenen.

Det visar sig att detta är relativt okomplicerat, förutsatt att ljuset från scenen är ordentligt randomiserat varje gång pixeln registrerar det. Upplösningen för den slutliga bilden beror sedan på antalet datapunkter som används för att skapa den.

Med andra ord kan varje datapunkt ses som att registrera en pixel i den slutliga bilden. Det är denna idé som gör att Phillips och co kan variera upplösningen genom en bild.

De här killarna använder en digital mikrospegeluppsättning för att randomisera ljuset från en scen som når deras enpixelljusdetektor. Men de kan också kontrollera upplösningen av randomiseringen i denna array. Så de kan använda högupplöst randomisering i delar av scenen för att öka upplösningen på den slutliga bilden. Detta är den foveerade bilden

Deras mikrospegeluppsättning kan visa cirka 10 000 slumpmässiga mönster per sekund vilket gör att de kan generera 32 x 32 pixlar bilder med en hastighet av cirka 10 per sekund.

Till att börja med är pixlarna kvadratiska och lika stora i varje 32 x 32 bild. Men en foveated bild har mindre, mer tätt packade pixlar i mitten och större pixlar i periferin.

Phillips och co uppnår detta genom att randomisera ljuset från scenen med högre upplösning i mitten av bilden.

Och resultaten är imponerande. Teamet visar hur de resulterande bilderna tydligt har en högre upplösning i centrum. Vi har visat att datainsamlingskapaciteten hos ett enpixel beräkningsavbildningssystem kan förbättras genom att efterlikna den adaptiva foveated vision som är utbredd i djurriket, säger de.

Men de visar också hur det är möjligt att flytta fovean för att spåra föremål av intresse från en bild till nästa. De visar till och med hur det är möjligt att ha två fovea i en enda bild för att spåra två olika objekt och därigenom ta tekniken bortom djurvärldens förmåga. Och de demonstrerar tekniken med både synligt och infrarött ljus.

Det är intressant arbete som har några viktiga potentiella tillämpningar. Det mest uppenbara är för bildbehandlingssystem där pixelmatriser inte är praktiska. Till exempel är enstaka pixlar tillgängliga för terahertz-frekvenser men pixelmatriser är det inte.

Men tekniken är mer allmänt användbar. I alla bildsystem finns en avvägning mellan upplösning och bildhastighet. Denna teknik gör att denna avvägning kan optimeras i farten och låter uppmärksamheten fokusera på de delar av en bild som är av störst intresse.

Det skulle kunna göras mycket kraftfullare genom att kombinera det med andra maskinseendetekniker som algoritmer har börjat överträffa människor i uppgifter, som ansikts- och objektigenkänning.

Människor och djur har länge presterat bättre än maskiner i synuppgifter. Men med tekniker som denna kommer denna behärskning inte att pågå mycket längre.

Ref: arxiv.org/abs/1607.08236 : Adaptiv Foveated Single-Pixel Imaging med Dynamisk Super-Sampling

Dölj