En kamera som ser som det mänskliga ögat

Näthinnan är ett enormt kraftfullt verktyg. Den sorterar igenom enorma mängder data samtidigt som den fungerar på bara en bråkdel av den kraft som en konventionell digitalkamera och dator skulle behöva för att utföra samma uppgift.

Dynamisk syn: Kamerans styrka ligger i att fånga rörelser, som mjölkdropparna som syns här.

Nu ringde ingenjörer på ett företag iniLabs i Schweiz tillämpar lärdomar från biologi i ett försök att bygga en mer effektiv digitalkamera inspirerad av den mänskliga näthinnan.

Liksom de enskilda neuronerna i våra ögon, reagerar den nya kameran – kallad Dynamic Vision Sensor (DVS) – bara på förändringar i en given scen. Detta tillvägagångssätt eliminerar stora delar av överflödiga data och kan vara användbart för många områden, inklusive övervakning, robotteknik och mikroskopi.

Ditt öga och mitt öga är också digitalkameror. [De är] bara en annan typ av digitalkamera, säger Tobi Delbruck, chief scientific officer på iniLabs. Vi hade maskinseende som var så bra som möjligt med befintlig arkitektur och hårdvara. Men jämfört med biologi är maskinseendet patetiskt dåligt.

En vanlig kamera tar in allt den ser och lagrar informationen som ska bearbetas senare. Detta tar upp mycket kraft och mycket utrymme. Neuroner i ögat tänder dock bara när de känner av en förändring – till exempel när en viss del av en scen blir ljusare eller mörkare. DVS efterliknar den selektiviteten och sänder endast information som svar på en förändring i scenen. Det tar mindre kraft och lämnar mindre information att bearbeta.

Konstgjord näthinna: Dynamic Vision Sensor (DVS) reagerar endast på förändringar i scenen, vilket eliminerar stora delar av irrelevant data.

Denna funktion kan vara särskilt användbar för inspelning av scener som inte ändras ofta. Till exempel, när sömnforskare filmar sina försökspersoner, tvingas de senare att kamma igenom timmar av händelselösa bilder. Med en sensor som DVS markeras viktiga, aktiva delar av datan automatiskt.

Pixlarna i DVS efterliknar också hur en enskild ögonneuron kommer att kalibrera sig själv till en viss plats: den cellen och de som är ansvariga för ett annat område kommer att svara på inkommande data på något olika sätt, så en neuron kan vara mycket känslig för inmatning medan en annan kräver mer stimulans för att elda. På samma sätt justerar varje pixel i DVS sin egen exponering. Detta gör att DVS kan hantera ojämna ljusförhållanden, även om det också kräver enorma pixlar som är 10 gånger så stora som de i en modern mobiltelefonkamera.

DVS är byggt för att fungera med IBM:s nya TrueNorth-datorarkitektur (se IBM Researchers Show Blueprints for Brainlike Computing). TrueNorth är ett programmeringssätt som efterliknar biologi - information lagras, bearbetas och delas i ett nätverk av neuromorfa datorchips, inspirerade av de neurala nätverken i hjärnan.

Det vi pratar om - kamerorna som skickar information när något förändras - är faktiskt ett mycket centralt tema för hur hjärnan fungerar, eller åtminstone hur neuroforskare tror att den fungerar, säger Nabil Imam , en datavetare vid Cornell University, som är en del av Cornell-teamet som hjälpte IBM att utveckla sina neuromorfa chips. Vi fångar hjärnans funktioner på hög nivå.

Genom att kombinera sin kamera med TrueNorth-arkitektur, tror Delbruck och hans team, kommer de att uppnå en enhet som är bättre på att hantera dynamiska problem i realtid.

DVS är finns att köpa för cirka 2 700 dollar och har använts i flera forskningsprojekt, inklusive ett som registrerade trafik och ett annat som involverade spårning av partiklar i en vätska. Teamet planerar att fortsätta att förbättra enheten. Nästa mål är att lägga till färgkänslighet och att förstora kamerans näthinna från dess nuvarande upplösning på 240x180.

Dölj