Hur man modifierar en smartphonekamera så att den tar en miljon bilder per sekund

xiaojie 2020

Tillbaka på 1930-talet började en ung elektroingenjör vid namn Harold Edgerton experimentera med elektronisk blixtfotografering vid MIT. Han använde det känt för att frysa vardagliga föremål som en vattenström, en sprängande ballong och en kula som träffade ett äpple.

Edgerton fortsatte med att vara pionjär inom ett brett utbud av enkel- och multiblixttekniker (liksom många andra bildtekniker). Många av dessa finns nu som standard på populära kameror och smartphones.

Sedan dess har slutartiderna ökat. Vissa iPhones kan ta enstaka bilder med en slutartid på 1/10 000-dels sekund. Specialkameror kan spela in bilder med en hastighet av 40 000 per sekund. Men den här typen av utrustning är komplex och dyr, så dessa tekniker är otillgängliga för de flesta.

Idag ser det ut att förändras tack vare Sam Dillavous arbete vid Harvard University och ett par kollegor, som har utvecklat en teknik som gör att vanliga elektroniska kameror och smartphones kan spela in bilder i en hisnande hastighet av miljontals bilder per sekund.

Först lite bakgrund. Moderna kameror använder elektroniska pixlar för att registrera ljuset som träffar dem. Dessa pixlar registrerar intensiteten, vanligtvis på en skala av 16 nivåer. Detta bestäms av bitnivån för pixlar. Så under en exponering kan varje pixel spela in 14 nyanser av grått mellan svart och vitt.

Men för många typer av bilder är denna detaljnivå onödig – allt som behövs är en enkel svart eller vit bild. I så fall är den extra grå detaljen överflödig.

Det gav Dillavou och kollegor en idé om att plocka isär enstaka bilder till flera kortare exponeringar.

Här är hur. Föreställ dig en vit vägg täckt av en svart gardin. Öppna nu gardinen från vänster till höger för att avslöja väggen och registrera rörelsen i en enda exponering.

Under exponeringen registrerar pixlarna på vänster sida av bilden först den svarta gardinen men sedan den vita väggen när gardinen rör sig över ramen. Detta genomsnitt ut till en ljusgrå.

Däremot ser pixlar som registrerar den högra sidan av bilden den svarta ridån under större delen av exponeringen. Först i slutet av exponeringen avslöjas den vita väggen. I så fall är genomsnittet mörkgrå.

På liknande sätt kommer pixlarna i mitten av bilden att spela in en mellangrå färg. Och den slutliga bilden framstår som en graderad grå, som representerar gardinens rörelse.

Dillavous och kollegornas nyckelidé är att denna enstaka bild kan ses som många svartvita ögonblicksbilder av den rörliga gardinen ovanpå varandra. Faktum är att antalet bilder som kan retas ut från en enda bild beror på antalet bitnivåer som pixlarna registrerar.

Beväpnade med denna insikt utvecklade de en matematisk teknik för att extrahera dessa bilder från en enda bild, en idé som de kallar den virtuella ramtekniken. I det här fallet kan det skapa 16 bilder av gardinen som rör sig över väggen.

Denna teknik har potential att förvandla nästan vilken elektronisk kamera som helst till ett höghastighetsunderverk. Teamet har testat det genom att jämföra de virtuella ramarna med de som tagits av en höghastighetskamera som spelar in med 40 000 bilder per sekund.

De placerade en sträckt gummiduk framför en stråldelare som skickade ljuset till båda kamerorna, så båda hade samma syn på arket. Teamet satte upp belysningen så att gummiduken såg svart ut medan bakgrunden verkade vit. De använde en skalpell för att hacka gummiarket och spelade in hur det splittrades med båda kamerorna när frakturen rasade över arket.

Slutligen använde teamet den virtuella bildrutetekniken för att extrahera bilder med hög bildhastighet och jämföra dem med bilder från höghastighetskameran med 40 000 bilder per sekund. En video av denna jämförelse är nedladdningsbar här .

Resultaten visar att den virtuella ramtekniken har enorm potential. För det första visar båda uppsättningarna av bilder en liknande fraktureringsprocess, vilket bekräftar fördelarna med tillvägagångssättet. Men det har också ett antal betydande fördelar. Den spelar in 1,3 megapixlar i varje bild, jämfört med standardkamerans 60 kilopixlar. Detta ökar dramatiskt synfältet och därmed avståndet över vilket frakturen kan registreras.

Den virtuella bildhastigheten är också mycket snabbare. Den effektiva bildhastigheten som uppnås med [den virtuella inramningstekniken] är 1MHz, säger Dillavou och co.

De fortsätter med att studera hur användningen av den nya tekniken på en mängd olika kameror ökar deras bildhastigheter. Siffrorna är ögonöppnande. Som ett exempel, Nikon D850 spelar in virtuella ramar på 16MHz samtidigt som de bibehåller en upplösning över 50Mpx, säger de. Även en iPhone X kan spela in med upp till en miljon bilder per sekund med den här tekniken.

Det finns ingen anledning att tro att detta inte kan hanteras enkelt, eftersom all bearbetning görs senare. Den här förbättrade virtuella bildhastigheten kräver ingen förändring av kamerans funktion, säger teamet.

Det finns dock några viktiga gränser för vilka typer av fenomen som kan registreras på detta sätt. För det första måste föremålet av intresse vara svart mot en vit bakgrund (eller vice versa). Eventuella gråtoner i scenen kommer att förstöra resultatet.

Och själva fenomenet måste vara vad Dillavou och co kallar monotont. Med andra ord, varje förändring under en exponering måste gå från svart till vitt (eller vice versa) men inte tillbaka igen. I exemplet med gardin fungerar den virtuella ramtekniken om gardinen rör sig i en riktning men inte om den rör sig fram och tillbaka.

Ändå är den virtuella ramtekniken ett betydande framsteg för fotografering. Den har potential att förvandla smartphonekameran i bakfickan till en höghastighetsinspelare, som till och med Doc Edgerton skulle ha imponerat på.

Ref: arxiv.org/abs/1811.02936 : Virtuell ramteknik: Ultrasnabb bildbehandling med vilken kamera som helst

Dölj