Programvaran upptäcker rörelser som det mänskliga ögat inte kan se

En ny uppsättning mjukvarualgoritmer kan förstärka aspekter av en video och avslöja vad som normalt inte går att upptäcka för mänsklig syn, vilket gör det möjligt att till exempel mäta någons puls genom att spela in en video av honom och fånga hur blodet flödar över hans ansikte.





Ser djupare: Fredo Durand, docent i datavetenskap vid MIT, utvecklade en algoritm som kan lyfta fram överraskande saker i nästan vilken video som helst.

Programvaruprocessen, kallad Eulerisk videoförstoring av MIT-datavetare som utvecklade programmet, bryter isär de visuella elementen i varje bildruta i en video och rekonstruerar dem med algoritmen, som kan förstärka aspekter av videon som inte går att upptäcka med blotta ögat. Dessa aspekter kan inkludera variationer i rodnad i en mans ansikte som orsakas av hans puls. Precis som optik har gjort det möjligt för [någon] att se saker som normalt är för små, kan beräkningar göra det möjligt för människor att se saker som inte är synliga för blotta ögat, säger dataforskare vid MIT Fredo durand , en av medförfattarna till en artikel om forskningen.

UC Berkeley professor Maneesh Agrawala , som har tillbringat sin karriär inom visualisering och datorgrafik, säger att han är imponerad av arbetet. De många exemplen i video de tillhandahåller är riktigt fina exempel på att visualisera saker som är svåra att göra annars, säger han.



Durand och hans kollegor planerar att göra sin mjukvarukod tillgänglig för andra i sommar. Han förutspår att den primära applikationen kommer att vara för medicinsk fjärrdiagnostik, men den kan användas för att upptäcka vilken liten rörelse som helst, så att den till exempel låter byggnadsingenjörer mäta hur vinden får en byggnad att svaja eller deformeras något.

Han tillägger att vilken video som helst kan användas, men beroende på kvaliteten på kameran som fångade bilderna kommer brus och artefakter som kornighet också att förstärkas. Så ju högre kvalitet materialet är, desto bättre blir resultatet med programmet. Det som är riktigt bra med den här tekniken är att den bara kan ta standardvideo, från nästan vilken enhet som helst, och sedan bearbeta den på ett sätt som hittar denna dolda information i signalen, säger Agrawala.

Dölj