211service.com
Algoritmen som avkodar brutna bilder
Ta en hammare till en spegel och du kommer att krossa bilden som den producerar såväl som glaset. Fortsätt krossa och bilden blir mer trasig. När glasbitarna är lika stora som glitter blir reflektionerna slumpmässiga och bilden oigenkännlig.
Det är lätt att föreställa sig att det skulle vara nästan omöjligt att rekonstruera den här bilden. Inte så, säger Zhengdong Zhang och kompisar vid Massachusetts Institute of Technology i Cambridge. Idag avslöjar dessa killar SparkleVision, en bildbehandlingsalgoritm som återmonterar den krossade bilden.
Problemet som Zhang och co attackerar är att räkna ut innehållet i en bild som reflekteras från en skärm täckt av glitter. Tillvägagångssättet är att fotografera glittret och sedan bearbeta den resulterande bilden på ett sätt som avkodar bilden.
Det visar sig att det finns ett enkelt sätt att närma sig detta. Zhang och co anser att varje bit av glitter är en slumpmässigt orienterad mikrospegel. Så ljuset från bilden träffar en mikrospegel och reflekteras till en sensor inuti kameran.
Det betyder att det finns en enkel mappning från varje pixel i originalbilden till en sensor i kameran. Uppgiften är att bestämma den mappningen för varje pixel. Det finns en framåtriktad förvrängningsmatris, och i princip kan vi hitta dess inversa och avkoda bilden, säger de.
För att hitta denna avkodningsmatris lyser Zhang och co en uppsättning testbilder på glitterskärmen och registrerar var pixlarna i originalbilden hamnar i kameran.
Utifrån detta kan de skapa en algoritm som avkodar alla andra bilder placerade på exakt samma plats som testbilderna. De kallar denna algoritm SparkleVision.
Det är en praktisk mjukvara som kan ha intressanta tillämpningar för att hämta bilder som reflekteras från glitterliknande ytor som vissa typer av löv, våta ytor, metaller och så vidare.
Och Zhang och co hoppas kunna göra programvaran mer användbar. I sin nuvarande inkarnation kan programvaran bara avkoda bilder placerade på den exakta platsen för testbilderna. Men i teorin borde testbilderna ge tillräckligt med data för att avkoda bilder från vilken del av ljusfältet som helst. Därmed skulle vårt system naturligtvis kunna utökas till att fungera som en ljusfältskamera, säger de.
Verket är en del av en växande kropp som just nu revolutionerar fotografi och bildbehandling. Andra forskare har arbetat ut hur man kan avkoda bilder från alla möjliga förvrängda reflektioner och ytor, ibland även utan att använda linser.
Dessa så kallade slumpmässiga kameror vidgar dramatiskt optikspecialisternas kapacitet. Och SparkleVision ser ut att ta sin plats bland dem.
Ref: http://arxiv.org/abs/1412.7884 : SparkleVision: Att se världen genom slumpmässiga spegelmikrofacetter