Avslöjar det osynliga

Med tillstånd av forskarna





Små brister i ett vinglas eller små veck i en kontaktlins kan vara svåra att urskilja, även i bra ljus. Men MIT-ingenjörer har utvecklat en maskininlärningsteknik som kan avslöja dessa osynliga egenskaper och föremål i mörkret.

Nyckeln var ett neuralt nätverk, en typ av programvara som kan tränas för att associera vissa ingångar med specifika utgångar – i det här fallet mörka, korniga bilder av genomskinliga objekt och själva objekten.

Teamet matade nätverket extremt korniga bilder av mer än 10 000 transparenta etsmönster från integrerade kretsar. Bilderna togs under mycket svaga ljusförhållanden, med ungefär en foton per pixel - mycket mindre ljus än en kamera skulle registrera i ett mörkt, förseglat rum. Sedan visade de det neurala nätverket en ny kornig bild, som inte ingick i träningsdatan, och fann att den kunde rekonstruera det genomskinliga objektet som mörkret hade skymt.



Forskarna ställde in sin kamera på att ta bilder något ur fokus, vilket ger bevis, i form av krusningar i det detekterade ljuset, att ett genomskinligt föremål kan finnas.

Men defokusering skapar också oskärpa, vilket kan smutsa ner ett neuralt nätverks beräkningar. För att få fram en skarpare, mer exakt bild, införlivade forskarna i det neurala nätverket en lag i fysiken som beskriver hur ljus skapar en oskarp effekt när en kamera är oskarp.

Teamet upprepade sina experiment med ytterligare 10 000 bilder av mer allmänna och varierande föremål, inklusive människor, platser och djur. Återigen kunde det neurala nätverket med den inbäddade fysikalgoritmen återskapa en bild av en transparent etsning som hade tagits i mörker.



Resultaten visar att neurala nätverk kan användas för att belysa genomskinliga egenskaper, såsom biologiska vävnader och celler, i bilder tagna med mycket lite ljus.

Om du spränger biologiska celler med ljus, bränner du dem, och det finns inget kvar att avbilda, säger George Barbastathis, professor i maskinteknik. Om du utsätter en patient för röntgen, ökar du risken för att de kan få cancer.

Det vi gör här [betyder] att du kan få samma bildkvalitet, men med en lägre exponering för patienten. Och inom biologi kan man minska skadorna på biologiska prover när man vill ta prover på dem.



Dölj