Mind-Reading Algoritms Rekonstruera det du ser med hjälp av hjärnskanningsdata

En jämförelse av hjärnbildsrekonstruktionstekniker. Originalbilderna visas på den översta raden, medan resultaten av den nya djupgenerativa multivew-modellen visas på den nedre raden.

Ett av de mer intressanta målen inom neurovetenskap är att rekonstruera uppfattade bilder genom att analysera hjärnskanningar. Tanken är att ta reda på vad människor tittar på genom att övervaka aktiviteten i deras visuella cortex.

Svårigheten är naturligtvis att hitta sätt att effektivt bearbeta data från funktionell magnetisk resonanstomografi (fMRI) skanningar. Uppgiften är att kartlägga aktiviteten i tredimensionella voxlar inne i hjärnan till tvådimensionella pixlar i en bild.

Det visar sig vara svårt. fMRI-skanningar är välkända bullriga, och aktiviteten i en voxel är välkänd för att påverkas av aktivitet i andra voxels. Denna typ av korrelation är beräkningsmässigt dyr att hantera; faktiskt, de flesta tillvägagångssätt ignorerar det helt enkelt. Och det minskar avsevärt kvaliteten på de bildrekonstruktioner de producerar.

Så ett viktigt mål är att hitta bättre sätt att cruncha data från fMRI-skanningar och så producera mer exakta hjärnbildsrekonstruktioner.

Idag säger Changde Du vid Research Center for Brain-Inspired Intelligence i Peking, Kina, och ett par kompisar, att de har utvecklat just en sådan teknik. Deras knep är att bearbeta data med hjälp av djupinlärningstekniker som på ett bättre sätt hanterar olinjära korrelationer mellan voxels. Resultatet är ett mycket bättre sätt att rekonstruera hur en hjärna uppfattar bilder.

Changde och co börjar med flera datamängder av fMRI-skanningar av den visuella cortexen hos en människa som tittar på en enkel bild - en enstaka siffra eller en enda bokstav, till exempel. Varje datamängd består av skanningarna och originalbilden.

Uppgiften är att hitta ett sätt att använda fMRI-skanningarna för att återge den upplevda bilden. Totalt har teamet tillgång till över 1 800 fMRI-skanningar och originalbilder.

De behandlar detta som en enkel djupinlärningsuppgift. De använder 90 procent av datan för att träna nätverket att förstå sambandet mellan hjärnskanningen och originalbilden.

De testar sedan nätverket på återstående data genom att mata det med skanningarna och be det rekonstruera originalbilderna.

Den stora fördelen med detta tillvägagångssätt är att nätverket lär sig vilka voxlar som ska användas för att rekonstruera bilden. Det undviker behovet av att behandla data från dem alla.

Den lär sig också hur data från dessa voxlar är korrelerade. Det är viktigt eftersom om korrelationerna ignoreras, kommer de att behandlas som oljud och kasseras. Så det nya tillvägagångssättet – den så kallade deep generative multiview-modellen – utnyttjar dessa korrelationer och skiljer dem från verkligt brus.

För att utvärdera den djupa generativa multiview-modellen jämför Changde och co dess resultat med resultaten från ett antal andra tekniker för återuppbyggnad av hjärnbilder. De gör detta med hjälp av vanliga bildjämförelsemetoder för att se hur nära de rekonstruerade bilderna matchar originalen.

Resultaten ger intressant läsning. I allmänhet är de rekonstruerade bilderna tydliga representationer av originalen. I många fall är de betydligt mer exakta än vad andra tekniker klarar av.

Mätvärdena för bildjämförelse bekräftar detta. Omfattande experimentella jämförelser visar att vårt tillvägagångssätt kan rekonstruera visuella bilder från fMRI-mätningar mer exakt, säger Changde och co.

Det är ett intressant arbete med betydande konsekvenser. Förmågan att rekonstruera hjärnbilder är en viktig språngbräda i arbetet med att skapa bättre gränssnitt mellan hjärna och maskin. Nästa steg kommer att inkludera sätt att analysera mer komplexa scener och rörliga bilder. Changde och co säger att deras tillvägagångssätt också kan tillämpas på andra hjärnkodningsproblem som ljud och fysiska uppgifter.

Utöver det, vem vet. Härifrån är det bara ett kort fantasifullt steg till hjärnskanningstekniker som avslöjar vad människor tänker eller drömmer. Bara föreställa!

Ref: arxiv.org/abs/1704.07575 : Dela djup generativ representation för upplevd bildrekonstruktion från mänsklig hjärnaktivitet

Dölj