Rekonstruktion af visuelle billeder fra human hjerne aktivitet målt ved fMRI

For at rekonstruere visuelle billeder, vi først afkodes (oversat) målte hjerne aktivitet mønstre i dyb neurale netværk (DNN) funktioner, herefter ført disse dekodede funktioner til en rekonstruktionsalgoritmen. Vores rekonstruktion algoritme starter fra en given indledende billede og iterativt optimerer pixelværdierne så DNN funktioner i det aktuelle billede bliver lig dem afkodet fra hjerneaktivitet. Vi anvendte vores algoritme til hjerneaktivitet indsamlet under mentale billeder.

Venstre: forestillet billeder.
Højre: rekonstruerede billeder. Den iterative optimering processen vises.