Reconstrucția de imagini vizuale din activitatea creierului uman măsurată prin fMRI

Pentru a reconstrui imagini vizuale, am decodificate mai întâi (tradus) masurata modele de creier de activitate în rețele neuronale profunde (DNN) caracteristici, apoi alimentat aceste caracteristici decodate unui algoritm de reconstrucție. Algoritmul nostru de reconstrucție pornește de la o anumită imagine inițială și iterativ optimizează valorile pixelilor, astfel încât caracteristicile DNN ale imaginii curente devin similare cu cele decodate din activitatea creierului. Am aplicat algoritmul nostru pentru activitatea creierului in timpul colectate imagini mentale.

Stânga: imagini imaginat.
Dreptul de: imagini reconstruita. Procesul de optimizare iterativ este prezentat.