Rekonstruksi citra visual dari aktivitas otak manusia diukur dengan fMRI

Untuk merekonstruksi gambar visual, pertama-tama kami memecahkan kodenya (diterjemahkan) mengukur pola aktivitas otak ke dalam jaringan saraf dalam (DNN) fitur, kemudian memasukkan fitur-fitur yang didekodekan tersebut ke algoritma rekonstruksi. Algoritme rekonstruksi kami dimulai dari gambar awal tertentu dan secara berulang mengoptimalkan nilai piksel sehingga fitur DNN pada gambar saat ini menjadi serupa dengan yang didekodekan dari aktivitas otak. Kami menerapkan algoritme kami pada aktivitas otak yang dikumpulkan selama pencitraan mental.

Kiri: Gambar yang dibayangkan.
Benar: Gambar yang direkonstruksi. Proses optimasi berulang ditampilkan.