Rekonstruksjon av visuelle bilder fra human hjerne-aktivitet målt ved fmri

Å rekonstruere visuelle bilder, vi først dekodet (oversatt) målt hjerneaktivitetsmønsteret i dyp neurale nettverket (DNN) egenskaper, deretter matet disse dekodede funksjonene til en rekonstruksjonsalgoritme. Vår rekonstruksjonsalgoritme starter fra et gitt utgangsbilde og iterativt optimaliserer pikselverdiene slik at DNN- trekk ved det aktuelle bildet blir lik de som er dekodet fra hjerneaktivitet. Vi søkte vår algoritme for å hjerneaktiviteten samlet under mentale bilder.

Venstre: innbilte bilder.
Høyre: rekonstruerte bilder. Den iterative optimaliseringsprosessen er vist.