Rekonstruktion av bildspråk från mänsklig hjärnaktivitet mätt med fMRI

För att rekonstruera visuella bilder, vi först avkodas (översatt) uppmätta hjärnaktivitetsmönster i djup neuralt nätverk (DNN) funktioner, matas därefter dessa avkodade funktioner till en rekonstruktionsalgoritm. Vår rekonstruktionsalgoritmen startar från en given initial image och iterativt optimerar pixelvärdena så att DNN funktionerna i den aktuella bilden blir liknande de avkodas från hjärnaktivitet. Vi tillämpade vår algoritm för att hjärnaktivitet som samlats in under mentala bilder.

Vänster: inbillade bilder.
Höger: rekonstruerade bilder. Den iterativa optimeringsprocessen visas.