Reconstructie van visuele beelden van menselijke hersenactiviteit gemeten met fMRI

Om visuele beelden te reconstrueren, we voor het eerst gedecodeerd (Vertaling) gemeten hersenactiviteit patronen in diepe neuraal netwerk (DNN) Kenmerken, vervolgens toegevoerd die gedecodeerd functies om een ​​reconstructiealgoritme. Onze reconstructie algoritme gaat uit van een gegeven initiële afbeelding en iteratief optimaliseert de pixel waarden, zodat de DNN kenmerken van het huidige beeld worden vergelijkbaar met die gedecodeerd uit hersenactiviteit. We pasten ons algoritme om hersenactiviteit verzameld tijdens mentale beeldvorming.

Links: ingebeelde beelden.
Recht: gereconstrueerde beelden. Het iteratieve optimalisatieproces wordt weergegeven.