Die Rekonstruktion der visuellen Bilder aus menschlicher Hirnaktivität gemessen durch fMRI

Zur Rekonstruktion visuelle Bilder, wir zuerst decodiert (Übersetzt) gemessen Gehirnaktivitätsmuster in tiefes neuronales Netz (DNN) Eigenschaften, dann zugeführt, diese decodierten Funktionen eines Rekonstruktionsalgorithmus. Unser Rekonstruktionsalgorithmus geht von einem gegebenen Anfangsbild und optimiert iterativ die Pixelwerte, so dass die DNN Merkmale des aktuellen Bildes mit denen aus der Gehirnaktivität decodiert ähnlich werden. Wir legten unser Algorithmus auf der Gehirnaktivität während Tagen gesammelt.

Links: Vorgestellte Bilder.
Rechts: rekonstruierte Bilder. Der iterative Optimierungsprozess wird gezeigt.