Rekonstrukcji obrazów wizualnych od aktywności ludzkiego mózgu mierzona fMRI

Do rekonstrukcji obrazów wizualnych, najpierw dekodowane (Tłumaczenie) Zmierzone mózgu stanie aktywności w głębokiej sieci neuronowej (DNN) cechy, Następnie doprowadza zdekodowane te funkcje algorytmu rekonstrukcji. Nasz algorytm rekonstrukcji rozpoczyna się od danego obrazu początkowego i iteracyjnie optymalizuje wartości pikseli tak, że funkcje dnn bieżącego obrazu stają się podobne do tych, dekodowany z aktywności mózgu. Zastosowaliśmy nasz algorytm do aktywności mózgu zebrane podczas obrazowania mentalnego.

Lewy: wyimaginowane obrazy.
Prawo: zrekonstruowane obrazy. Iteracyjny proces optymalizacji pokazano.