Частину активності вимірювали безпосередньо за допомогою електродів-зондів, вставлених у зорову ділянку кори головного мозку.
Решту було зібрано за допомогою оптичних зондів на генетично модифікованих мишах, нейрони яких під час активації стають зеленими.
Використовуючи ці дані, CEBRA дізналася, які сигнали мозку пов’язані з якими кадрами конкретного фільму.
Кадр з відео та картинка в голові миші / Фото: EPFL
Потім алгоритму показали інші сигнали — від миші, яка переглянула інший фільм.
Завданням моделі було показати відео, яке бачив гризун.
За заявою дослідників, їхнім завданням було відтворити відео покадрово, а не кожен піксель. І з цим завданням вони впоралися.
«Наша точність понад 95%, і це захоплююче, — пишуть вони. — У майбутньому ми плануємо відтворити картинку в голові мишки попіксельно.»