Создана нейросеть, распознающая образы, попадающие в поле зрения человека
Российские ученые из лаборатории нейроробототехники МФТИ при содействии исследователей компании «Нейроассистивные технологии» разработали нейросеть, способную распознавать изображения, возникающие в человеческом мозге в тот момент, когда человек смотрит на какой-либо объект/объекты. Это могут быть люди, элементы природы, декорации и даже динамические изображения, получающиеся в результате быстро сменяющихся кадров: движущиеся объекты или движущийся фон (например, в процессе вождения автомобиля).
Нейросеть работает на основе электрической активности мозга и использует кодирующуюся им информацию. В свою очередь, этот процесс возможно расшифровать с помощью функциональной магнитно-резонансной томографии. В таком случае получают анализ сигнала напрямую с нейронов, когда происходит визуальное восприятие информации зрительным аппаратом. Нейросеть подключается для анализа данных, полученных с помощью электроэнцефалограммы в интерфейсе, связывающий мозг с компьютером. Такой же интерфейс используется в процессе управления экзоскелетом, например, на руках пациентов в реабилитационный постинсультный период. Он же задействован в управляющем устройстве электроколясок для парализованных людей. Возвращаясь к теме, с помощью нейросети и упомянутого интерфейса в режиме реального времени происходит реконструкция, например, кадров из видео, которое смотрит человек.
Проведенные эксперименты позволили установить, что разные категории видео по-разному распознаются человеком и интерфейсом, поэтому потребовалось создать ещё одну нейросеть, которая может преодолеть помеху в распознавании динамических изображений в лице присутствующего на кадрах шума. Таким образом, ученые создали комбинацию нейросетей, каждая из которых занимается определённой задачей: основная сеть генерирует изображения, полученные из шумов произвольного видео, а вспомогательная сеть создает нечто похожее из ЭЭГ. Совместная работа сетей предполагает наложение максимально похожих друг на друга кадров и сигналов ЭЭГ. Таким образом, мы получаем 90% успешное создание кадров, идентичных наблюдаемым объектам, при этом реалистичных и распознаваемых воочию в процессе сравнения. Реконструкция продемонстрировала прекрасные результаты, и это обнадеживающая новость. В будущем планируется создание и усовершенствования инвазивных нейроинтерфейсов, которые можно использовать в лабораторном оборудовании, и которые очень важны для улучшения качества жизни людей, например, в период постинсультной реабилитации или для парализованных людей.
