Учёные из Японии разработали нейросеть, восстанавливающую изображения предметов, на которые смотрит человек, опираясь на активность головного мозга во время просмотра. Главное отличичие от предыдущих экспериментов – нейросеть научилась выделять важные элементы изображений.
До сих пор во всех подобных экспериментах компьютерные алгоритмы, которые обрабатывают данные, не были способны к реконструкции изображения непосредственно из данных об активности мозга. Вместо этого они сравнивали наблюдаемые паттерны активности с уже имевшимися в библиотеке. На этот раз нейросеть со значительной степенью подобия воссоздала изображения геометрических фигур, символов и животных.
Созданная нейросеть не обращалась к библиотекам изображений и паттернов нейронной активности. Она обучалась на незначительных изменениях в активности нейронов, которые возникали во время просмотра изображений, практически не имеющих отличий. Для обучения нейросети добровольцам, помещенным в сканер для функциональной магнитно-резонансной томографии (фМРТ), демонстрировали изображения, всего их было 1200; каждую картинку участники эксперимента видели по пять раз.
Затем нейросеть генерировала изображения, беря за основу данные фМРТ. Несмотря на то, что на этапе обучения нейросети добровольцам показывали исключительно фотографии реальных объектов, нейросеть оказалась способна реконструировать и изображения абстрактных предметов, показанных участникам эксперимента после завершения обучения.
Учёные сделали вывод, что компьютеру удалось научиться обобщать информацию, извлеченную из данных об активности мозга, и выделять семантически значимые элементы изображений, а не только соотносить паттерны активности с имеющимися примерами.
Выделите ее и нажмите Ctrl + Enter