ИИ воссоздаёт увиденные человеком изображения по данным фМРТ

Инструмент на основе искусственного интеллекта (ИИ) способен по снимкам мозга воссоздавать изображения, которые видел человек, с пугающей точностью.

Система под названием Brain-IT использует данные функциональной магнитно-резонансной томографии (фМРТ) для измерения активности зрительной коры — области мозга, обрабатывающей зрительную информацию. Затем компьютерная модель предсказывает как общую компоновку изображения, так и высокоуровневую информацию о его содержании. После этого предсказания передаются генератору изображений на основе ИИ, пояснили исследователи в работе, выложенной в базе препринтов arXiv. Исследование было представлено на конференции ICLR 2026, проходившей 23–25 апреля, а в сентябре авторы сообщили о нём широкой публике.

Brain-IT опирается на подход под названием Universal Brain Encoder («Универсальный кодировщик мозга»). Эта модель начинает с изображения и затем предсказывает реакцию фМРТ, ожидаемую в отдельных «вокселях» — небольших трёхмерных единицах — на снимке мозга.

«Ключевая идея в том, что каждый воксель — крошечный кубик мозговой ткани — получает собственный обученный вектор, который отражает, что именно его интересует в изображениях», — сказал первый автор исследования Роман Белий, докторант факультета компьютерных наук и прикладной математики Научного института Вейцмана в Израиле.

Одни воксели могут быть настроены на относительно простые элементы изображения — края, текстуры или местоположение. Другие могут реагировать на более абстрактные категории высокого уровня — лица, тела или сцены.

Заглянуть в собственный разум

Традиционные системы «изображение — фМРТ» обычно обучались отдельно для каждого участника и набора данных. Universal Brain Encoder гибче. Он учится на данных множества людей и способен переносить информацию между участниками, наборами данных и разными МРТ-системами с различной напряжённостью магнитного поля, согласно исследованию.

Воксель может определить, какие части изображения релевантны для него, исходя из своего обученного профиля, — по сути, говоря: «Я распознаю края. Какие части этого изображения являются краями?»

Universal Brain Encoder начинает с изображения и предсказывает активность мозга; Brain-IT начинает с измеренной активности мозга и реконструирует изображение, которое видел человек. Иными словами, он задаётся вопросом: «Судя по этой активности мозга, на что смотрел испытуемый?» Он сортирует тысячи мельчайших измерений активности зрительной коры в 128 групп по типам визуальной информации, которую они обычно несут.

Затем система позволяет этим группам обмениваться подсказками друг с другом, что даёт возможность объединять, например, информацию о форме сцены, цвете и возможных объектах, чтобы построить более полную картину изображения, объяснил Белий.

Декодер выдаёт два типа визуальных предсказаний. Одно фиксирует семантическую информацию — признаки, связанные с тем, что вероятно присутствует в сцене; для изображения собаки, стоящей на траве, это, например, признаки собаки и уличной, травянистой обстановки. Другое фиксирует структурную информацию — общую визуальную компоновку или то, как расположены формы.

В приведённом примере это такие аспекты, как контур собаки или её положение в кадре. Структурное предсказание даёт генератору отправную точку для изображения, а не начало из чистого шума, тогда как семантическая информация направляет генератор изображений, который убирает оставшийся «шум», пока изображение не проявится.

Хотя новый инструмент способен воссоздавать увиденное, он не может воспроизводить воспоминания или воображаемые сцены.

«Мы не читаем мысли людей, — сказала соавтор исследования Михаль Ирани, специалист по компьютерным наукам в Научном институте Вейцмана, в интервью Live Science. — Изображения, которые нам удаётся восстановить по фМРТ, требуют сотрудничества человека и его полного намеренного участия».

Оригинальное изображение бейсбольного матча (слева) и реконструкция (справа), сгенерированная моделью ИИ Brain-IT на основе активности мозга человека, смотревшего на изображение.

Как учёные тестировали модель

Синтетические изображения Brain-IT сравнивались с изображениями, которые видели участники. Brain-IT превзошёл прежние ведущие методы по стандартным объективным метрикам реконструкции и дал более достоверные результаты, писали авторы исследования. Система особенно ярко проявила себя при ограниченных данных фМРТ от нового участника: всего один час данных от нового участника давал результаты настолько же точные, как у прежних подходов, обученных на 40 часах записей.

Однако высокий балл или реалистичный вид результата не следует принимать за идеальную копию увиденного.

На финальном этапе обработки система использует готовый диффузионный генератор, обученный на огромном количестве изображений. Подобные модели создают правдоподобные изображения и могут сглаживать текстуры, повышать чёткость черт лица или дорисовывать недостающие детали.

Белий отметил, что такое «приукрашивание» может делать реконструкции более отполированными и убедительными и вносить детали, которые не обязательно происходят из самих данных мозга. Иными словами, снимок ограничивает сгенерированную картинку, но часть её реалистичности ИИ-модель добавляет из выученных закономерностей в фотографиях.

Почему это не декодирование памяти

Хотя новая система даёт впечатляющие результаты для увиденных изображений, её нельзя использовать для реконструкции воображаемого или вспоминаемого образа.

«Brain-IT опирается на то, как мозг обрабатывает увиденное изображение, — сказала Ирани. — Информация идёт от глаз к первичной зрительной коре и далее через ряд зрительных областей, распознающих объекты и сцены».

В контролируемом эксперименте исследователи также точно знают, какое изображение было показано, что даёт модели цель при обучении и оценке. В отличие от этого, воспоминания и воображаемые образы не дают такой чистой опорной точки. Они могут быть расплывчатыми и формироваться мозговыми сетями, связанными с памятью и мышлением, при лишь частичной и более слабой реактивации зрительных областей, сказала Ирани. Одно ограничение, которое мешает широкому внедрению этой технологии, состоит в том, что единственный способ получить надёжные результаты — это фМРТ-сканирование, которое громоздко и дорого. Сейчас команда экспериментирует с использованием более простых в сборе данных электроэнцефалограммы (ЭЭГ), получаемых через электроды на голове, но эта работа находится на самой предварительной стадии, по словам Ирани.

Новая система может помочь исследователям мозга лучше понять, какая визуальная информация представлена в разных областях мозга, как эти области взаимодействуют и чем отличаются индивидуальные паттерны. Подобные инструменты со временем могут выявить различия в зрительной обработке, которые помогут клиницистам выявлять неврологические, нейроразвитийные и психиатрические состояния.

«Есть множество полезных медицинских применений, к которым мы сейчас стремимся, — сказала Ирани. — Среди них использование нашего кодировщика/декодера мозга для выявления и анализа расстройств мозга, таких как рассеянный склероз, ПТСР, аутизм и психиатрические расстройства».

Beliy, R., Zalcher, A., Kogman, J., Wasserman, N., & Irani, M. (2025, October 29). Brain-IT: Image Reconstruction from fMRI via Brain-Interaction Transformer. arXiv.org. https://arxiv.org/abs/2510.25976