Искусственный интеллект теперь может превращать мысли людей в образы

На картинке ниже в верхнем ряду представлены изображения, на которые смотрели люди. В нижнем ряду — изображения, созданные алгоритмом, который анализировал умственную деятельность этих людей.

За основу был взят алгоритм нейронной сети DALL-E 2 от OpenAI, который с помощью стабильной диффузии (LDM) создает изображения по текстовому описанию.

Команда ученых из Японии раздавала экспериментальной группе набор снимков, и когда люди рассматривали снимки, им делали МРТ (магнитно-резонансную томографию). Затем изображения МРТ были переданы искусственному интеллекту для интерпретации.

«Мы показываем, что наш метод может реконструировать изображения с высоким разрешением с высокой семантической точностью по активности человеческого мозга», — поделилась команда в исследовании, опубликованном в биоRxiv.

«В отличие от предыдущих исследований реконструкции изображений, наш метод не требует обучения или тонкой настройки сложных моделей глубокого обучения».

Алгоритм извлекает информацию из частей мозга, участвующих в восприятии изображений, таких как затылочные и височные доли, по словам Ю Такаги, руководившего исследованием, тревожная кнопка.

Команда использовала МРТ, потому что она фиксирует изменения кровотока в активных областях мозга. МРТ может даже обнаруживать молекулы кислорода, поэтому сканеры могут видеть, где в мозгу наши нейроны — нервные клетки в мозге — работают больше всего (и потребляют больше всего кислорода), когда мы думаем или чувствуем эмоции.

В этом исследовании было всего четыре участника, каждый из которых просматривал набор из 1000 изображений.

«Мы демонстрируем, что наша простая структура может реконструировать изображения с высоким разрешением на основе активности мозга с высокой семантической точностью», — говорится в исследовании.

«Мы количественно оцениваем каждый компонент LDM с точки зрения нейронауки, сопоставляя определенные компоненты с отдельными областями мозга. Мы представляем объективную интерпретацию того, как процесс преобразования текста в изображение, реализованный LDM, включает семантическую информацию, выраженную условным текстом, сохраняя при этом внешний вид исходного изображения».

Объединение искусственного интеллекта со сканерами мозга было давней проблемой для научного сообщества, которое, по их мнению, содержит новый ключ к раскрытию нашего внутреннего мира.