Ученые улучшили декодер мозга для перевода мыслей в текст

В исследовании, опубликованном 6 февраля в журнале Current Biology, команда исследователей изучила, как декодер, обученный на одной группе людей, может быть адаптирован для работы с мозгом других участников. Это достижение может оказать значительное влияние на людей с афазией — расстройством, которое ухудшает коммуникативные способности.

Ранее декодеры требовали длительного обучения, когда участники слушали истории, находясь в аппарате МРТ. Однако такой подход ограничивал их применение, поскольку модели эффективно функционировали только для тех людей, на которых они были обучены. Как пояснил соавтор исследования Александр Хут, люди с афазией часто испытывают трудности с пониманием и продуцированием речи, что делает традиционный метод неэффективным.

В новом исследовании ученые натренировали декодер на нескольких референтных участниках, собрав данные фМРТ, пока те слушали 10 часов радиопередач.

Затем они разработали два алгоритма преобразования: один использовал данные, полученные за 70 минут прослушивания радио, а другой — за 70 минут просмотра короткометражных фильмов Pixar.

Используя технику, называемую функциональным выравниванием, команда проанализировала, как мозг участников реагировал на одни и те же аудио- и видеоклипы. Это позволило им обучить декодер для целевой группы без необходимости собирать часы дополнительных данных.

Декодеры были протестированы с помощью короткого рассказа, который участники не слышали ранее. Хотя точность предсказаний была выше у контрольной группы, результаты все равно продемонстрировали семантическую связь между предсказанными словами и текстом рассказа.

Например, в одной из частей тестового рассказа персонаж размышляет о работе, которая ему не нравится. Декодер, обученный на данных фильма, предсказал: «Я работал на работе, которая казалась мне скучной. Мне приходилось выполнять приказы, и они мне не нравились». Хотя предсказание не было абсолютно точным, основные идеи совпали.

Исследователи отметили, что наиболее интригующим аспектом является способность декодера функционировать даже без языковых данных, что открывает новые возможности для сбора информации.

Это может помочь людям с афазией выражать свои мысли и подчеркивает сходство в том, как идеи представлены как в языке, так и в визуальных образах.

Следующим шагом исследовательской группы станет тестирование алгоритма на людях с афазией и разработка интерфейса, который поможет им генерировать нужные фразы.

Исследователи также признают ограничения текущей версии декодера. Он все еще не способен идеально воспроизводить мысли, а скорее улавливает общую семантическую суть. Однако даже такая степень точности может оказаться бесценной для людей, испытывающих трудности с коммуникацией.

Будущие исследования будут направлены на повышение точности декодирования и разработку более интуитивно понятных интерфейсов. Ученые планируют экспериментировать с различными типами входных данных, включая воображаемые сценарии и внутренние монологи, чтобы расширить возможности декодера.

Конечной целью является создание носимого устройства, которое могло бы постоянно декодировать мысли людей с афазией и преобразовывать их в текст в реальном времени. Такой инструмент мог бы значительно улучшить качество их жизни и предоставить им возможность более полноценно участвовать в общественной жизни.