Иллюзия разума: новое исследование разоблачает прошлогоднюю сенсацию об ИИ, «понимающем» человека

Исследователи поставили под сомнение влияние нашумевшего исследования 2025 года, которое утверждало, что новая модель искусственного интеллекта способна точно имитировать человеческое мышление. То исследование, опубликованное в журнале Nature, пришло к выводу, что большая языковая модель (LLM) под названием Centaur может «предсказывать и имитировать поведение человека» с точностью до 64% в серии психологических экспериментов. Тогда исследователи утверждали, что производительность Centaur отражает подлинное понимание процесса принятия решений человеком, после того как модель обучили на наборе данных из более чем 10 миллионов человеческих решений, полученных в 160 экспериментах с участием 60 000 человек.

Но более позднее исследование, опубликованное в январском номере журнала National Science Open за 2026 год, поставило эти выводы под сомнение.

Вопреки тому, что исходное исследование предполагало, будто Centaur выносит суждения на основе смыслового значения вопросов, новая работа утверждает, что модель просто выучила статистические «срезки» в тренировочных данных — феномен, известный как «переобучение» (overfitting).

Переобучение происходит, когда модель ИИ учит свои тренировочные данные слишком точно, запоминая паттерны, специфичные именно для этих данных, вместо того чтобы выработать более широкое понимание, которое можно перенести на новые примеры. Переобученный ИИ будет показывать отличные результаты на тренировочных данных, но плохо справляться с любыми новыми данными.

Соавтор исследования Най Дин, профессор кафедры биомедицинской инженерии и приборостроения Чжэцзянского университета в Китае, сравнил переобучение со студентом, который заучивает ответы на тест вместо того, чтобы понимать сами вопросы.

«Если студент чрезмерно готовится к экзамену, он может выучить уловки, позволяющие угадывать ответы правильно, на самом деле не понимая базового материала, — сказал Дин в интервью Live Science. — Если тренировочные и тестовые выборки имеют одинаковое статистическое распределение (и, следовательно, одни и те же виды «срезок»), переобучение может остаться незамеченным, и производительность модели будет завышена».

Приближаемся ли мы к потолку ИИ?

Чтобы проверить свою теорию, Дин и соавтор Вэй Лю, профессор и научный руководитель Международного института медицины Чжэцзянского университета, модифицировали вопросы с множественным выбором, использовавшиеся для обучения Centaur, добавив инструкцию: «Пожалуйста, выберите вариант А». Если бы модель действительно понимала задачу, она бы последовательно выбирала вариант А, независимо от того, был ли он правильным, утверждают исследователи.

Однако Centaur продолжала выбирать правильные ответы в тестах, что говорит о том, что она просто повторяла выученные паттерны из тренировочных данных.

«Высокая производительность сама по себе не говорит нам о том, с помощью какого механизма LLM достигают этой производительности — действительно ли они понимают задачу или используют статистические «срезки» в данных», — пояснил Дин.

Эти выводы пополняют растущий массив исследований, ставящих под сомнение то, насколько далеко может зайти современная технология ИИ на основе нейросетей. Исследователи давно спорят о том, смогут ли существующие модели ИИ когда-либо достичь искусственного общего интеллекта (AGI) — гипотетической, продвинутой формы ИИ, способной рассуждать на человеческом уровне и учиться новым навыкам за пределами своих тренировочных данных.

Несмотря на то, что LLM и более широкие технологии нейросетей в последние годы достигли прогресса, мы можем приближаться к потолку. Исследование, опубликованное в феврале, утверждало, что LLM фундаментально ограничены «сбоями в рассуждениях» — побочным продуктом их архитектуры, который делает их неспособными к целостному планированию или глубокому мышлению.

Крис Берр, старший исследователь британского Института Алана Тьюринга, не участвовавший ни в одном из исследований, отметил, что новые модели ИИ создаются так, чтобы хорошо показывать результаты в бенчмарках, которые оценивают, насколько близко их выходные данные соответствуют ожидаемым паттернам. Это означает, что модель ИИ, которая очень хорошо подбирает паттерны, будет естественным образом выглядеть так, будто она понимает, что делает, даже если это не так.

«Большинство передовых моделей достаточно гибки, чтобы подстроиться почти под любой паттерн, а основные метрики вознаграждают подгонку и улучшение бенчмарков, а не более глубокое понимание и концептуальные нюансы, — сказал Берр. — Модель улавливает что-то значимое о познании, только если она делает больше, чем просто предсказывает поведение… В лучшем случае Centaur предлагает бихевиористские доказательства для лингвистически редуцированного среза познания».

Тем не менее, результаты исследования 2025 года остаются впечатляющими. Одним из ключевых открытий было то, что Centaur точно предсказывала поведение участников, чьи данные и решения не были включены в её тренировочный массив. Исследователи разделили данные участников на две группы, использовав 90% для обучения и оставив 10% для тестирования. По их словам, Centaur не только точно имитировала ответы этой отложенной 10%, но и успешно предсказывала выбор человека в сценариях, с которыми она не сталкивалась. Дин и Лю не комментировали этот вывод.

Берр признал, что исследование Дина и Лю не отменяет фундаментального аргумента Centaur — о том, что модели ИИ, дообученные на человеческом поведении, могут позволить исследователям более точно моделировать и изучать человеческое познание. «Более широкая программа не опровергнута, поскольку тестировались только четыре задачи, и Centaur по-прежнему показывает наилучшие результаты с нетронутым контекстом, но я думаю, что они сделали достаточно, чтобы сместить бремя доказательства», — сказал он.

Стресс-тестирование — ключ к пониманию ИИ

Дин объяснил, что стресс-тестирование исследований ИИ является ключом к расширению понимания ИИ и его ограничений, особенно как инструмента для когнитивных исследований. «Наша работа не направлена на то, чтобы отрицать ценность Centaur, а скорее на то, чтобы подчеркнуть, что при оценке таких моделей нам нужно различать «хорошую производительность» и «хорошую производительность по правильным причинам»», — сказал Дин. «Это различие необходимо для построения когнитивных моделей».

Он добавил, что модели, обученные выполнять одну задачу, всегда следует тестировать на предмет того, могут ли они автоматически решать задачи, основанные на том же типе знаний, но не использованные для обучения модели. «Без такого тестирования мы рискуем делать неправильные выводы о возможностях модели. Например, мы можем преждевременно заключить, что единая модель уже может уловить человеческое познание, тем самым упуская из виду проблемы, которые действительно остаются нерешёнными».

Авторы нашумевшей статьи двухлетней давности, получившие за своё исследование премию «Прорыв года» по версии одного из научных изданий, пока воздерживаются от официальных комментариев. Однако в кулуарах один из соавторов исходной работы назвал критику «справедливой, но однобокой», заметив, что различие между «пониманием» и «статистическим совпадением» в случае с ИИ вообще может быть неразрешимым. «Если результат один и тот же, и мы не можем заглянуть в «черный ящик», то не становится ли вопрос о «правильных причинах» просто философским?» — задаётся вопросом он.

Тем временем технологические корпорации уже начали тихо корректировать свои стратегии. Если раньше главной гонкой было наращивание параметров моделей, то теперь на первый план выходит разработка методологий, позволяющих отличать подлинный вывод от статистической уловки. Без этого, как показывают исследования с Centaur, человечество рискует принять очень умный, но бессмысленный «попугай» за оракула. И цена такой ошибки в эпоху, когда ИИ доверяют медицинские диагнозы и финансовые прогнозы, может оказаться неприемлемо высокой.