ИИ-галлюцинации: Чем умнее модель, тем чаще она выдумывает

Исследование OpenAI показало, что её новейшие модели рассуждений o3 и o4-mini «галлюцинируют» в 33% и 48% случаев соответственно при тестировании по методике PersonQA. Это более чем вдвое выше, чем у старой модели o1. Хотя o3 выдает более точные ответы, чем её предшественница, это, похоже, достигается ценой увеличения числа ошибок и вымыслов.

Это вызывает серьёзные вопросы о достоверности больших языковых моделей (LLM), лежащих в основе чат-ботов, считает Элеонора Уотсон, специалист по этике ИИ из Singularity University и член IEEE.

«Когда система выдаёт вымышленную информацию — например, несуществующие факты, цитаты или события — с той же уверенностью, что и правдивые данные, она может вводить пользователей в заблуждение тонкими, но опасными способами», — пояснила Уотсон.

Мечтают ли ИИ об электроовцах?

Главная особенность моделей рассуждений — способность разбивать сложные задачи на части и искать решения, подобно человеческому мышлению. В отличие от простого подбора ответов на основе статистики, они выстраивают стратегии, что позволяет им справляться с нетривиальными вопросами.

Но чтобы находить креативные и новые решения, ИИ должен «галлюцинировать» — иначе его возможности ограничены жёсткими рамками обучающих данных.

«Галлюцинации — это не баг, а фича ИИ, — говорит Сохроб Казерунян, исследователь ИИ из Vectra AI. — Как метко выразился мой коллега: «Всё, что выдаёт LLM, — галлюцинация. Просто некоторые из них правдивы». Если бы ИИ генерировал только то, что видел при обучении, он превратился бы в гигантскую поисковую систему».

Без «вымысла» ИИ не смог бы:

• писать новый код,

• открывать неизвестные молекулы,

• сочинять тексты в стиле «Снуп Дога + Боб Дилан».

По сути, способность к творчеству у ИИ основана на тех же механизмах, что и человеческое воображение.

Когда креативность становится проблемой

Однако, если ИИ начинает выдавать ложные данные как факты, это может иметь серьёзные последствия — особенно в медицине, юриспруденции и финансах.

«Ошибки в современных моделях стали менее очевидными, но более коварными, — отмечает Уотсон. — Вымысел встраивается в правдоподобные рассуждения, и пользователи могут даже не заметить подвоха».

Парадокс в том, что чем совершеннее модель, тем чаще она галлюцинирует.

«Нет чёткого объяснения, почему продвинутые модели выдумывают больше, чем простые», — признаёт Казерунян.

Проблема усугубляется тем, что никто не знает, как именно ИИ приходит к своим выводам. Дарио Амодеи, CEO Anthropic, сравнивает это с загадкой работы человеческого мозга:

«Когда ИИ анализирует финансовый отчёт, мы не понимаем, почему он выбирает те или иные слова — или почему иногда ошибается, хотя обычно точен».

Уже сейчас галлюцинации ИИ создают реальные проблемы:

• несуществующие источники в академических работах,

• выдуманные правила в корпоративных чат-ботах,

• ошибки в юридических документах.

Можно ли остановить «полёт фантазии» ИИ?

Полностью избавиться от галлюцинаций, скорее всего, не получится, но можно снизить их риск.

Элеонора Уотсон предлагает несколько решений:

1. Retrieval-augmented generation — привязка ответов ИИ к проверенным внешним источникам.

2. Структурированные рассуждения — пошаговая проверка логики и сравнение альтернатив.

3. Обучение с подкреплением — поощрение моделей за точные ответы.

4. Признание неопределённости — если ИИ не уверен, он должен предупреждать об этом.

Казерунян добавляет, что в итоге людям придётся проверять выводы ИИ так же, как и слова других людей — с здоровым скепсисом.

Вывод:
ИИ-галлюцинации — неизбежная плата за креативность. Но если научиться фильтровать вымысел, можно получить мощный инструмент без риска грубых ошибок.