Галлюцинации ИИ: Фундаментальная проблема больших языковых моделей и путь к нейросимволическому решению

Главная проблема в эксперименте Big Tech с искусственным интеллектом (ИИ) заключается не в том, что он может захватить мир. Проблема в том, что большие языковые модели (LLM), такие как ChatGPT от OpenAI, Gemini от Google и Llama от Meta, продолжают ошибаться, и эта проблема неразрешима в их текущем виде.

Эти ошибки, известные как галлюцинации, ярко проявились в истории с американским профессором права Джонатаном Тарли. В 2023 году ChatGPT ложно обвинил его в сексуальных домогательствах.

Решение OpenAI выглядело как попытка просто «удалить» Тарли из системы, запрограммировав ChatGPT отвечать отказом на любые вопросы о нем. Это явно несправедливый и неудовлетворительный подход. Попытки устранять галлюцинации постфактум и точечно — явно не выход.

То же самое касается и склонности LLM усиливать стереотипы или давать западноцентричные ответы. К тому же, наблюдается полное отсутствие подотчетности в условиях распространения такой дезинформации, поскольку крайне сложно установить, как именно модель пришла к тому или иному выводу.

Ожесточенные дебаты по этим проблемам вспыхнули после релиза GPT-4 в 2023 году, представлявшего тогда новейшую крупную веху в развитии LLM от OpenAI. Хотя с тех пор дискуссия поутихла, оснований для этого нет.

Например, ЕС в рекордные сроки принял в 2024 году свой Закон об ИИ, стремясь стать мировым лидером в регулировании этой сферы. Однако этот закон в значительной степени полагается на саморегулирование ИИ-компаний, не предлагая реальных решений обозначенных проблем. Он не помешал технологическим гигантам выпускать свои LLM для сотен миллионов пользователей по всему миру и собирать их данные без должного контроля.

Между тем, последние тесты показывают, что даже самые совершенные LLM остаются ненадежными. Несмотря на это, ведущие ИИ-компании по-прежнему уклоняются от ответственности за ошибки своих систем.

К сожалению, склонность LLM распространять дезинформацию и воспроизводить предубеждения не решается постепенными улучшениями. А с появлением агентного ИИ (agentic AI), где пользователи вскоре смогут поручать моделям целые проекты (например, организацию отпуска или оптимизацию ежемесячных платежей), потенциал для проблем умножится.

Возникающая область нейросимволического ИИ (neurosymbolic AI) потенциально способна решить эти проблемы, одновременно снижая гигантские объемы данных, необходимых для обучения LLM. Так что же такое нейросимволический ИИ и как он работает?

Проблема LLM: Глубокое обучение и его ограничения

LLM работают на основе глубокого обучения (deep learning). Их обучают на огромных массивах текстовых данных, и они с помощью сложной статистики выявляют закономерности, определяющие, каким должно быть следующее слово или фраза в ответе. Каждая модель со всеми усвоенными паттернами хранится в массивах мощных компьютеров в крупных дата-центрах — нейронных сетях.

LLM могут создавать видимость рассуждений через процесс «цепочки мыслей» (chain-of-thought), генерируя многошаговые ответы, которые имитируют, как человек логически приходит к выводу, основываясь на паттернах из обучающих данных.

Безусловно, LLM — великое инженерное достижение. Они впечатляюще справляются с суммаризацией текста и переводом и могут повысить продуктивность тех, кто достаточно усерден и компетентен, чтобы замечать их ошибки. Тем не менее, их потенциал вводить в заблуждение огромен, потому что их выводы всегда основаны на вероятностях, а не на понимании.

Распространенный подход — «человек в цикле» (human-in-the-loop): обеспечить, чтобы окончательные решения принимал человек. Однако возложение вины на людей проблему не решает. Они все равно часто будут попадать под влияние дезинформации.

LLM теперь требуют настолько много обучающих данных для прогресса, что приходится кормить их синтетическими данными, то есть данными, созданными другими LLM. Эти данные могут копировать и усиливать ошибки из исходных данных, так что новые модели наследуют слабости старых. В результате затраты на повышение точности ИИ после обучения (так называемая «постфактумная адаптация модели» или «post-hoc model alignment») стремительно растут.

Программистам также становится все сложнее понять, что пошло не так, поскольку количество шагов в «рассуждениях» модели постоянно увеличивается, делая исправление ошибок трудновыполнимой задачей.

Нейросимволический ИИ: Объединение силы и разума

Нейросимволический ИИ сочетает прогностическое обучение нейронных сетей с обучением ИИ набору формальных правил, которые люди усваивают для надежных рассуждений. К ним относятся:

• Логические правила: «Если А, то Б» (например, «Если идет дождь, то все снаружи обычно мокрое»).

• Математические правила: «Если А=Б и Б=В, то А=В».

• Согласованные значения слов, диаграмм, символов.

Часть этих правил вводится в систему ИИ напрямую, а часть она выводит сама, анализируя обучающие данные и выполняя «извлечение знаний» (knowledge extraction).

Это должно создать ИИ, который никогда не галлюцинирует и учится быстрее и умнее, организуя свои знания в четкие, переиспользуемые блоки. Например, если у ИИ есть правило о том, что вещи становятся мокрыми снаружи во время дождя, ему не нужно хранить каждый пример мокрых предметов — правило применимо к любому новому объекту, даже никогда ранее не встречавшемуся.

В процессе разработки модели нейросимволический ИИ интегрирует обучение и формальные рассуждения через «нейросимволический цикл». Частично обученная ИИ извлекает правила из данных, затем встраивает это консолидированное знание обратно в сеть перед дальнейшим обучением.

Это энергоэффективнее, так как ИИ не нужно хранить столько данных. Система более подотчетна, потому что пользователю легче контролировать, как она приходит к выводам и улучшается со временем. Она справедливее, так как ее можно заставить следовать предустановленным правилам, например: «Любое решение ИИ не должно зависеть от расы или пола человека».

Третья волна ИИ

Первую волну ИИ в 1980-х, символический ИИ, как раз и основывали на обучении компьютеров формальным правилам. Глубокое обучение стало второй волной в 2010-х. Многие видят в нейросимволическом ИИ третью волну.

Проще всего применять нейросимволические принципы в узкоспециализированных областях, где правила можно четко определить. Неудивительно, что первые успехи мы видим в AlphaFold от Google (предсказание структуры белков для разработки лекарств) и AlphaGeometry (решение сложных геометрических задач).

Для более универсальных ИИ китайская компания DeepSeek использует технику обучения «дистилляцию» (distillation), что является шагом в том же направлении. Но для полной реализуемости нейросимволического ИИ в общих моделях необходимы дальнейшие исследования, чтобы улучшить их способность выявлять общие правила и выполнять извлечение знаний.

Неясно, в какой степени разработчики LLM уже работают над этим. Они, безусловно, заявляют о движении в сторону обучения моделей «думать» умнее, но при этом кажутся приверженными стратегии масштабирования за счет все больших объемов данных.

Продолжение и вывод (Добавлено):

Реальность такова, что для истинного прогресса ИИ нам нужны системы, которые:

1. Адаптируются к новому на основе лишь нескольких примеров.

2. Проверяют свое понимание.

3. Могут выполнять несколько задач и переиспользовать знания для повышения эффективности данных.

4. Способны к надежным, сложным рассуждениям.

Таким образом, хорошо продуманные цифровые технологии могли бы даже предложить альтернативу жесткому регулированию, поскольку необходимые сдержки и противовесы были бы встроены в саму архитектуру и, возможно, стандартизированы в отрасли. Предстоит долгий путь, но, по крайней мере, путь вперед с нейросимволическим подходом обозначен. Его развитие — не просто техническое усовершенствование, а необходимое условие для создания по-настоящему надежного, ответственного и полезного искусственного интеллекта, способного интегрироваться в нашу жизнь без риска системных сбоев и дезинформации в масштабе.