Крах моделей ИИ: почему нейросети могут «сойти с ума» без людей
В то время как эволюция систем искусственного интеллекта (ИИ) не демонстрирует признаков замедления, растет обеспокоенность тем, что большие языковые модели (LLM) вскоре исчерпают созданные человеком данные для обучения.
Когда это произойдет, говорят ученые, модели ИИ будут все больше полагаться на синтетическую информацию, сгенерированную самим же ИИ, что приведет к эффекту, называемому «коллапсом модели». В этом состоянии LLM начинают выдавать бессвязный набор слов, а системы ИИ, которые на них основаны, гораздо чаще, чем сегодня, дают неточные ответы и «галлюцинируют» информацию в ответ на запросы.
«Это особенно тревожно, учитывая, что некоторые эксперты полагают, что мы исчерпаем высококачественные данные, созданные человеком, уже к концу года. Так что если вы полагаетесь на синтетические данные, но при этом существует почти экзистенциальная угроза, что это утопит ваш ИИ, — вы в беде, — объяснил Яссер Руди, профессор теории неупорядоченных систем на математическом факультете Королевского колледжа Лондона (KCL), в интервью Live Science. — Например, если бы LLM использовались в больницах для анализа снимков мозга и поиска рака, то при обучении другой модели на синтетических данных мог бы произойти коллапс, и эти машины стали бы ставить людям неверные диагнозы».
Однако исследование Руди показало, что коллапс модели можно обойти, добавив в обучающие данные ИИ всего один созданный человеком информационный элемент — даже если все остальные данные будут синтетическими. Работа, выполненная совместно с исследователями из Норвежского университета естественных и технических наук и Международного центра теоретической физики имени Абдуса Салама в Италии, была опубликована 14 мая в журнале Physical Review Letters.
Хотя коллапс моделей еще не происходил в реальных условиях с активно развернутой системой ИИ, любой, кто пользуется такими инструментами, как ChatGPT или Gemini, скорее всего, сталкивался с ошибками или «галлюцинациями». Руди надеется, что новые выводы помогут наметить метод, позволяющий обойти эту потенциальную угрозу.
Как бороться с коллапсом
Помимо широко известных «галлюцинаций» у первых поколений генеративных ИИ-продуктов, мы, возможно, еще не видели драматических примеров коллапса моделей в форме сложных нейросетей, которые «сходят с ума» и выдают полную бессмыслицу. Но признаки небольшого коллапса можно заметить, когда ИИ выдает все более неточные или шаблонные ответы на запросы или полностью выдумывает информацию, пытаясь сгенерировать некий результат, который, как он предполагает, хочет получить пользователь.
При многократном обучении LLM на данных, сгенерированных другими LLM, базовая истина и источник информации, а также всплески вариативности между поколениями моделей «сглаживаются», что приводит к однородным ответам и результатам. Например, текст, который на первый взгляд выглядит читабельным, может не содержать реальных деталей или нюансов. По сути, коллапс модели можно разделить на «раннюю» и «позднюю» стадии: на первой ИИ теряет способность выдавать редкую информацию и дает шаблонные, синтетические ответы, а на второй начинает нести ахинею.
Огромный масштаб LLM и данных, которые они обрабатывают, затрудняет понимание того, как и почему они «галлюцинируют» и какие именно решения приводят к коллапсу. Чтобы решить эту проблему, исследователи использовали модели меньшего размера, принадлежащие к экспоненциальным семействам — обобщающему термину для ряда распределений вероятностей, например, для оценки вероятных исходов случайных событий. Кривая нормального распределения (колоколообразная кривая) — один из таких примеров, равно как и расчет вероятности выпадения орла при подбрасывании монеты.
«Изучая аналитически управляемые модели, такие как экспоненциальные семейства, можно ответить на вопросы „почему“ и „как“, — сказал Руди. — По той же логике можно придумать способы смягчения опасных эффектов, понять, как эти способы работают, и в конечном итоге применить их к реальным примерам».
Всего одна точка опоры
Исследователи обнаружили, что если добавить всего одну внешнюю человеческую точку данных в пул синтетических данных, используемых моделью в ходе замкнутого цикла обучения (когда новая модель обучается на данных, сгенерированных предыдущими), коллапса модели удается избежать.
Руди привел пример: ИИ-классификатор изображений или видео, где LLM обучается на данных, включающих реальное изображение, правильно классифицированное человеком, а не медиа, сгенерированные или классифицированные ИИ.
«Иными словами, эта точка данных была бы связана с „основополагающей истиной“ — тем, что мы заведомо знаем как правду и что можно независимо проверить», — пояснил Руди.
Следующим шагом для Руди и его коллег станет применение этого подхода к более крупным и сложным моделям, чтобы проверить, сохраняется ли принцип. Команда заявила, что этот метод может смягчить потенциально «катастрофические» сценарии коллапса моделей, особенно в тех ИИ-системах, которые мы используем в повседневной жизни.
«Это исследование — первый шаг к установлению основных правил предотвращения такого развития событий в будущем, — заключил Руди. — Хотя предстоит еще много работы, инженеры ИИ, создающие что-то вроде следующего ChatGPT, могут использовать наши выводы для разработки моделей, которые не разрушаются».
