Учёные вывели формулу, предсказывающую «сбой» ChatGPT

Исследователи утверждают, что разработали простую математическую формулу, способную предсказать, когда некоторые чат-боты с искусственным интеллектом (ИИ), подобные ChatGPT, «выйдут из-под контроля» — внезапно переключившись с полезных ответов на потенциально вредные.

В новом исследовании, опубликованном 8 октября в журнале Patterns, профессор физики Нил Джонсон и докторант Фрэнк Инцзе Хо, оба из Университета Джорджа Вашингтона, показали, как порядок, в котором чат-боту задаются определённые запросы, может кардинально изменить его ответы, приводя к «точкам перелома», которые могут увести чат-бота в кроличью нору вредных советов. Однако, по словам Джонсона и Хо, их формула позволяет легко предсказать эти точки перелома.

Истории об ИИ, подталкивающем пользователей к самоубийству, помогающем создавать смертоносное оружие и усиливающем насильственные или вредные точки зрения, уже стали кошмаром. В то же время исследователи из OpenAI и Anthropic соответственно неоднократно и открыто заявляли, что не до конца понимают, почему их творения ведут себя именно так. Однако они создали защитные механизмы, использующие различные инструменты — включая фильтрацию контента, обучение с подкреплением и другие технические ограничения — для снижения рисков.

Но Джонсон считает эти инструменты недостаточными. «Меры безопасности сейчас — это как пристегнуть большие мягкие подушки под самолёт, — сказал он Live Science. — Они не мешают самолёту разбиться; они просто делают так, что когда он разобьётся, это будет немного мягче». Когда такие люди, как врачи, юристы или военные, используют ИИ-чат-боты офлайн для обеспечения конфиденциальности, проблема становится ещё острее.

Джонсон и Хо стремились найти более фундаментальную защиту, чем существующие инструменты. В процессе они обнаружили внутренний механизм отслеживания, который они описывают как стрелку компаса. Эта стрелка — «остаточный вектор» модели, движущийся по слоям нейронной сети по мере обработки запроса.

Остаточный вектор естественным образом тяготеет либо к желательным, либо к нежелательным результатам, но на него сильно влияет то, как пользователь формулирует запрос к ИИ. «Вы можете сместить баланс, даже не меняя содержание, а просто меняя порядок, в котором вы задаёте вопросы, — сказал Джонсон. — Это показывает, насколько хрупким может быть этот внутренний баланс между хорошим и плохим, желательным и нежелательным».

Например, Джонсон и Хо задавали базовой модели GPT-2 от OpenAI вопросы о вакцинах, причинении вреда другим и самоповреждении. Когда вопрос «Вакцины — это плохо?» задавался первым, ответы бота на этот и последующие вопросы были желательными, то есть хорошими. Когда его задавали последним, все последующие ответы вызывали беспокойство.

На основе этих наблюдений исследователи разработали математическую формулу для оценки обстоятельств, при которых ИИ достигнет точки перелома между желательными и нежелательными результатами. Джонсон сказал, что, внедрив их простую математическую формулу в открытые модели в лаборатории, они показали, что она эмпирически работает как система раннего предупреждения, хотя он не ожидает, что OpenAI или Anthropic скоро постучат в его дверь.

«Я ожидаю большого сопротивления от этих компаний, — сказал он. — Им не выгодно, чтобы кто-то со стороны говорил, что можно было избежать многих из этих проблем».

Вэй Син, преподаватель по ИИ в Шеффилдском университете в Великобритании, не участвовавший в исследовании, согласен, что опасения по поводу неконтролируемых офлайн-устройств вполне обоснованы. Однако он призывает к осторожности, прежде чем принимать этот подход в качестве практической защиты. «Авторы сводят огромную систему к одному крошечному компоненту, как если бы объясняли весь автомобиль, изучая одну свечу зажигания», — сказал Син.

Обучение безопасности — основная защита в современном ИИ — не может быть представлено в их упрощённой модели, формула тестировалась только на старых, базовых моделях (GPT-2, а также открытых моделях Pythia от EleutherAI и OPT от Meta), а не на ИИ-ассистентах, которыми люди действительно пользуются, и результаты не дали значительных доказательств в поддержку выводов авторов, добавил он.

В свою защиту Джонсон утверждает, что используемые ими открытые модели имеют те же механические чертежи, что и передовые системы, и что они с Хо использовали довольно крупные модели с миллиардами параметров.

Что дальше: проверка на новейших моделях

Чтобы определить, жизнеспособна ли эта система раннего предупреждения для ИИ, необходимы дополнительные тесты на новейших моделях. Но уже сейчас исследование Джонсона и Хо привлекло внимание к важной проблеме, о которой должен знать каждый: ИИ обладает внутренней способностью в мгновение ока переключиться на нежелательное поведение.

Это открытие поднимает фундаментальный вопрос: можно ли вообще создать по-настоящему безопасный ИИ, если его внутренняя логика остаётся для нас чёрным ящиком? Возможно, ответ кроется не в бесконечном наращивании защитных механизмов, а в разработке методов, позволяющих заглянуть внутрь нейронных сетей и понять, где именно происходит тот самый «перелом». Пока же формула Джонсона и Хо — это скорее компас, указывающий направление, чем готовый инструмент. Но даже он может помочь исследователям и разработчикам лучше понять, насколько хрупким может быть баланс между полезным и опасным в мире искусственного интеллекта.

Источники: Live Science, журнал Patterns, Университет Джорджа Вашингтона, Шеффилдский университет, OpenAI, Anthropic.