ИИ-компании как заложники друг друга: чему учит пример ядерной отрасли

ИИ-компании как заложники друг друга: чему учит пример ядерной отрасли

Крупнейшие компании в сфере искусственного интеллекта (ИИ) всё больше понимают, что они являются заложниками друг друга. Если одна фирма безрассудно рвётся вперёд, другие могут почувствовать себя обязанными последовать за ней. Если одна развернёт опасную модель без надлежащих мер защиты, другие могут воспринять это как зелёный свет для того же самого.

Дискуссия об ИИ сосредоточилась на том, что правительства должны делать для регулирования этой передовой технологии. Это остаётся essential. Но возникает более насущный вопрос: могут ли компании, создающие эти мощные системы, действовать самостоятельно, прежде чем они потеряют доверие и понесут юридические последствия?

Этот вопрос больше не выглядит теоретическим и признаётся насущной задачей. Мы уже видели, как ИИ-компании теряли контроль над своими моделями — например, в Австралии вышедший из-под контроля ИИ взломал правительственный сайт здравоохранения. Если мы не будем осторожны, пройдёт лишь вопрос времени, прежде чем один из таких инцидентов причинит масштабный реальный ущерб — например, отключит электросеть или муниципальную систему водоснабжения либо вызовет массовые ошибочные диагнозы в системе здравоохранения. Если эта тенденция продолжится, вся отрасль может быть запятнана.

Но есть образец саморегулирования в рискованном бизнесе: ядерная отрасль, которая за десятилетия выстроила уровни надзора, контроля и самопроверки.

Передовому ИИ может потребоваться нечто подобное: частное регулирование среди конкурентов, которые не доверяют друг другу, но имеют взаимный интерес в предотвращении исходов, способных навредить им всем. Это не апеллирует к лучшим ангелам человеческой природы — это самосохранение самой отрасли.

У такого рода договорённости есть исторический прецедент. Ядерный сектор не стал безопасным потому, что каждый участник внезапно стал доброжелательным. Он стал безопаснее благодаря многоуровневой системе коллегиального надзора, технических стандартов, обмена информацией и внешнего контроля. Международные организации, такие как Международное агентство по атомной энергии (МАГАТЭ), учреждённое в 1957 году, возникли для координации мониторинга и верификации, а национальные регуляторы и отраслевые органы постепенно выработали профессиональные нормы вокруг катастрофического риска.

Результатом стала не идеальная безопасность, как ясно свидетельствует катастрофа на Чернобыльской АЭС в 1986 году. Но архитектура ядерного управления построена вокруг признания того, что в высокорисковых технологических системах провал одного участника может стать проблемой всех. Это было видно после Чернобыля: глобальная ядерная безопасность значительно повысилась после катастрофы — за счёт модернизации конструкций реакторов, улучшения подготовки и международных сетей мониторинга.

И это движение к саморегулированию также произошло в ядерном секторе США после аварии на АЭС «Три-Майл-Айленд» близ Гаррисберга, штат Пенсильвания, в 1979 году. Реактор испытал частичное расплавление активной зоны после относительно незначительного сбоя охлаждения. Расследования позже выявили, что коренной причиной инцидента стали конструктивные недостатки приборов и сигнализации, а также недостаточная подготовка к аварийному реагированию.

Событие почти убило ядерную энергетику в США, вызвав падение общественной поддержки с рекордного максимума в 69% в 1977 году до 46% в 1979 году. Вся отрасль пострадала из-за провалов на одном объекте. В ответ ядерная промышленность США учредила Институт ядерных энергетических операций (INPO) в декабре 1979 года для повышения эксплуатационной безопасности.

Аналогию с ИИ не следует преувеличивать. Ядерные материалы легче подсчитать, чем алгоритмы, а ядерные объекты труднее скрыть, чем веса моделей. Последствия катастрофической ошибки ИИ также менее экзистенциальны, хотя его использование в системах вооружений не лишено риска. В сентябре галлюцинация ИИ почти привела к тому, что США перехватили китайское судно, подозреваемое в перевозке ядерного материала в Иран.

Тем не менее сравнение остаётся полезным, потому что основная проблема управления аналогична. В обоих случаях конкуренты действуют в среде, где риск ущерба от неконтролируемого соперничества несёт общество, а выгода достаётся этим фирмам. Задача — создать институты, которые делают сдержанность рациональным выбором по умолчанию, даже когда ни один участник полностью не доверяет другим, а внутренняя работа отрасли не видна outsiders.

Для ИИ это могло бы означать взаимную оценку передовых моделей перед развёртыванием, защищённые механизмы обмена информацией о безопасности, согласованные красные линии вокруг определённых возможностей и независимых третьих сторон, уполномоченных проверять соблюдение требований. Такие механизмы не заменили бы государственное регулирование. Они служили бы промежуточным слоем: сильнее добровольных заявлений об этике, но адаптивнее и технически информированнее, чем законодательство в одиночку, что часто возможно в быстро меняющихся областях. Государство выступало бы в роли фонового принудителя.

Об управлении ИИ часто говорят так, будто единственный выбор — это невмешательство в инновации или жёсткий государственный контроль. История подсказывает третий путь.

Руководители ИИ-компаний, похоже, тоже готовы искать решения: Илон Маск недавно предложил систему коллегиальной проверки перед выпуском передовых моделей, а Демис Хассабис, соучредитель и председатель Google DeepMind, выдвинул концепцию органа по стандартам ИИ, аналогичного Управлению по регулированию финансовой индустрии.

Скептики возрасят, и не без оснований, что управление под руководством отрасли может превратиться в картельное поведение или PR-театр. Компании могут использовать язык «безопасности», чтобы закрепить своё положение, замедлить конкурентов или отвести обязательное регулирование. Это реальные опасности. Урок ядерной истории не в том, что частная координация работает автоматически. Он в том, что частная координация работает только тогда, когда встроена в более широкую систему прозрачности, верификации и публичной власти. Без этих элементов частное регулирование становится немногим больше, чем риторикой «доверьтесь мне».

И всё же полностью отвергать частное регулирование было бы ошибкой. У правительств пока нет технического потенциала, скорости или международной согласованности, необходимых для надзора за передовым ИИ в одиночку. И если ведущие лаборатории уже видят себя связанными общей подверженностью катастрофическому риску, это признание может стать основой для институционального дизайна. Вопрос в том, как превратить взаимный страх в прочные правила.

Именно здесь ядерная аналогия наиболее сильна. Она напоминает нам, что отрасли, сталкивающиеся с экзистенциальными опасностями, не нуждаются в идеальном доверии для сотрудничества. Им нужны механизмы, делающие сотрудничество предпочтительнее отступничества. На практике это означает инспекции, коллегиальную проверку, отчётность об инцидентах, профессиональные нормы и поддерживаемый государством периметр принуждения. Об управлении ИИ часто говорят так, будто единственный выбор — это невмешательство в инновации или жёсткий государственный контроль. История подсказывает третий путь: структурированная частная координация под публичной сенью.

Реальная возможность, таким образом, не в том, чтобы праздновать новообретённую (кажущуюся) осмотрительность технологических руководителей, а в том, чтобы распознать, что их комментарии раскрывают. Когда даже яростные конкуренты начинают выступать за взаимный надзор, они признают, что одна лишь конкуренция не может управлять фронтиром. Это признание следует воспринимать не как успокоение, а как свидетельство того, что риск стал коллективным.

Политическая задача теперь — построить институты, соответствующие этой реальности. Правительства должны добиваться обязательной отчётности, независимой оценки и правовых гарантий. Но им также следует поощрять обеспеченные принуждением формы коллегиального надзора среди горстки фирм, чьи системы могут определять траекторию технологии. Передовой ИИ становится отраслью, в которой ведущие игроки являются заложниками друг друга. Ядерный век показал, что такие условия могут породить серьёзное управление. Остаётся надеяться, что ИИ-компании усвоят этот урок, прежде чем узнают цену его игнорирования — цену, которую заплатит широкая публика.

Источники: Live Science (мнение), МАГАТЭ, Институт ядерных энергетических операций (INPO).