Исследования показывают, что люди не смогут управлять сверхразумными машинами

Работа опубликована в Журнал исследований искусственного интеллекта. Опасность, которую может исходить от сверхразумного ИИ, описывается в блокбастерах о Терминаторе.

Представители различных научных дисциплин, в том числе специалисты из Центра людей и машин Института развития человека Макса Планка, решили проверить, как люди могут управлять сверхразумными роботами.

«Сверхразумная машина, управляющая миром, звучит как научная фантастика. Но уже есть роботы, выполняющие определенные важные задачи самостоятельно. При этом программисты совершенно не понимают, как они этому научились.

«В результате возникает вопрос: может ли этот процесс в какой-то момент стать неконтролируемым и опасным для человечества? »- говорит один из авторов исследования Мануэль Себриан, руководитель группы цифровой мобилизации Центра людей и машин Института Макса Планка.

Чтобы ответить на этот вопрос, ученые использовали моделирование и теоретические расчеты. Как оказалось, даже если вы поместите данные об этических принципах в сверхразумную машину и ограничите ее связь с внешним миром (например, отключите доступ в Интернет), это не спасет человечество от риска, что такая система выйдет наружу. контроля.

Дело в том, что, согласно теории информатики, любой из алгоритмов такого сдерживания — будь то программы об этических принципах или ограничении доступа к внешнему миру — уязвим и при определенных обстоятельствах вполне способен перевернуться. выкл.

Поэтому специалисты делают вывод, что человек просто не сможет управлять сверхразумным ИИ и ситуация рано или поздно может выйти из-под контроля.

«Мы утверждаем, что полное сдерживание, в принципе, невозможно из-за фундаментальных ограничений, присущих самому вычислению. Сверхразум будет содержать программу, включающую все программы, реализуемые универсальной машиной Тьюринга, потенциально столь же сложной, как состояние мира », — заключают исследователи.