Huawei представила архитектуру Peerium: до миллиона ИИ-чипов как один компьютер
ШЭНЬЧЖЭНЬ — Инженеры в Китае построили новую компьютерную архитектуру, которая, по их словам, однажды позволит объединить в единое целое до миллиона чипов искусственного интеллекта (ИИ). Для сравнения: ИИ-компания Илона Маска SpaceXAI (вскоре SpaceXSI) описывает свой кластер Colossus как самую мощную в мире систему обучения ИИ, насчитывающую 200 000 взаимосвязанных чипов .
Традиционно ИИ-чипы, используемые для обучения фундаментальных моделей, размещаются в отдельных серверах и общаются по сети для обмена данными и разделения рабочих нагрузок. Но новая архитектура Peerium использует высокоскоростную систему межсоединений, предназначенную для поддержания эффективной связи между чипами в нескольких стойках даже при масштабировании их числа до сотен тысяч .
Huawei представила новую архитектуру 17 сентября на своей ежегодной конференции CONNECT. Представители Huawei заявили в пресс-релизе, что компьютеры на базе Peerium смогут обучать модели с числом параметров до 40 триллионов. Для сравнения: конкурирующее оборудование, такое как GB200 NVL72 от NVIDIA и CS-3 от Cerebras, сообщало об обучении на уровне триллионов параметров, а не десятков триллионов .
«В течение следующих двух лет в Китае будет примерно 6 или 7 передовых ИИ-лабораторий, и все они будут нацелены на обучение фундаментальных языковых моделей размером от 10 до 40 триллионов параметров», — сказал Associated Press Ляо Хэн, главный научный сотрудник подразделения Huawei по разработке чипов HiSilicon. «Так что вам нужна инфраструктура такого масштаба, чтобы обучать эти модели» .
Технология, на которой основан Peerium
Производительность Peerium опирается на три элемента: вложенный параллелизм, унифицированную адресацию памяти и одноранговые межсоединения, заявили представители Huawei .
Вложенный параллелизм позволяет разбивать рабочие нагрузки на более мелкие задачи и организовывать их по иерархическим группам чипов, работающим параллельно. Это похоже на то, как компания делит работу на отделы, а затем на более мелкие команды, которые координируют усилия для достижения общей цели. Унифицированная адресация памяти позволяет процессорам обращаться к памяти других серверов, а не только к той, что подключена к собственному серверу процессора. Одноранговые межсоединения позволяют компонентам общаться более напрямую друг с другом, не полагаясь на посредника .
Все три принципа призваны обеспечить более эффективное использование вычислительных ресурсов, чтобы единая система могла координировать большее число чипов для решения требовательных ИИ-задач. По словам Huawei, существующие технологии межсоединений — связывающие процессоры и серверы для обеспечения их взаимодействия — не могут поддерживать архитектуру Peerium в задуманном масштабе. Например, NVIDIA использует NVLink для связи внутри стоек и InfiniBand для связи между стойками. Пропускная способность межстоечной связи в такой конфигурации составляет 200 ГБ в секунду, сообщил AP Эрик Сюй, председатель совета директоров Huawei. «С такой низкой пропускной способностью межстоечной связи невозможно заставить миллион процессоров работать как один компьютер», — сказал он .
Вместо этого Huawei разработала собственную технологию межсоединений UnifiedBus, которая, по словам компании, обеспечивает пропускную способность межстоечной связи до 800 ГБ в секунду. «Когда миллион процессоров работает как один компьютер, это закладывает основу для более качественного и эффективного обучения и вывода ИИ, — добавил Сюй. — Поэтому я вижу в UnifiedBus путь для будущей эры ИИ. Я believe, в ближайшие годы другие игроки непременно последуют этому примеру» .
Сшивание вычислительной сети
Вместе с Peerium Huawei также анонсировала Atlas 950 SuperPoD — вычислительную систему, построенную на Peerium и работающую на более чем 8 000 ИИ-ускорителей Huawei Ascend 950DT .
Сюй сказал, что тестирование обучения ИИ на этих SuperPoD уже идёт, и результаты показывают, что они используют доступную вычислительную мощность для обучения ИИ эффективнее, чем кластеры ИИ-вычислений, не основанные на Peerium и UnifiedBus. Huawei ожидает начать поставки SuperPoD не позднее начала следующего года, прежде чем её SuperClusters, объединяющие несколько SuperPoD в более крупную ИИ-вычислительную систему на базе Peerium, в конечном итоге заработают. Представители сообщили, что один SuperCluster с 256 000 вычислительных карт — аппаратных модулей, добавляющих вычислительную мощность, — в настоящее время развёртывается и тестируется .
Модели с большим числом параметров требуют больших вычислительных ресурсов и инфраструктуры, что не всегда желательно, поскольку увеличивает затраты. Летом исследователи использовали квантовый компьютер IBM, чтобы снизить перплексию языковой модели Meta Llama 3.1 8B — меру того, насколько хорошо она предсказывает следующее слово или токен, — почти не меняя число параметров .
Анонс Peerium и UnifiedBus — это не просто техническая новость, а заявка на пересмотр правил игры в области ИИ-инфраструктуры. До сих пор масштабирование обучения моделей упиралось в пропускную способность межстоечных соединений: чем больше чипов, тем сильнее узкое место на уровне обмена данными между стойками, и именно поэтому такие компании, как NVIDIA, строят всё более крупные «суперподы» внутри стоек, а не пытаются объединить миллионы чипов в единую систему. Huawei утверждает, что решила эту проблему, увеличив пропускную способность до 800 ГБ/с и предложив архитектуру, в которой память и вычислительные ресурсы распределяются и адресуются унифицированно.
Если заявленные характеристики подтвердятся в реальных задачах, это может дать китайским лабораториям преимущество в обучении моделей с десятками триллионов параметров — особенно в условиях, когда доступ к передовым чипам NVIDIA ограничен экспортным контролем. Однако скептики справедливо отмечают, что масштаб — не единственный критерий: эффективность обучения, надёжность, энергопотребление и стоимость эксплуатации такой гигантской системы остаются открытыми вопросами. Кроме того, успех Peerium зависит от программной экосистемы — способности компиляторов и фреймворков эффективно использовать вложенный параллелизм и одноранговые соединения. Huawei обещает поставки SuperPoD уже в начале следующего года, а развёртывание SuperCluster на 256 000 карт идёт прямо сейчас, так что первые независимые оценки эффективности могут появиться в течение года. Если они окажутся убедительными, это станет сигналом, что гонка ИИ-инфраструктуры переходит в новую фазу — от наращивания числа чипов к перестройке самой архитектуры взаимодействия между ними.
Источники: Live Science, Huawei (CONNECT 2026), Associated Press, NVIDIA, Cerebras, IBM.
