Домой Софт и приложения Linux openEuler внедряет поддержку SuperPoD и UnifiedBus для создания кластерных ИИ-систем

openEuler внедряет поддержку SuperPoD и UnifiedBus для создания кластерных ИИ-систем

Операционная система openEuler представила поддержку архитектуры SuperPoD и технологии UnifiedBus, позволяя объединять вычислительные узлы в единый кластер для работы с ИИ.

1
0

Развитие нейросетевых технологий требует мощных вычислительных ресурсов, которые чаще всего реализуются через объединение множества аппаратных узлов. Стандартные операционные системы на базе Linux традиционно ограничены рамками одного сервера, управляя памятью, процессором и периферией внутри одного устройства. Проект openEuler стремится изменить этот подход, предлагая решение для управления кластером как единой системой, что становится критически важным для производительности современных ИИ-вычислений.

Вычислительный комплекс SuperPOD от компании Huawei
Вычислительный комплекс SuperPOD от компании Huawei

Архитектура SuperPoD и технология UnifiedBus

Релиз openEuler 24.03 LTS SP3, выпущенный в декабре 2025 года, стал первой версией с полноценной поддержкой архитектуры SuperPoD. Разработчики позиционируют систему как первую в мире ОС, специально адаптированную для подобных масштабируемых комплексов. За взаимодействие между узлами в этой архитектуре отвечают технология UnifiedBus, а также специализированные компоненты UB OS Component и UB Service Core.

В отличие от классического Linux, где ресурсы распределяются локально, UnifiedBus позволяет приложениям обращаться к оперативной памяти и ускорителям, расположенным на других узлах, почти так же быстро, как если бы они находились в текущем сервере. По данным внутреннего тестирования openEuler, архитектура «равный с равным» (peer-to-peer) на базе UnifiedBus обеспечивает прирост производительности в задачах крупномасштабных вычислений ИИ на уровне от 30 до 50 процентов.

Происхождение и развитие проекта openEuler

Система openEuler выросла из внутренней разработки Huawei под названием EulerOS. В настоящее время дистрибутив развивается как проект с открытым исходным кодом под эгидой OpenAtom Foundation. Платформа поддерживает архитектуры Arm (включая процессоры Huawei Kunpeng), x86 и RISC-V. К концу 2025 года количество инсталляций проекта превысило 16 миллионов.

Технологии SuperPoD и UnifiedBus, ставшие основой обновленного стека openEuler, уже используются в различных решениях, таких как системы Atlas AI и комплексы для универсальных вычислений TaiShan 950. Открытый код компонентов UB обеспечивает прозрачность и доступность этих технологий для сообщества.

openEuler внедряет поддержку SuperPoD и UnifiedBus для создания кластерных ИИ-систем — иллюстрация 2 к материалу
Технология UnifiedBus позволяет распределять ресурсы памяти и ускорителей между узлами

Интеграция стека Intelligence BooM для ИИ-нагрузок

Важным дополнением стала платформа Intelligence BooM — полнофункциональное решение для работы с искусственным интеллектом, охватывающее все уровни программного стека. Инструментарий предназначен для упрощения настройки сред обучения и запуска крупных моделей, избавляя пользователей от необходимости ручной конфигурации инфраструктуры («AI plumbing»).

На низкоуровневом системном уровне openEuler реализует несколько ключевых функций повышения эффективности кластеров:

  • Гетерогенное объединение вычислительных ресурсов: формирование пула из различных типов чипов.
  • Совместные вычисления (co-computing): синхронная работа центральных и нейронных процессоров (CPU и NPU).
  • Memory pooling: общее использование памяти между различными машинами и ускорителями.
  • Разделение ресурсов ускорителей: возможность распределения одного акселератора между несколькими задачами для максимальной загрузки оборудования.

Для конечных пользователей компания развивает десктопную версию DevStation, которая включает встроенного ИИ-помощника. Этот ассистент способен упрощать установку ПО и настройку окружения через команды на естественном языке. В планах разработчиков — дальнейшее тестирование DevStation и интеллектуального помощника openEuler для решения повседневных задач и общей разработки.

openEuler внедряет поддержку SuperPoD и UnifiedBus для создания кластерных ИИ-систем — иллюстрация 3 к материалу
Архитектура openEuler для работы в эру искусственного интеллекта

Проблема сетевых ограничений в ИИ-кластерах

Традиционные подходы к построению вычислительных сред опираются на модель, где ОС ограничена одним «ящиком»: если пользователю требуется больше ресурсов, он просто добавляет еще один сервер и соединяет их через стандартную сеть. Однако для современных моделей искусственного интеллекта, работающих в рамках кластеров масштаба SuperPoD, такая сетевая архитектура становится критическим узким местом. В условиях, когда десятки стоек оборудования должны функционировать как единый гигантский компьютер, существующие проприетарные решения часто становятся барьером. Именно эту проблему стремится решить openEuler, делая код управления кластером открытым и доступным для широкого внедрения сообществом.

Техническая реализация взаимодействия узлов

Фундаментальное отличие версии 24.03 LTS SP3 заключается в том, что она снимает «границу одной машины». Технология UnifiedBus обеспечивает высокоскоростное соединение, а компоненты UB OS Component и UB Service Core реализуют системные и кластерные службы поверх этого интерфейса. В результате приложения получают прозрачный доступ к удаленным ресурсам — памяти и ускорителям, расположенным на других узлах — практически как к локальным. Это позволяет эффективно распределять задачи по всей вычислительной сети, превращая разрозненные серверы в единую, гармонично работающую систему.

Эволюция и масштаб экосистемы

Важно понимать контекст появления данных решений: SuperPoD и UnifiedBus изначально являются технологиями Huawei, которые нашли широкое применение в таких продуктах, как системы Atlas AI и комплексы для универсальных вычислений TaiShan 950. Перенос этих наработок в openEuler под управлением OpenAtom Foundation знаменует переход от закрытых проприетарных систем к открытому Linux-дистрибутиву. Проект демонстрирует впечатляющую динамику: благодаря поддержке различных архитектур, включая Arm, x86 и RISC-V, экосистема прошла отметку в 16 миллионов инсталляций к концу 2025 года, что подтверждает растущий интерес со стороны разработчиков и корпоративного сектора к открытым стандартам для ИИ-инфраструктуры.

openEuler внедряет поддержку SuperPoD и UnifiedBus для создания кластерных ИИ-систем — иллюстрация 4 к материалу
Схема и компоненты архитектуры Intelligence BooM для обучения ИИ

Будущее ИИ-инструментария: от инфраструктуры до десктопа

Intelligence BooM представляет собой полноценный программный стек «под ключ», который берет на себя все аспекты подготовки среды — от глубокого уровня ОС до высокоуровневых инструментов обучения моделей. Помимо очевидных преимуществ для серверов, разработчики уделяют внимание и оптимизации аппаратной загрузки. Ключевые методы включают:

  • Гетерогенное объединение (heterogeneous compute fusion): создание единого пула из чипов разных архитектур.
  • Совместные вычисления (co-computing): обеспечение синхронной работы CPU и NPU над одной задачей.
  • Пул памяти (memory pooling): динамическое распределение памяти между чипами и узлами.
  • Разделение акселераторов: дробление одного ускорителя для запуска нескольких параллельных нагрузок, что позволяет максимально эффективно использовать дорогие NPU и XPU.

Особое место в дорожной карте занимает сборка DevStation. Она ориентирована на повседневную разработку и предоставляет пользователям интеллектуального помощника, способного выполнять настройку окружения и установку программного обеспечения на основе естественного языка, тем самым снижая порог входа в работу с высокопроизводительными системами.

Источник: https://itsfoss.com