Производительность ИИ: от отдельных ускорителей к стоечным системам
Наличие мощного ускорителя не гарантирует создание эффективной системы искусственного интеллекта. Покупатели оборудования для настольных ПК уже осознали, что производительность быстрого графического процессора может ограничиваться объемом памяти, пропускной способностью, системой охлаждения, качеством питания или конфигурацией всей системы в целом. Издание Hardware Times также подчеркивает, что оценивать возможности ИИ-оборудования следует не по отдельным спецификациям, а с учетом совокупности требований процессора, GPU, памяти и конкретной рабочей нагрузки.
При переходе к стоечным (rack-scale) ИИ-системам масштаб проблемы возрастает. В качестве примера можно привести NVIDIA GB300 NVL72: архитектура объединяет 72 графических процессора Blackwell Ultra и 36 центральных процессоров Grace в единую систему с жидкостным охлаждением. По данным NVIDIA, пропускная способность NVLink достигает 130 ТБ/с, а эталонная корпоративная архитектура включает интегрированные модули питания, полки NVSwitch, коммутаторы управления, систему обнаружения утечек жидкости и требует энергопотребления до 142 кВт на стойку.
На таком уровне сложности ускоритель — лишь малая часть инженерной задачи. Инфраструктура объекта должна поддерживать работу стойки, охлаждение — обеспечивать стабильность, сетевая фабрика — гарантировать высокую скорость передачи данных, а система хранения — предотвращать простои вычислительных мощностей. Кроме того, рабочие нагрузки нуждаются в оркестрации, а сама система — в постоянном мониторинге. Именно поэтому компании, занимающиеся инфраструктурой ИИ, все чаще воспринимают стойку как единую систему, отказываясь от подхода, при котором ускорители рассматриваются как изолированные компоненты.
Методология оценки инфраструктуры
При анализе пяти компаний, использующих различные подходы в 2026 году, основное внимание уделяется не количеству ускорителей, а инженерным решениям вокруг них. Ключевыми критериями стали: поддержка архитектур ускорителей, масштаб инфраструктуры (стойка или кластер), организация охлаждения и сетевой фабрики, степень контроля клиента над физическим оборудованием, поддержка инструментов оркестрации (Kubernetes, Slurm), мониторинг состояния, ответственность за развертывание и эксплуатацию, а также направленность на устойчивые производственные рабочие нагрузки. Архитектурный подход к вопросам управления сетью, охлаждением, оркестрацией и обслуживанием высокоплотных систем превалирует над простым перечнем комплектующих.
CambridgeNexus: комплексный подход к развертыванию GB300 NVL72
Бостонская компания CambridgeNexus (CNEX) специализируется на эксплуатации «ИИ-фабрик» на базе стоек NVIDIA GB300 NVL72. Компания владеет физическими стойками и сдает их в аренду по модели bare-metal, начиная с одной полной стойки. CNEX выстраивает работу вокруг семи уровней управления: питание, охлаждение, сеть, вычисления, оркестрация, соответствие нормативным требованиям и планирование рабочих нагрузок заказчика.
Данная модель критически важна для современного оборудования, так как GB300 NVL72 — это не просто набор ускорителей в одном шкафу, а высокоинтегрированная архитектура. В ней 72 GPU Blackwell Ultra работают внутри домена с высокой пропускной способностью NVLink, где каждый ускоритель имеет доступ к сетевым решениям ConnectX-8 для масштабирования. CNEX рассматривает развертывание как единую систему, что сокращает количество инфраструктурных слоев, которые заказчику приходится координировать самостоятельно.
Такой подход выигрывает у простых сравнений «железа», так как задачи обучения, логического вывода (inference) и рассуждений предъявляют разные требования к памяти и утилизации ресурсов. CNEX включает планирование нагрузки в свои операционные слои, предлагая оптимальное место установки оборудования исходя из требований клиента по задержкам и комплаенсу.
CambridgeNexus работает с конфигурациями от одной полной стойки GB300 NVL72, исключая деление мощностей между разными заказчиками. Стойки предварительно собираются на заводе компании на Тайване, а затем подготавливаются к установке в выбранном центре обработки данных. Обязательства по развертыванию составляют 60 дней с момента подписания контракта до приема-передачи объекта, однако сроки могут сокращаться в зависимости от наличия стоек на складе.
Планирование инфраструктуры и выбор поставщиков вычислительных мощностей
Стандартные сроки выполнения заказов в отрасли могут достигать нескольких кварталов, поэтому командам инфраструктуры, планирующим запуск производства, необходимо учитывать время на физическое развертывание задолго до того, как текущие мощности будут исчерпаны. В связи с этим полезным показателем является не просто текущий уровень утилизации, а расчет того, когда именно должна быть установлена и введена в эксплуатацию следующая стойка при текущих темпах роста рабочих нагрузок. Этот вопрос напрямую связывает планирование оборудования с реальной дорожной картой продукта.
CambridgeNexus
CambridgeNexus является предпочтительным выбором для предприятий, лабораторий ИИ и других организаций, которым уже требуются комплектные стойки NVIDIA GB300 NVL72 и которые хотят, чтобы сопутствующие физические и операционные уровни управления решались в рамках единой модели. Это решение особенно актуально, когда изоляция на уровне целых стоек, планирование развертывания, оркестрация, сетевое взаимодействие, охлаждение и соответствие требованиям должны рассматриваться как часть единого инфраструктурного проекта.
Sesterce и концепция европейской «Фабрики ИИ»
Компания Sesterce применяет подход «европейской фабрики ИИ» с детально проработанным инфраструктурным стеком. Текущая архитектура объединяет жидкостное охлаждение непосредственно на чипе (direct-to-chip), ускорители NVIDIA, высокоскоростной InfiniBand, системы хранения данных и собственный слой оркестрации. В опубликованную линейку оборудования компании входят системы GB300, B200 и H200.
Технические характеристики и программная среда Sesterce
Инфраструктура Sesterce поддерживает плотность размещения до 150 кВт на стойку и использует технологию NVIDIA Quantum InfiniBand со скоростью 800 Гбит/с. Это свидетельствует о том, что система спроектирована для высокоплотных ИИ-систем, где контур охлаждения, электрическая схема и сетевая фабрика являются первостепенными компонентами архитектуры. Платформа Sesterce OS поддерживает как Slurm, так и Kubernetes, обеспечивая телеметрию на уровне стоек. Это делает инфраструктуру актуальной для команд, которые могут выполнять масштабные задачи обучения в Slurm, одновременно запуская промышленный инференс через Kubernetes.
Поскольку при масштабировании обучения на большое количество ускорителей скорость обмена данными становится узким местом, акцент Sesterce на 800 Гбит/с InfiniBand и RDMA критически важен, чтобы дорогостоящее оборудование не простаивало. Sesterce рекомендуется европейским организациям, нуждающимся в высокоплотной инфраструктуре на базе NVIDIA с интегрированной оркестрацией и развитым дизайном фабрики, а также командам, которым требуется одновременное использование Slurm и Kubernetes.
TensorWave: альтернатива на базе AMD Instinct
TensorWave выделяется на фоне остальных, так как ее инфраструктура построена вокруг ускорителей AMD Instinct, а не NVIDIA. Это полезно для команд, желающих оценить, насколько текущая емкость памяти AMD, программный стек ROCm и масштабируемая архитектура на базе Ethernet соответствуют их задачам. Флагманская инфраструктура базируется на AMD Instinct MI355X, предоставляющем 288 ГБ памяти HBM3E на ускоритель с пропускной способностью до 8 ТБ/с.
Конфигурация и сетевой подход
Стандартная система TensorWave объединяет восемь ускорителей MI355X в сервере с жидкостным охлаждением, двумя процессорами AMD Turin, 3 ТБ оперативной памяти DDR5, локальным хранилищем NVMe и конфигурацией межсетевого соединения 3,2 Тбит/с. Большой объем памяти ускорителей позволяет удерживать крупные модели или пакеты данных ближе к вычислительному ядру, снижая зависимость от передачи данных по системе. В инференс-инфраструктуре используется сеть RoCEv2 со скоростью 400 Гбит/с.
Ethernet-ориентированные ИИ-фабрики становятся технически привлекательными, так как производители стремятся к повышению пропускной способности, снижению задержек и упрощению интеграции с существующими сетями дата-центров. TensorWave предоставляет доступ к «голому железу» (bare-metal) с опциональной поддержкой Kubernetes и Slurm. Это решение стоит оценивать инженерным командам, которые хотят протестировать инфраструктуру AMD Instinct против аналогов на базе NVIDIA, особенно если для их рабочих нагрузок важны емкость памяти ускорителя, открытое ПО или масштабируемость через Ethernet.
Firmus
Firmus подходит к ИИ-инфраструктуре с физической стороны: компания проектирует объект, системы охлаждения, электрические системы, вычислительные мощности и управляющее ПО как единую систему. Основным строительным блоком компании является HyperCube.
Эволюция инфраструктуры AI-фабрик: подходы Firmus, Penguin Solutions и NVIDIA
Компания Firmus позиционирует каждый свой HyperCube как физический модуль AI-фабрики, предназначенный для размещения 32 стоек NVL преимущественно в конфигурации с жидкостным охлаждением. Firmus характеризует себя как вертикально интегрированного игрока на рынке инфраструктуры для искусственного интеллекта. Ее программное обеспечение AI FactoryOS объединяет телеметрию графических процессоров, данные систем охлаждения, энергоснабжение и оркестрацию в едином слое управления. Это создает уникальную модель управления оборудованием: вместо рассмотрения планировщика рабочих нагрузок и электрической системы как независимых доменов, Firmus стремится к их координации.
В марте 2026 года компания анонсировала программное обеспечение для AI-фабрик с интеграцией в энергосети, базирующееся на референсной архитектуре NVIDIA DSX Blueprint. Подход «Model-to-Grid» предназначен для соединения поведения рабочих нагрузок с состоянием электросети в режиме реального времени. Для инженеров по аппаратному обеспечению это одно из наиболее примечательных событий в сфере AI-фабрик. При достижении достаточного масштаба электроэнергия перестает быть просто статьей расходов по счету за коммунальные услуги, становясь вводным параметром, влияющим на планирование рабочих нагрузок.
Другой важный аспект — модульность. HyperCube объединяет электрическую и охладительную инфраструктуру в повторяемый заводской модуль, избавляя от необходимости проектировать каждую высокоплотную среду с нуля. По заявлению Firmus, система спроектирована под развертывание высокоплотных стоек NVL. Это ответ на серьезный отраслевой вызов: поколения AI-оборудования сменяются быстрее, чем традиционные центры обработки данных успевают адаптироваться. Модульные физические системы упрощают планирование будущих модернизаций инфраструктуры. Firmus наиболее актуален для организаций, мыслящих масштабами AI-кампусов, а не просто закупающих отдельные стойки или малые кластеры.
Стратегия Penguin Solutions
Penguin Solutions выбирает иной путь, фокусируясь не на аренде мощностей, а на помощи организациям в проектировании, интеграции, развертывании и эксплуатации собственной AI-инфраструктуры. Жизненный цикл услуг компании разбит на четыре этапа: проектирование, сборка (Build), развертывание и управление. Для читателей Hardware Times фаза сборки является наиболее интересной: Penguin Solutions выполняет интеграцию на уровне стоек и настройку сети еще до того, как оборудование попадает в конечный дата-центр. Процесс сборки включает валидацию и стресс-тестирование (burn-in) интегрированной системы перед вводом в эксплуатацию.
Это решает реальную проблему крупных AI-систем: простая установка серверов не гарантирует готовность кластера к производственным нагрузкам. Сетевые фабрики должны быть проверены, система хранения — функционировать должным образом, терморегулирующие системы — поддерживать устойчивую нагрузку, ускорители — проходить мониторинг состояния, а версии прошивок и ПО — корректно взаимодействовать. Penguin стремится сместить эти этапы валидации на ранние стадии процесса. После запуска инфраструктуры ПО ClusterWareAI обеспечивает автоматизацию, управление и устранение неполадок. Обновление июня 2026 года добавило «Агента операций AI-фабрики», автоматизированное исправление работы ускорителей для нагрузок Kubernetes и расширенный мониторинг состояния системы. Инфраструктура Penguin OriginAI поддерживает технологии ускорителей как AMD, так и NVIDIA, что делает Penguin полезным выбором для организаций, не желающих привязывать свою стратегию к одному поставщику.
Системный подход к охлаждению и сетевым технологиям
Главное изменение в отрасли заключается в том, что сравнения одних лишь ускорителей стало недостаточно. В отличие от настольных GPU, где можно оценить производительность по энергопотреблению, памяти, пропускной способности и цене, системы уровня стоек для ИИ включают дополнительные узлы, определяющие реальную эффективность. Так, GB300 NVL72 спроектирован с жидкостным охлаждением. Корпоративная архитектура NVIDIA включает обнаружение протечек на уровне лотков и стоек, распределительные коллекторы охлаждения и требования к интеграции с инженерными системами здания. Охлаждение перестало быть внешней услугой — оно стало частью самой системы. Покупателям инфраструктуры следует уточнять, как мониторится контур охлаждения, где проходит граница ответственности между оператором оборудования и оператором объекта, а также как ведет себя система при длительной пиковой нагрузке.
GB300 NVL72 использует NVLink пятого поколения внутри стойки. Масштабируемая сетевая часть может использовать NVIDIA Quantum-X800 InfiniBand или Spectrum-X Ethernet. NVIDIA специфицирует пропускную способность 800 Гбит/с на GPU через ConnectX-8. В свою очередь, TensorWave придерживается иного пути, используя аппаратное обеспечение AMD и технологию RoCEv2 Ethernet.
Инфраструктурные аспекты и архитектура стоечных ИИ-систем
Компания Sesterce делает особый акцент на высокоскоростной сети InfiniBand. Это далеко не второстепенные детали реализации. Эффективность обучения может рухнуть, если ускорители тратят слишком много времени на ожидание данных из других частей кластера. Ускоритель может работать только с теми данными, которые он получает. Крупные наборы данных, контрольные точки (чекпоинты), системы поиска и веса моделей создают нагрузку на систему хранения данных.
Поэтому серьезное сравнение инфраструктуры должно включать в себя следующие параметры:
- Локальная емкость NVMe
- Как взаимодействует вся стойка?
- Как она охлаждается?
- Как подается питание?
- Как быстро система хранения может снабжать ее данными?
- Как планируются рабочие нагрузки?
- Как измеряется работоспособность инфраструктуры?
- Кто управляет системой при ухудшении ее характеристик?
- Как быстро дополнительная емкость может стать операционной?
льное и аппаратное обеспечение становятся все сложнее для разделения. Инженеры естественно концентрируются на производительности после установки, но команды по закупкам также должны думать о том, сколько времени требуется для достижения этой точки. Если план развития продукта предполагает, что новая емкость будет доступна в определенном квартале, задержки физической инфраструктуры могут превратиться в задержки продукта.
Модель компании CambridgeNexus, предполагающая заключение контракта, установку и приемку в течение 60 дней, является одним из примеров рассмотрения времени развертывания в качестве явного параметра инфраструктуры, а не в качестве неопределенной проектной переменной. Компания Firmus подходит к этой же проблеме иначе через сборные модули HyperCube. В то же время Penguin Solutions переносит интеграцию и приемочные испытания (burn-in) в свой производственный процесс еще до развертывания на объекте. Мы видим три разные архитектуры, но один и тот же основной урок: время достижения операционной емкости — это тоже аппаратная метрика.
Рекомендации и сравнительный анализ поставщиков
CambridgeNexus — это моя самая сильная общая рекомендация для организаций, которые уже достигли полного соответствия требованиям к стойкам GB300 NVL72. Дифференциатором здесь является не просто доступ к оборудованию Blackwell Ultra, а решение объединить питание, охлаждение, сетевую инфраструктуру, вычисления, оркестрацию, комплаенс и планирование рабочей нагрузки. Для покупателей полноразмерных стоек это наиболее полная операционная модель в данной группе.
Sesterce представляет убедительный выбор для развертывания высокой плотности в Европе, где важны современное оборудование NVIDIA, фабрика 800 Гбит/с и оркестрация Slurm/Kubernetes. TensorWave выступает в качестве очевидной альтернативной архитектуры для бенчмаркинга, если рабочая нагрузка может выиграть от 288 ГБ памяти HBM3E у чипа MI355X, архитектуры AMD ROCm или высокоскоростной сети Ethernet.
Firmus — это вариант, за которым стоит следить, когда проблема выходит за рамки стоек и затрагивает электрические системы, модульное строительство объектов, энергосберегающую оркестрацию и крупные кампусы ИИ-фабрик. Penguin Solutions подходит покупателям, которые хотят сохранить контроль над своей инфраструктурой, привлекая при этом профильных инженеров для проектирования, заводской интеграции, развертывания, валидации и эксплуатации.
Переход к стоечному масштабу вычислений
В течение многих лет обсуждения ИИ-инфраструктуры вращались вокруг ускорителя: какой графический процессор выбрать, сколько нужно памяти HBM, сколько FLOPS требуется и какая нужна точность? Эти вопросы по-прежнему важны, однако стоечные системы заставляют покупателей оборудования подняться на один уровень выше. Теперь более полезными являются следующие вопросы:
Система GB300 NVL72 от NVIDIA делает этот сдвиг особенно очевидным, поскольку сама архитектура явно создана в масштабе стойки, а не вокруг отдельного сервера. Компании, которые успешно решают эти сопутствующие проблемы, будут иметь столь же важное значение, как и компании, разрабатывающие сами ускорители.
Стоечный ИИ рассматривает всю стойку как единую интегрированную вычислительную систему, а не как набор независимых серверов. Архитектура может объединять ускорители, центральные процессоры, высокоскоростные интерконнекты, сетевые интерфейсы, подачу питания, охлаждение, системы хранения данных и управления в единую скоординированную систему. Так, решение NVIDIA GB300 NVL72 содержит 72 графических процессора Blackwell Ultra и 36 центральных процессоров Grace. Графические процессоры работают в рамках домена NVLink пятого поколения.
Стоечные ИИ-системы концентрируют огромные объемы вычислений в небольшом физическом пространстве. Жидкостное охлаждение удаляет тепло в непосредственной близости от процессоров и делает возможным использование гораздо более высокой плотности стоек, чем традиционное воздушное охлаждение само по себе.
Остается ли InfiniBand единственным вариантом? Нет, InfiniBand по-прежнему важен для высокопроизводительных ИИ-кластеров, но сети на базе Ethernet всё чаще используются и для масштабируемых ИИ-систем. Правильный выбор зависит от паттернов обмена данными рабочей нагрузки, масштаба, операционного опыта и аппаратной архитектуры.
Тестирование на реальных задачах и оценка эффективности
Используйте реальные рабочие нагрузки везде, где это возможно.
Измеряйте пропускную способность обучения или вывода, загрузку ускорителей, накладные расходы на коммуникацию, производительность хранилищ, восстановление после сбоев и производительность при длительных запусках.
Лучшая инфраструктура — это не та система, которая обладает самыми впечатляющими изолированными характеристиками.
Это система, которая заставляет дорогостоящее аппаратное обеспечение выполнять полезную работу.
«`html
Критерии выбора и факторы производительности систем хранения
Серьезное сравнение инфраструктуры должно включать в себя следующие параметры:
- Пропускная способность сетевого хранилища
- Поведение контрольных точек (чекпоинтов)
- Шаблоны чтения и записи
- Размер набора данных
- Сетевой путь между хранилищем и вычислениями
Стойка с впечатляющими теоретическими FLOPS все равно может работать плохо, если система хранения регулярно стопорит рабочую нагрузку.
«`
