Компания xAI, принадлежащая Илону Маску и развивающая ИИ-модель Grok, столкнулась с серьезными трудностями при масштабировании вычислительной инфраструктуры. По данным издания The Information, в распоряжении компании находятся около 550 000 мощных графических ускорителей Nvidia H100 и H200, установленных в кластерах Memphis и Colossus. Однако на текущий момент реальная загрузка этих систем составляет лишь 11%.
Эти показатели означают, что из колоссального парка оборудования полезную работу выполняет лишь эквивалент 60 тысяч графических процессоров. Проблема заключается не в дефиците «железа», а в сложности управления столь масштабной структурой. При работе с сотнями тысяч ускорителей время простоя между этапами обучения, передачи данных и синхронизации возрастает экспоненциально, а любые узкие места в распределенной архитектуре становятся критическими для производительности всего комплекса.
Почему простаивают ускорители
По мнению экспертов, основная причина низкой эффективности кроется в недостаточной зрелости программного обеспечения и алгоритмов распределенного обучения, используемых в xAI. Графические процессоры вынуждены значительную часть времени находиться в режиме ожидания данных или задач. Стоит отметить, что масштабирование до столь огромных кластеров — одна из самых сложных задач в современной индустрии ИИ.
Для сравнения, гиганты рынка, такие как Google и Meta*, демонстрируют более высокие показатели загрузки оборудования — до 46% и 43% соответственно, хотя даже эти цифры далеки от идеала. В планах xAI значится повышение эффективности использования ресурсов до 50%, однако сроки достижения этой цели пока остаются неопределенными.
Ситуация с инфраструктурой xAI наглядно демонстрирует, что для развития передовых нейросетей одного закупа мощностей уже недостаточно. О том, как другие компании подходят к наращиванию вычислительных ресурсов, можно узнать из материала о том, как Google может выпустить до 15 млн ИИ-ускорителей TPU v9 в ближайшие годы.
* Компания Meta признана в России экстремистской и запрещена.
