Особенности охлаждения MSI XpertStation WS300
После публикации нашего обзора MSI XpertStation WS300 самым частым вопросом от читателей стал тепловой режим системы. Чип GB300 Grace Blackwell Ultra Superchip — это компонент с потреблением 1300 Вт, который обычно эксплуатируется в стоечных серверах с жидкостным охлаждением. Возникает логичное опасение: как он поведет себя в башенном корпусе? Этот вопрос справедлив, так как при достижении теплового предела система будет снижать производительность, а троттлинг при длительных операциях вывода (inference) сделает оборудование бесполезным. В нашем обзоре мы подтвердили, что WS300 сохраняет стабильность и не перегревается. Ответ кроется в данных MSI по проектированию системы охлаждения в сочетании с нашими замерами температуры, мощности и частот.
Работа жидкостного контура
Тепловой бюджет станции DGX определяется NVIDIA: для модуля GB300 установлен лимит мощности SuperChip в 1300 Вт. Вся система питается от одного блока на 1600 Вт, который также обеспечивает энергией накопители, помпы, вентиляторы и опциональную карту RTX PRO. Почти все 1300 Вт превращаются в тепло в четырех точках: графический процессор Blackwell Ultra с 252 ГБ памяти HBM3e, 72-ядерный процессор Grace, 496 ГБ памяти в четырех модулях SOCAMM LPDDR5X и адаптер ConnectX-8 SuperNIC с двумя оптическими портами 400GbE.
MSI установила водоблоки на все четыре компонента. Контур проходит через два 360-мм радиатора с шестью 120-мм вентиляторами. Дополнительный 120-мм корпусной вентилятор отвечает за обдув SSD и других компонентов, охлаждаемых воздухом. MSI рассчитала сборку на нагрузку в 1400 Вт для CPU и GPU, что примерно на 100 Вт превышает лимит, установленный NVIDIA для Superchip. Этот запас в 100 Вт является важным проектным решением. Контур, рассчитанный только на номинальную нагрузку, не оставит места для работы в теплом помещении, запыленного радиатора или снижения оборотов вентиляторов. Наличие запаса мощности означает, что кремний достигает своего лимита по электропитанию раньше, чем достигает теплового предела.
Данные водоблоков и методология MSI
MSI предоставила нам данные характеристик контура, называя методологию CIT (Component Integrity Test). Эти кривые являются эмпирическими: они получены в ходе повторяющихся циклов давления и температуры. Первый график, наиболее важный для инженера-теплотехника, отображает тепловое сопротивление (в °C/Вт) водоблоков GPU и CPU в зависимости от скорости потока хладагента, а также падение давления, создаваемое каждым блоком на помпу.
Водоблок GPU показывает сопротивление около 0,031 °C/Вт при потоке 0,3 л/мин. С ростом потока этот показатель резко падает, достигая 0,017 °C/Вт при 1,5 л/мин и 0,012 °C/Вт при 3 л/мин. Водоблок CPU, охлаждающий менее мощный компонент, демонстрирует сопротивление около 0,028 °C/Вт при 1,5 л/мин. Тепловое сопротивление — это множитель, переводящий ватты в градусы: при 1,5 л/мин каждые 100 Вт через водоблок GPU приводят к росту температуры на 1,7 °C относительно хладагента. При нагрузке 1000 Вт водоблок будет на 17 °C горячее воды.
Обратной стороной является падение давления, которое растет пропорционально квадрату скорости потока. При 1,5 л/мин водоблок GPU создает нагрузку на помпу в 1,1 PSI, а водоблок CPU — 1,9 PSI. После 2 л/мин кривые выравниваются, поэтому контур спроектирован для работы в диапазоне от 1,5 до 2 л/мин: дальнейшее увеличение потока дает незначительный выигрыш в охлаждении при значительном росте нагрузки на помпу.
Радиаторы, вентиляторы и акустика
Второй набор данных касается работы радиаторов. Параметр ATD (Ambient Temperature Difference) определяет рост температуры хладагента выше температуры окружающей среды после выхода из радиаторов. Это базовый показатель для всей системы, так как ни один компонент не может быть холоднее подаваемой воды.
MSI построила графики ATD в зависимости от тепловой нагрузки для пары 360-мм радиаторов при потоке от 1 до 2 л/мин, при 100% и 60% оборотов вентиляторов. При максимальной скорости вентиляторов радиаторы удерживают хладагент в пределах 5–9 °C выше температуры среды при нагрузке 1000 Вт и в пределах 8–12 °C при 1400 Вт. График при 60% PWM более реалистичен для офисного использования, так как никто не хочет работать рядом с постоянно ревущими вентиляторами. При 60% мощности ATD примерно удваивается: 10–16 °C при 1000 Вт и 15–23 °C при 1400 Вт, что является относительно небольшим штрафом. Даже при полной нагрузке Superchip и сниженных оборотах вентиляторов хладагент поступает в водоблоки, будучи не более чем на 23 °C выше температуры комнаты. Добавляя 17 °C роста температуры на водоблоке GPU, получаем около 40 °C выше температуры окружающей среды для системы Blackwell Ultra при нагрузке 1000 Вт, что полностью соответствует рабочему диапазону в любом обычном офисе.
Характеристики радиатора и анализ теплового режима системы
Финальный график MSI представляет собой кривую аэродинамического сопротивления радиатора. Она демонстрирует давление, которое вентиляторы должны преодолеть для проталкивания воздуха через массив ребер: при 135 CFM показатель достигает примерно 1 мм водного столба, а при 185 CFM — 2 мм. Низкое сопротивление сердечника позволяет вентиляторам работать на пониженных оборотах.
Результаты тестирования в реальных условиях
Для проверки расчетных показателей мы провели сессию длительностью 2,8 часа на конфигурации GB300, разбив её на пять этапов. Первым стал 75-минутный прогрев при устойчивой нагрузке на GPU. Затем последовала работа с моделью DeepSeek v4 Flash через vLLM по трем профилям: нагрузка с равным объемом входных и выходных токенов (512/512), нагрузка с преобладанием префилла (8192 входящих/1024 исходящих токена) и нагрузка с преобладанием декодирования (1024 входящих/8192 исходящих токена) с поэтапным увеличением параллелизма. Завершало тест окно наблюдения в режиме простоя.
Мониторинг телеметрии и температур
Телеметрия GPU, HBM, CPU и питания собиралась непрерывно. Температуры охлаждающей жидкости, воздуха в корпусе и системной платы фиксировались через BMC каждые пару минут. На протяжении всего периода прогрева кристалл Blackwell Ultra удерживал температуру 60°C, HBM3e был на 10°C теплее (70°C), а Grace — на уровне 64°C. Эти стабильные показатели при мощности GPU около 1000 Вт не демонстрировали роста в течение 75 минут, что является признаком выхода контура охлаждения на равновесное состояние с запасом по мощности.
Фазы инференса в среднем оказались «холоднее» из-за импульсного характера нагрузки: GPU снова достигал пика в 60°C при равной нагрузке и 58°C во время длительного декодирования, а HBM разогревался максимум до 73°C. Зубчатый вид графика DRAM является артефактом интервала опроса BMC; сама память LPDDR5X прогревалась максимум до 75°C. Самым горячим компонентом в системе большую часть времени оставался ConnectX-8 (76–77°C). В режиме простоя температуры GPU и HBM опускались до 33–36°C, а Grace — до 48°C.
Динамика системы охлаждения
Во время прогрева температура теплоносителя на выходе из радиатора составляла 37°C, а на выходе из водоблоков — 47°C (перепад 10°C по контуру). Температура воздуха в корпусе достигала 46°C, базовой платы BMC — 52°C, а самый горячий датчик на плате показывал 56°C. Все показатели выходили на плато в течение первых 15 минут и оставались стабильными, а после прекращения нагрузки возвращались к исходным значениям за считанные минуты. В простое температура подачи жидкости держалась на уровне 30–31°C.
Показатели энергопотребления и тактовых частот
При прогреве GPU потреблял около 995 Вт, а с учетом 85–90 Вт от процессора Grace общая мощность Superchip составляла около 1080 Вт. При равной нагрузке потребление GPU кратковременно достигало тех же 1000 Вт, при преобладании префилла — 1050 Вт, а фаза декодирования показала рост потребления с 500 Вт до чуть более 1000 Вт. Ни на одном из этапов энергопотребление Superchip не приближалось к лимиту в 1300 Вт, указанному на графике. В простое GPU потребляет 150–210 Вт, а вся система — 220–290 Вт.
Blackwell Ultra работал на частоте 2,07 ГГц на протяжении всего теста без просадок. Grace держался около 3,5 ГГц с естественным джиттером, HBM — на 4000 МГц, LPDDR5X — на 3200 МГц. В ходе тестов не наблюдалось ни температурных ограничений (проявляющихся в резких скачках частоты из-за работы алгоритма буста), ни ограничений по питанию. Система не была ни слишком горячей, ни ограниченной по мощности.
Сопоставление данных MSI и наших измерений
При перепаде температуры жидкости в 10°C и мощности 1080 Вт расчетный расход теплоносителя составляет около 1,5 литра в минуту, что соответствует характеристикам MSI. Согласно радиаторным кривым MSI, при 100% оборотах вентиляторов жидкость должна быть на 8°C теплее окружающей среды, а при 60% — на 14°C. Хотя мы не проводили калибровку внешнего датчика в лаборатории MSI, температура подачи 37°C согласуется с теплыми условиями в помещении и работой вентиляторов на скоростях существенно ниже максимальных.
При 1,5 л/мин измеренное сопротивление водоблока GPU составляет около 0,017 °C/Вт, что при 995 Вт прогнозирует рост на 17°C от жидкости до пластины водоблока. Мы зафиксировали разницу в 23°C между кристаллом Blackwell Ultra (60°C) и подачей (37°C). Разрыв в 6°C обусловлен термоинтерфейсом и конструкцией корпуса процессора — это небольшое значение для GPU такого размера. Водоблок функционирует согласно лабораторным данным MSI, а запас между кристаллом и охлаждающей жидкостью диктуется законами физики.
Температурный режим и эффективность охлаждения WS300
Графические процессоры NVIDIA для центров обработки данных не начинают снижать тактовую частоту, пока температура кристалла не превысит 80°C. Таким образом, при полной устойчивой нагрузке система WS300 оставляет запас примерно в 20°C между кристаллом Blackwell Ultra и порогом срабатывания механизмов терморегулирования, даже при поглощении контуром охлаждения 1 080 Вт мощности.
Даже в наихудшем сценарии, при достижении лимита потребления Superchip в 1 300 Вт, дополнительные 220 Вт мощности через пластину с тепловым сопротивлением 0,017 °C/Вт добавят менее 4°C к температуре GPU. График работы радиатора MSI демонстрирует, что при такой дополнительной нагрузке температура охлаждающей жидкости возрастает лишь на 2°C.
Практические выводы для покупателя
Система WS300 не подвержена троттлингу при устойчивой нагрузке во время инференса или синтетических тестов, так как её контур охлаждения рассчитан на мощность, превышающую лимит потребления Superchip. Замеренные температуры оставляют около 20°C температурного запаса для GPU, при этом память HBM и центральный процессор работают в еще более комфортных условиях относительно своих предельных значений.
Самым нагревающимся компонентом является сетевой адаптер ConnectX-8, именно поэтому он включен в общий контур охлаждения. Температура охлаждающей жидкости стабилизируется в течение 15 минут и восстанавливается за считанные минуты, что предотвращает накопление тепла при выполнении задач одна за другой.
Скорость вращения вентиляторов остается единственным рычагом управления балансом между уровнем шума и температурой хладагента. Данные MSI при 60-процентной нагрузке показывают, что система может значительно снизить интенсивность воздушного потока, прежде чем потребуется повышение оборотов вентиляторов.
Энергопотребление системы
Единственным аспектом, который не поддается оптимизации, остаются требования к электропитанию: в Северной Америке по-прежнему необходима цепь на 20 А. Потребление в режиме простоя находится в диапазоне от 220 до 290 Вт — это плата за поддержание 252 ГБ памяти HBM3e и 72-ядерного Arm-процессора в рабочем состоянии. Впрочем, при столь серьезных инвестициях в оборудование система вряд ли будет часто простаивать.
Данный отчет подготовлен при спонсорской поддержке MSI. Все взгляды и мнения, выраженные в этом отчете, основаны на объективном взгляде на рассматриваемый продукт.
