Комитет ASHRAE TC 9.9, формирующий тепловые стандарты для индустрии дата-центров, выпустил технический бюллетень под названием TCS Coolant Integrity and System Readiness Best Practices. Документ предупреждает, что требования безопасности и гарантии систем прямого охлаждения чипов легко нарушить. Выпущенный в мае бюллетень описывает четыре ключевые проблемы, из-за которых технологическая система охлаждения отклоняется от проектных параметров. Эти изменения остаются незаметными на этапе ввода в эксплуатацию, но приводят к поломкам спустя месяцы.
Документ подготовлен при участии инженеров из Dell, IBM, AMD, Vertiv, Oracle, а также компаний Fluid2Chip и DLB Associates. Необходимость публикации вызвана массовым внедрением систем прямого жидкостного охлаждения в дата-центрах на фоне роста плотности энергопотребления ИИ-процессоров.
Четыре основные уязвимости жидкостного охлаждения
Состав охлаждающей жидкости имеет первостепенное значение, поскольку все компоненты системы рассчитываются под конкретную формулу. Большинство однофазных систем проектируются под стандартную 25-процентную смесь пропиленгликоля. Отклонение от этой пропорции меняет вязкость, плотность, удельную теплоемкость и теплопроводность. Это вызывает скачки давления, смещение рабочей точки насосов, падение эффективности теплообменников и нестабильность блоков распределения охлаждающей жидкости.
Управление воздушными потоками внутри контура представляет собой скрытую угрозу. Наличие воздуха снижает эффективность теплопередачи, вызывает кавитацию насосов, ускоряет коррозию и затягивает пусконаладку. Удаление воздуха эффективнее всего происходит при высоких температурах, которых контур достигает только под большой нагрузкой. Из-за этого воздушные проблемы могут проявиться спустя недели после запуска. Рекомендации комитета включают правильное размещение сепараторов на теплой линии возврата, организацию вентиляции в верхних точках и отказ от ловушек вроде вертикальных тупиков и неокропленных гибких шлангов.
Пассивация нержавеющей стали требует строгого соблюдения технологических регламентов. Сварочные и шлифовальные работы разрушают оксид хрома, обеспечивающий защиту от коррозии. Без очистки и повторной пассивации по стандартам ASTM A380 или A967 свободное железо попадает в жидкость и засоряет микроканалы на пластинах. Комитет подчеркивает, что даже один непассивированный компонент способен поставить под угрозу всю систему.
Рейтинги рабочего давления завершают список критических зон. Специалисты рекомендуют разрабатывать гидравлическую модель давления, учитывающую не только штатный режим, но и процедуры промывки, статическую высоту, настройки клапанов и расширительных баков. Это позволяет предотвратить избыточное давление на IT-оборудование.
Практические рекомендации и полевой контрольный список
Во второй части бюллетеня содержатся конкретные инструкции для специалистов. Качество и концентрацию теплоносителя советуют проверять в лаборатории при первичном заполнении, после добавления жидкости и по графику. При вакуумном заполнении контура возможна частичная сепарация гликолевых смесей, поэтому после процедуры требуется обязательный лабораторный анализ.
В финальной части документа приводится полевой контрольный список для проверки рисков, критериев приемки и обоснования значимости каждого параметра. Бюллетень носит информационный характер и не заменяет требования производителей IT-оборудования или местные строительные нормы.
Дополнительные технические подробности и рекомендации бюллетеня ASHRAE TC 9.9
Опубликованный в мае документ под названием TCS Coolant Integrity and System Readiness Best Practices доступен для бесплатной загрузки на странице публичных документов комитета ASHRAE TC 9.9. Открытие бюллетеня содержит редкое для стандартизирующих организаций жесткое предупреждение: «Нарушить требования к эксплуатации и гарантии систем охлаждения с прямым подводом жидкости к чипам слишком легко». Время выхода документа напрямую связано с волной внедрения таких систем, обусловленной высокой плотностью тепловыделения процессоров класса ИИ в современных дата-центрах.
Интересно, что незадолго до официального релиза эту тему подробно разбирал Тим Шедд (Tim Shedd) из компании Dell в подкасте №152. Он затронул вопросы химического состава и фильтрации охлаждающей жидкости, а также объяснил, почему ошибки пусконаладки дают о себе знать спустя долгое время после ухода монтажной бригады. Тим Шедд вошел в число официальных авторов бюллетеня наряду с Мерад Мохеби (Meraj Mohebi) из Dell, Дастином Демитриу (Dustin Demetriou) из IBM, Ашвином Сиддартом (Ashwin Siddarth) из AMD, Крисом Кэмпбеллом (Chris Campbell) из Vertiv, Вали Сореллом (Vali Sorell) из Oracle, а также инженерами из Fluid2Chip и DLB Associates. Такой межотраслевой состав участников наглядно показывает, насколько универсальной и острой стала эта проблема для рынка.
Влияние состава теплоносителя и требования к качеству
Большинство однофазных систем спроектировано под номинальную 25-процентную смесь пропиленгликоля (PG25). В документе подробно расписано, как отклонение от этой проектной формулы меняет ключевые физические свойства среды:
- вязкость;
- плотность;
- удельную теплоемкость;
- теплопроводность.
В результате каскадным образом изменяются перепад давления, рабочая точка насоса, эффективность теплообменников и даже стабильность управления блоками распределения охлаждающей жидкости (CDU). Используемый гликоль должен строго отвечать минимальным критериям качества TC 9.9 или спецификациям производителя ИТ-оборудования. Смешивание разных типов охлаждающих жидкостей без предварительного подтверждения последствий названо одним из прямых оснований для проведения структурированного технического ревью.
Управление воздушными потоками: скрытые дефекты контура
Проблема вовлеченного воздуха коварна тем, что дегазация протекает наиболее эффективно при повышенных температурах, которых контур достигает лишь в условиях максимальной нагрузки. Из-за этого неполадки с воздухом могут проявиться спустя недели после запуска, когда система переходит на стационарный температурный режим. Помимо снижения эффективности теплообмена и кавитации насосов, воздух ускоряет коррозию и затягивает сроки пусконаладочных работ.
Для предотвращения этих явлений в руководстве прописаны жесткие правила монтажа:
- размещение сепараторов на теплой низкопорционной линии возврата в непосредственной близости от входа в CDU;
- обязательное наличие воздушных клапанов во всех верхних точках контура;
- полный отказ от геометрий-ловушек — вертикальных тупиков, неокропленных гибких шлангов, а также инвертированных U-образных изгибов, способных удерживать воздух бесконечно долго.
Технология пассивации нержавеющей стали
Вопросы пассивации нержавеющей стали изложены в документе максимально бескомпромиссно. Любые операции по сварке, шлифовке и полевой сборке неизбежно повреждают защитную пленку оксида хрома, которая отвечает за коррозионную стойкость материала. Без качественной очистки и повторной пассивации, выполняемой в строгом соответствии с практикой стандартов ASTM A380 или A967, свободное железо неизбежно попадает внутрь теплоносителя.
В дальнейшем эти частицы забивают микроканалы на поверхностях холодных пластин (cold plates). Схожие турбулизаторы ранее рассматривались в рамках глубокого анализа холодных пластин компании Chilldyne, где качество рабочей жидкости определяет, продолжат ли эти миниатюрные структуры отводить тепло или полностью засорятся. Итоговое правило бюллетеня звучит категорично: «Отдельный установленный компонент, который НЕ прошел пассивацию, способен поставить под угрозу работоспособность всей системы».
Гидравлическое моделирование и рейтинги давления
Комитет рекомендует создавать исчерпывающую гидравлическую модель полного каскада давления. Такая модель должна охватывать не только штатный режим работы, но и:
- давление при процедурах заполнения и промывки контура;
- статическую высоту системы;
- корректные настройки предохранительных клапанов;
- предварительное давление в расширительном баке;
- динамические переходные процессы, возникающие при подключении и отключении оборудования.
Особое внимание уделяется соответствию стандарту IEC 62368-1, который требует проведения гидростатических испытаний под давлением, превышающим в 1,5 раза максимальное расчетное рабочее значение. Предохранительные клапаны при этом должны быть настроены на срабатывание ниже пределов, официально публикуемых производителем ИТ-оборудования в его тепловых шаблонах. Главная цель проектирования здесь — избежать дорогостоящей аварии, связанной с избыточным давлением внутри самих ИТ-компонентов.
Практические чек-листы и нюансы обслуживания
Вторая половина руководства носит сугубо прикладной характер и представляет собой готовое пособие для инженеров. Концентрацию и качество охлаждающей жидкости предписано проверять лабораторными методами в трех случаях: при первичном заполнении системы, после каждого значительного долива свежего теплоносителя, а также регулярно по утвержденному графику. При этом исходная спецификация жидкости обязательно фиксируется в проектной документации при сдаче объекта.
Отдельного внимания заслуживает метод вакуумного заполнения контура, который набирает популярность как средство быстрого удаления оставшегося воздуха. Бюллетень указывает на неочевидный нюанс: под воздействием вакуума многокомпонентные гликолевые смеси могут частично разделяться на фракции. Чтобы гарантировать однородность состава, после вакуумной заливки специалисты комитета настоятельно рекомендуют брать пробы и проводить лабораторный анализ.
«Индивидуальный установленный компонент, не прошедший процедуру пассивации, способен поставить под угрозу стабильность всей системы охлаждения».
В документе также дается практическая оценка дискуссии об автоматических и ручных воздушных клапанах: вместо физической замены оборудования рекомендуется использовать защитные колпачки для автоматических клапанов или отсекать их специальной арматурой после того, как в контуре полностью исчезнет воздух. Завершается бюллетень подробным полевым контрольным листом. В этой таблице сведены все потенциальные зоны риска, критерии приемки и обоснования значимости каждого параметра, что позволяет инженерам технического надзора использовать ее напрямую при составлении собственных планов обеспечения качества (QA).
Стоит отметить, что новый документ выступает прямым дополнением к изданному в 2024 году руководству Liquid Cooling: Resiliency Guidance for Cold Plate Deployments. Как и большинство материалов организации, TCS Coolant Integrity и System Readiness Best Practices имеет статус информационных рекомендаций, которые не отменяют и не заменяют прямых требований производителей серверного оборудования или локальных строительных регламентов.
