Интервью с экспертом: эволюция жидкостного охлаждения
Брайан встретился с Тимом Шеддом — экспертом по управлению тепловыми режимами и пионером в области технологий жидкостного охлаждения. В подкасте обсуждаются исторические аспекты применения жидкостного охлаждения в дата-центрах: от периода работы Тима в компании Cray, когда охлаждающая жидкость распылялась непосредственно на трубки, до его недавнего участия в проекте по серверу Dell PowerEdge XE9680.
Профессиональный путь Тима Шедда
Тим Шедд является отраслевым экспертом и инженером-механиком, специализирующимся на управлении тепловыми режимами, жидкостном охлаждении и инфраструктуре центров обработки данных. Его карьера охватывает работу в качестве профессора Висконсинского университета в Мадисоне, фундаментальные инженерные должности в компании Motivair и руководящие технические позиции в подразделении CTO компании Dell Technologies. Благодаря этому опыту он находится на передовой разработки архитектур охлаждения высокой плотности.
Технологии и стандартизация
Работа Тима сосредоточена на связующем звене между передовой теплофизикой и принципами массового производства гипермасштабируемых систем. Он занимается установлением стандартов для блоков распределения охлаждения (CDU), а также оптимизацией энергоэффективности дата-центров, охватывающей как воздушные, так и жидкостные топологии серверного оборудования.
Этот подкаст предоставляет глубокий анализ эволюции систем терморегулирования: от мейнфреймов и высокопроизводительных вычислительных платформ (HPC) до современных серверных технологий. Менее чем за час прослушивания вы получите лучшее понимание того, как эти процессы влияют на множество аспектов обеспечения эффективной работы наших технологий.
Эволюция жидкостного охлаждения: от суперкомпьютеров к Enterprise AI
Исторический путь жидкостного охлаждения начался с узкоспециализированных суперкомпьютерных установок и постепенно пришел к высокоплотным коммерческим корпоративным решениям. Ранние вычислительные среды полагались на испарительное охлаждение и принудительную конвекцию воздуха, однако развитие высокоплотных HPC-систем и ускоренных вычислений заставило отрасль искать альтернативы. Первые академические эксперименты, например, архитектуры Cray, использовали прямое орошение плат жидкостью: технология была технически жизнеспособной, но коммерчески неприемлемой из-за высокой стоимости.
После 2015 года рост плотности мощности стоек вынудил OEM-производителей разрабатывать стандартизированные системы жидкостного охлаждения, что к 2019 году привело к выпуску серийных моделей стоек высокой плотности. Цепочки поставок OEM-компаний перестроились с производства нескольких тысяч узлов с жидкостным охлаждением в год на выпуск тысяч систем в неделю. Показательным примером стала платформа Dell PowerEdge XE9680 — самый быстрорастущий сервер в истории компании, который сбалансировал тепловые нагрузки ранних ИИ-решений с помощью плотных воздушных радиаторов и теплообменников на задних дверцах стоек, прежде чем переход на прямое жидкостное охлаждение чипов (direct-to-chip) стал обязательным.
Тестирование тепловых пределов и физика жидкостей
В лабораторных условиях производители проводили обширные испытания различных технологий: контуров с холодными пластинами (cold-plate), сетей с отрицательным давлением, иммерсионных конфигураций и двухфазных систем. Исторически тепловые нагрузки на кремний росли постепенно, позволяя использовать стандартное воздушное или базовое жидкостное охлаждение до тех пор, пока TDP не превысил диапазон 500–1000 Вт.
Иммерсионное охлаждение эффективно для распределенных профилей нагрузки, например, в криптофермах, но оно уступает в работе с локализованными и высококонцентрированными тепловыми потоками современных ускорителей. Стандартом стала смесь воды с 25% пропиленгликоля (PG25), подаваемая через микроканальные холодные пластины: она обеспечивает предсказуемое масштабирование, доступность компонентов и надежные характеристики теплопередачи. Для развития отрасли критически важны открытые стандарты, позволяющие использовать холодные пластины, коллекторы и быстроразъемные соединения от разных производителей без потери производительности.
Стандартизация и надежность оборудования
Развертывание жидкостного оборудования сталкивается с проблемами совместимости компонентов от разных поставщиков, что создает барьеры в виде строгих ограничений гарантии в случае утечки. Юридическая ответственность и соглашения об уровне обслуживания (SLA) остаются главными препятствиями для внедрения «смешанных» систем в производственных дата-центрах. Традиционные системы обнаружения утечек на основе кабелей-сенсоров заменяются интегрированными топологиями датчиков с автоматическим отключением насосов и клапанов. Надежность современных систем прямого охлаждения чипов повысилась благодаря переходу на EPDM-шланги, вулканизированные перекисью. Большинство сбоев в полевых условиях сегодня вызвано не усталостью материалов, а производственным мусором и некачественной первичной промывкой контуров.
Управление загрязнениями и физика отрицательного давления
Даже микроскопические частицы (100–200 микрон) способны заблокировать ребра микроканалов и вызвать критический перегрев. Современное моделирование вычислительной гидродинамики (CFD) позволяет холодным пластинам рассеивать нагрузки до 1500 Вт при минимальном перепаде температур в 30°C. Системы охлаждения с отрицательным давлением ограничены атмосферным давлением: на полезное дифференциальное давление остается лишь 7–9 PSI, прежде чем жидкость начинает кипеть при комнатной температуре. Это затрудняет маршрутизацию контуров через длинные заводские коллекторы и распределительные блоки (CDU). Для предотвращения коррозии и биологического роста необходим постоянный химический анализ состава воды.
Эксплуатационные факторы и экологические переменные
Региональная влажность, высота над уровнем моря и окружающие условия определяют эффективность охлаждения. Низкие температуры контура в условиях высокой влажности создают риск конденсации на компонентах серверов, что требует точного контроля точки росы. Новое поколение датчиков утечки использует гибкие полимерные трассы, оптическое обнаружение красителей и «газоанализаторы» для выявления микроутечек. Интеллектуальные контроллеры стоек при обнаружении падения уровня жидкости активно модулируют давление в CDU, минимизируя объемы протечки.
Потенциал двухфазного охлаждения
Двухфазное охлаждение (прямое охлаждение чипа с фазовым переходом) устраняет потери на явный нагрев, поддерживая постоянную температуру кипения независимо от нагрузки (от 10 до 1000 Вт). Это снижает риск коррозии и коротких замыканий. Масштабирование таких систем требует решения проблем совместимости различных производителей манифольдов и конденсаторов. Использование хладагентов с низким ПГП (например, R-515B и R-1233zd) позволяет избежать ограничений, связанных с соединениями PFAS.
Архитектура CDU и стратегии охлаждения
Стандарт ASHRAE 127 задал методики сравнения эффективности насосного оборудования. Незначительные колебания расхода хладагента (порядка 10%) могут приводить к троттлингу, что требует сверхчувствительных алгоритмов управления. Централизованные CDU на несколько мегаватт имеют большой «радиус поражения»: единственная утечка может остановить работу всего зала. В противовес им, распределенные CDU на уровне стоек изолируют участки механических сбоев, сокращают длину трубопроводов и ускоряют монтаж. Специализированные внутристоечные CDU способны поддерживать тепловые нагрузки в 220 кВт с разницей температур в 4°C, при этом воздушное охлаждение остается доминирующим (около 90% всех мировых поставок серверов), так как оно необходимо для работы в старой инфраструктуре и выполнения задач инференса на границе сети.
В финальной части анализа стоит отметить, что внутренние «все-в-одном» жидкостные контуры в серверах лишь незначительно выигрывают у испарительных камер, при этом усложняя обслуживание. Эффективность вентиляторов в корпоративных серверах за последнее десятилетие выросла с 15–20% до 50–60%. Оптимизация аэродинамики шасси с целевым показателем 100 кубических футов в минуту (CFM) на киловатт при фиксированной температуре входа 18°C позволяет максимально использовать физический потенциал воздуха для охлаждения следующего поколения корпоративного оборудования.
Как следить за развитием жидкостного охлаждения
Чтобы быть в курсе всех последних событий, связанных с технологиями жидкостного охлаждения и принципами проектирования энергоэффективных центров обработки данных, подписывайтесь на профиль Тима Шедда (Tim Shedd) в социальной сети LinkedIn.
Дополнительные технические подробности и инженерные аспекты
Профессиональный вклад Тима Шедда выходит за рамки простого консультирования. Его работа в академической среде Висконсинского университета в Мадисоне послужила фундаментом для понимания того, как передовая теплофизика может быть интегрирована в требования гипермасштабируемых производственных процессов. Это сочетание теоретических изысканий с практическими задачами по установлению отраслевых стандартов для блоков распределения охлаждения (CDU) и оптимизации энергоэффективности позволяет компаниям вроде Dell Technologies создавать инфраструктуру, способную справляться с современными экстремальными нагрузками.
В ходе обсуждения подкаста были затронуты важные аспекты надежности и обслуживания систем:
- Риски смешивания компонентов: Объединение охлаждающих элементов от различных поставщиков создает серьезные препятствия для эксплуатации. Помимо чисто механических проблем совместимости, существуют строгие ограничения по гарантии. В случае возникновения протечки, наличие «сборной солянки» из разных комплектующих делает практически невозможным определение стороны, ответственной за сбой, что является серьезным юридическим барьером для крупных дата-центров.
- Причины выхода из строя: Анализ отказов в полевых условиях показывает, что проблема кроется не столько в износе материалов, сколько в человеческом факторе и чистоте производства. Остатки производственного мусора и недостаточно тщательная первоначальная промывка линий — главные враги надежности контуров жидкостного охлаждения.
Физика процессов и управление тепловыми потоками
Особое внимание в дискуссии уделяется ограничениям систем с отрицательным давлением. Из-за воздействия атмосферного давления на жидкость внутри контура, в распоряжении инженеров остается лишь узкий диапазон полезного дифференциального давления (всего 7–9 PSI). Превышение этого порога приводит к тому, что жидкость достигает точки кипения уже при комнатной температуре. Такая ограниченность «бюджета давления» делает крайне сложной задачу маршрутизации потоков через длинные заводские коллекторы, блоки CDU и высокоомные микроканальные холодные пластины, которые обладают значительным гидродинамическим сопротивлением.
В вопросах двухфазного охлаждения эксперт подчеркивает преимущество использования латентной теплоты парообразования. В отличие от однофазных систем, где неизбежен «штраф» в виде явного нагрева (обычно составляющий не менее 5°C), двухфазная архитектура позволяет поддерживать постоянную температуру кипения вне зависимости от того, рассеивает ли чип 10 Вт или 1000 Вт. Это не только упрощает терморегулирование, но и исключает риски, связанные с коррозией и короткими замыканиями, характерными для утечек воды, что делает такие системы крайне привлекательными для корпоративных залов.
Оптимизация воздушного охлаждения и его перспективы
Несмотря на доминирование жидкостных технологий в сегменте HPC, воздушное охлаждение остается «рабочей лошадкой», охватывающей порядка 90% всех мировых серверных поставок. Тим Шедд отмечает важность оптимизации аэродинамики внутри шасси:
«Эффективность вентиляторов в корпоративных серверах эволюционировала от 15–20% десять лет назад до современных показателей преобразования электрической энергии в механическую на уровне 50–60%».
Ключевым параметром проектирования сегодня является дизайн, рассчитанный на 100 CFM (кубических футов в минуту) на один киловатт потребляемой мощности. При соблюдении условия, что весь объем поступающего воздуха прогревается равномерно до 18°C, можно достичь максимальной плотности рассеивания тепла, не прибегая к сложным жидкостным решениям там, где в этом нет физической необходимости.
Для существующих объектов, инфраструктура которых была спроектирована 10–15 лет назад, наиболее эффективным путем модернизации является интеграция теплообменников на задних дверцах стоек в сочетании с испарительными градирнями. Это позволяет перенаправить паразитные затраты на охлаждение в полезную энергию для работы серверов, осуществляющих локальный инференс ИИ-моделей непосредственно там, где генерируются данные.
