Жидкостное охлаждение серверов

Жидкостное охлаждение серверов — это технология отвода тепла от компонентов вычислительного оборудования (серверов, стоек, центров обработки данных) с использованием жидкого теплоносителя вместо традиционного воздушного потока. Применяется для повышения эффективности охлаждения, снижения энергопотребления систем кондиционирования и увеличения плотности размещения оборудования в условиях роста тепловыделения современных процессоров и ускорителей.

История

Первые эксперименты с жидкостным охлаждением электроники относятся к 1960-м годам, когда для мэйнфреймов IBM использовались системы с водяным охлаждением. Однако массовое распространение технология получила в 2010-х годах в связи с ростом энергопотребления серверов и стремлением операторов ЦОД снизить затраты на охлаждение. В 2011 году компания Iceotope представила коммерческие решения для погружного охлаждения, а в 2015 году Microsoft начала тестирование подводных ЦОД, использующих жидкостное охлаждение. В России активное внедрение началось в 2020-х годах, в том числе в рамках проектов «Яндекс», «Сбер» и «Ростелеком».

Классификация

Жидкостное охлаждение серверов делится на два основных типа: прямое (непосредственное) и косвенное. Внутри каждого типа выделяются подкатегории.

Прямое охлаждение (погружное)

При прямом охлаждении серверное оборудование полностью или частично погружается в диэлектрическую жидкость (обычно на основе минерального масла или синтетических фторуглеродов). Жидкость находится в непосредственном контакте с компонентами, отводя тепло за счёт конвекции или принудительной циркуляции. Различают:

• Однофазное погружение — жидкость остаётся в жидком состоянии, тепло отводится за счёт её нагрева и последующего охлаждения в теплообменнике.
• Двухфазное погружение — жидкость закипает при контакте с горячими компонентами, пар конденсируется на охлаждаемых поверхностях, возвращаясь в жидкую фазу. Этот метод обеспечивает более высокую теплопередачу, но требует герметичных ванн и систем конденсации.

Косвенное охлаждение (с теплообменником)

При косвенном охлаждении жидкость циркулирует по замкнутому контуру, контактируя с компонентами через теплообменники (холодные пластины, радиаторы). Жидкость не соприкасается с электроникой. Подкатегории:

• Охлаждение с холодными пластинами (cold plate) — жидкость проходит через металлические пластины, установленные непосредственно на процессорах, чипах памяти или других горячих элементах. Наиболее распространённый метод в высокопроизводительных вычислениях (HPC).
• Охлаждение через заднюю дверь стойки (rear door heat exchanger) — жидкость циркулирует в теплообменнике, установленном на задней двери серверной стойки. Тёплый воздух от серверов проходит через теплообменник, охлаждается и возвращается в помещение. Этот метод не требует модификации самих серверов.
• Гибридные системы — комбинация воздушного и жидкостного охлаждения, например, когда жидкость охлаждает только наиболее горячие компоненты, а остальные — воздухом.

Устройство и компоненты

Типовая система жидкостного охлаждения серверов включает следующие элементы:

• Теплоноситель — жидкость с высокой теплопроводностью и низкой вязкостью. Для прямого охлаждения используются диэлектрические жидкости, для косвенного — вода с добавлением антифриза, этиленгликоля или специальных хладагентов.
• Насосы — обеспечивают циркуляцию жидкости по контуру. В крупных ЦОД применяются центробежные насосы с регулируемой производительностью.
• Теплообменники — устройства для передачи тепла от жидкости к внешней среде (воздуху, воде или хладагенту). Включают сухие градирни, чиллеры, пластинчатые теплообменники.
• Трубопроводы и фитинги — соединяют компоненты системы. Используются материалы, устойчивые к коррозии (нержавеющая сталь, медь, полимеры).
• Контроллеры и датчики — управляют расходом жидкости, температурой и давлением, предотвращая перегрев или утечки.
• Ванны или стойки — для погружного охлаждения применяются герметичные резервуары из нержавеющей стали или пластика, оснащённые системами фильтрации и автоматического долива жидкости.

Преимущества и недостатки

Преимущества

• Высокая эффективность отвода тепла — жидкость имеет в 20–50 раз большую теплоёмкость, чем воздух, что позволяет охлаждать оборудование с тепловыделением до 100 кВт на стойку и более.
• Снижение энергопотребления — отказ от мощных вентиляторов и кондиционеров снижает затраты на охлаждение на 30–50% по сравнению с воздушными системами.
• Увеличение плотности размещения — жидкостное охлаждение позволяет устанавливать больше серверов в одной стойке без риска перегрева.
• Уменьшение шума — отсутствие вентиляторов делает работу ЦОД значительно тише.
• Повышение надёжности — жидкостное охлаждение защищает компоненты от пыли, влаги и коррозии (при погружении в диэлектрик).

Недостатки

• Высокая стоимость внедрения — оборудование для жидкостного охлаждения дороже воздушных систем, особенно на этапе модернизации существующих ЦОД.
• Риск утечек — жидкость может повредить электронику, если она не является диэлектриком (в косвенных системах). Требуется герметизация и системы обнаружения утечек.
• Сложность обслуживания — замена компонентов в погружных системах требует подъёма оборудования из ванны, а в системах с холодными пластинами — демонтажа трубок.
• Ограниченная совместимость — не все серверы поддерживают жидкостное охлаждение без доработок. Для погружного охлаждения требуется оборудование, устойчивое к длительному контакту с жидкостью.

Применение

Жидкостное охлаждение серверов используется в следующих сферах:

• Центры обработки данных (ЦОД) — особенно в гипермасштабных ЦОД (Google, Microsoft, Amazon) и в российских проектах, таких как ЦОД «Яндекс» в Сасово и ЦОД «Сбер» в Сколково.
• Высокопроизводительные вычисления (HPC) — суперкомпьютеры, например, российский «Ломоносов-2» (МГУ) и европейский «Jupiter» (ФРГ), используют жидкостное охлаждение для отвода тепла от тысяч процессоров.
• Майнинг криптовалют — погружное охлаждение ASIC-майнеров позволяет снизить затраты на электроэнергию и увеличить срок службы оборудования.
• Военные и промышленные системы — в условиях высоких температур, запылённости или вибраций, где воздушное охлаждение неэффективно.
• Экспериментальные проекты — подводные ЦОД (Microsoft Project Natick) и системы с использованием тепла для обогрева зданий.

Интересные факты

• В 2021 году компания «Яндекс» запустила первый в России ЦОД с погружным охлаждением, где серверы работают в ваннах с диэлектрической жидкостью.
• В двухфазных системах охлаждения используется жидкость с температурой кипения около 50 °C, что позволяет использовать тепло для отопления.
• В 2023 году российская компания «Русгидро» начала тестирование жидкостного охлаждения для майнинговых ферм с использованием тепла для обогрева теплиц.
• Жидкостное охлаждение позволяет снизить PUE (коэффициент энергоэффективности ЦОД) до 1,02–1,05, тогда как у воздушных систем он обычно составляет 1,3–1,6.

Критика

Основные претензии к жидкостному охлаждению связаны с высокой стоимостью и сложностью масштабирования. Критики отмечают, что для большинства ЦОД с умеренной плотностью размещения (до 10–15 кВт на стойку) воздушное охлаждение остаётся более экономичным. Кроме того, утилизация диэлектрических жидкостей требует специальных процедур, а их производство связано с выбросами парниковых газов (например, перфторуглероды). В России также отмечается нехватка квалифицированных специалистов для обслуживания таких систем.

Источники

• «Жидкостное охлаждение ЦОД: обзор технологий и рынка» — отчёт J’son & Partners Consulting, 2022.
• «Погружное охлаждение серверов: опыт внедрения в России» — статья в журнале «Сети и системы связи», 2023.
• «Liquid Cooling for Data Centers: A Review» — публикация IEEE Transactions on Components, Packaging and Manufacturing Technology, 2021.
• «Технологии охлаждения ЦОД: от воздуха к жидкости» — доклад на конференции «ЦОД-2023», Москва.
• «Microsoft Project Natick: Underwater Data Center» — технический отчёт Microsoft Research, 2020.