Система охлаждения ЦОД¶

Система охлаждения ЦОД — это комплекс инженерного оборудования и технических решений, предназначенный для отвода избыточного тепла, выделяемого серверным, сетевым и вспомогательным оборудованием в центре обработки данных (ЦОД), с целью поддержания заданного температурно-влажностного режима, необходимого для бесперебойной и надежной работы вычислительной техники. Основная задача системы охлаждения — предотвращение перегрева компонентов, который может привести к сбоям, снижению производительности или выходу оборудования из строя.

¶Физические основы и необходимость охлаждения

В процессе работы серверы, системы хранения данных и коммутационное оборудование преобразуют потребляемую электрическую энергию в тепловую. Количество выделяемого тепла (тепловыделение) пропорционально энергопотреблению оборудования. Современные стойки высокой плотности могут потреблять десятки киловатт электроэнергии, что приводит к выделению значительного количества тепла на ограниченной площади.

Без эффективного отвода тепла температура внутри серверной зоны быстро превышает допустимые пределы (обычно 18–27 °C по рекомендациям ASHRAE), что вызывает:

• Термический стресс компонентов: увеличение сопротивления в проводниках, ускорение электромиграции.
• Снижение надежности: каждый градус превышения температуры выше оптимального может сокращать срок службы полупроводниковых приборов на несколько процентов.
• Автоматическое снижение производительности (троттлинг): процессоры и видеокарты при перегреве снижают тактовую частоту для защиты от повреждения.
• Полный отказ оборудования: при критическом перегреве происходит аварийное отключение или физическое разрушение компонентов.

¶Классификация систем охлаждения ЦОД

Системы охлаждения ЦОД классифицируются по нескольким основным признакам: способу отвода тепла, типу хладагента, архитектуре и масштабу.

¶По способу отвода тепла

¶Воздушное охлаждение

Наиболее распространенный тип. Холодный воздух подается к оборудованию, нагревается, проходя через серверы, и отводится обратно для охлаждения.

• Системы с фальшполом: Холодный воздух подается снизу через перфорированные панели в пространстве фальшпола. Горячий воздух собирается в верхней части помещения или возвращается через потолочное пространство. Используется принцип «холодных и горячих коридоров» (Cold Aisle/Hot Aisle Containment), где стойки устанавливаются лицевыми сторонами друг к другу (холодный коридор) и задними сторонами (горячий коридор), чтобы разделить потоки и повысить эффективность.
• Системы с подачей сверху: Воздух подается через потолочные диффузоры или фанкойлы, установленные над стойками. Используется реже, обычно в ЦОД с низкой плотностью или в переоборудованных помещениях.
• Рядные (InRow) кондиционеры: Прецизионные кондиционеры устанавливаются непосредственно в ряду серверных стоек. Они забирают горячий воздух из горячего коридора, охлаждают его и выбрасывают в холодный коридор. Обеспечивают высокую эффективность и точность управления.
• Внутристоечное охлаждение: Охлаждающие модули (например, вентиляторы, водяные теплообменники) встраиваются непосредственно в серверную стойку. Позволяет охлаждать отдельные стойки с очень высокой плотностью тепловыделения.

¶Жидкостное охлаждение

Использует жидкость (воду, антифриз, диэлектрические жидкости) как теплоноситель, который обладает значительно большей теплоемкостью, чем воздух.

• Непрямое жидкостное охлаждение: Жидкость циркулирует по замкнутому контуру внутри стойки или сервера, отводя тепло от процессоров и других горячих компонентов через теплообменники (холодные пластины). Сама жидкость не контактирует с электроникой. Тепло от жидкости передается в чиллер или внешний контур.
• Прямое жидкостное охлаждение (иммерсионное): Серверы или их компоненты полностью погружаются в диэлектрическую жидкость (например, минеральное масло или специальный фторуглерод). Тепло отводится непосредственно в жидкость, которая затем циркулирует через теплообменник для сброса тепла в атмосферу.

¶По типу хладагента

• Хладагенты (фреоны): Используются в парокомпрессионных холодильных машинах (чиллерах, кондиционерах). Хладагент циркулирует по замкнутому контуру, испаряясь при низкой температуре (отбирая тепло) и конденсируясь при высокой (отдавая тепло).
• Вода и водные растворы: Используются в системах с чиллерами и градирнями. Вода или водный раствор гликоля (антифриз) циркулирует по контуру, перенося тепло от кондиционеров к внешним теплообменникам.
• Диэлектрические жидкости: Применяются в иммерсионных системах, обладают высокой теплоемкостью и не проводят электрический ток.

¶По архитектуре

• Системы с чиллерами: Наружные холодильные машины (чиллеры) охлаждают воду или гликоль, который подается к внутренним фанкойлам (кондиционерам) в машинном зале. Наиболее распространенная архитектура для крупных ЦОД.
• Системы с прямым расширением (DX): Внутренние блоки (кондиционеры) содержат компрессор и испаритель, а наружные блоки — конденсатор. Хладагент циркулирует непосредственно между ними. Используется в небольших ЦОД или для локального охлаждения.
• Системы с естественным охлаждением (Free Cooling): Используют низкую температуру наружного воздуха или воды для отвода тепла без работы компрессоров чиллера. Эффективны в регионах с холодным климатом. Различают:
• Воздушное: Наружный воздух подается непосредственно в машинный зал (с фильтрацией) или используется для охлаждения теплоносителя в теплообменнике.
• Водяное: Холодная вода из градирни или другого источника используется для охлаждения контура ЦОД.

¶Основные компоненты системы охлаждения

• Прецизионный кондиционер (CRAC/CRAH): Специализированный кондиционер, предназначенный для точного поддержания температуры и влажности в серверной. CRAC (Computer Room Air Conditioner) — с собственным компрессором, CRAH (Computer Room Air Handler) — работает с внешним источником холодной воды (чиллером).
• Чиллер: Холодильная машина, охлаждающая жидкость (воду или гликоль) до заданной температуры. Может быть с воздушным или водяным охлаждением конденсатора.
• Градирня (сухая или мокрая): Устройство для отвода тепла от охлаждающей жидкости в атмосферу. В сухих градирнях (драйкулерах) тепло отдается воздуху через радиаторы. В мокрых градирнях используется испарение воды для более эффективного охлаждения.
• Фанкойл (внутренний блок): Теплообменник с вентилятором, устанавливаемый в машинном зале. Через него пропускается холодная вода или хладагент, а вентилятор продувает воздух через теплообменник.
• Насосы, трубопроводы, запорная арматура: Обеспечивают циркуляцию теплоносителя по контурам.
• Система автоматизации и диспетчеризации (BMS/DCIM): Контролирует температуру, влажность, давление, расход теплоносителя, управляет работой оборудования, включая включение/выключение и регулировку производительности.

¶Эффективность и показатели

Эффективность системы охлаждения ЦОД оценивается несколькими ключевыми показателями:

• PUE (Power Usage Effectiveness): Отношение общего энергопотребления ЦОД к энергопотреблению ИТ-оборудования. Чем ближе PUE к 1, тем эффективнее система. В современных ЦОД с эффективным охлаждением PUE составляет 1.1–1.4.
• Коэффициент энергоэффективности (EER) или COP: Отношение холодопроизводительности к потребляемой мощности. Для чиллеров и кондиционеров.
• Температура подаваемого воздуха: Оптимальная температура подачи воздуха в холодный коридор (обычно 18–22 °C) для обеспечения надежности и энергоэффективности.

¶Современные тенденции и развитие

• Повышение плотности: Рост потребления энергии на стойку (до 30–50 кВт и выше) требует перехода от воздушного к жидкостному охлаждению, особенно для GPU-кластеров и высокопроизводительных вычислений (HPC).
• Иммерсионное охлаждение: Становится все более популярным для ЦОД с высокой плотностью, позволяя снизить энергопотребление на охлаждение и уменьшить занимаемую площадь.
• Использование возобновляемых источников: Интеграция систем охлаждения с возобновляемыми источниками энергии (солнечная, ветровая) и системами утилизации тепла (например, для отопления зданий).
• Искусственный интеллект (ИИ) и машинное обучение: Применение алгоритмов для предиктивного управления охлаждением, оптимизации работы вентиляторов, насосов и чиллеров в реальном времени, что позволяет снизить энергопотребление на 10–30%.
• Развитие «зеленых» ЦОД: Строительство ЦОД в регионах с холодным климатом для максимального использования естественного охлаждения, использование тепловых насосов и утилизация отходящего тепла.

¶Критика и ограничения

• Высокое энергопотребление: Системы охлаждения могут потреблять до 30–40% всей электроэнергии ЦОД, что является значительной статьей операционных расходов.
• Сложность и стоимость: Проектирование и строительство эффективной системы охлаждения требует значительных капитальных вложений.
• Экологические риски: Использование хладагентов с высоким потенциалом глобального потепления (GWP), а также потребление воды в мокрых градирнях вызывают экологические опасения.
• Ограничения воздушного охлаждения: При плотности тепловыделения выше 20–30 кВт на стойку воздушное охлаждение становится неэффективным и требует сложных инженерных решений.

¶Источники

• ASHRAE. Thermal Guidelines for Data Processing Environments. 5th ed., 2021.
• Patterson, M. K. Data Center Cooling: A Comprehensive Guide. ASHRAE, 2015.
• Uptime Institute. Annual Data Center Survey Reports.
• Стандарт TIA-942-B: Telecommunications Infrastructure Standard for Data Centers.
• Материалы конференций Data Center Dynamics (DCD).