Почему стойки ИИ меняют требования к охлаждению дата-центров
На протяжении большей части истории отрасли воздушное охлаждение было просто выбором по умолчанию. Фальшпол, ряд прецизионных кондиционеров и достаточный поток воздуха для поддержания нескольких киловатт на стойку в пределах нормы — вот и вся задача проектирования. Стойки ИИ и HPC разрушили это предположение. Серверы GPU выделяют гораздо больше тепла на той же площади, чем традиционные корпоративные стойки: если обычная корпоративная стойка потребляла обычно от 3 до 8 кВт, то стойки ИИ и GPU в новых развёртываниях теперь обычно работают на 30–100 кВт на стойку, а плотные кластеры обучения могут потреблять ещё больше. В результате вопрос «как охладить эту стойку» больше не имеет единого ответа. Воздушное охлаждение не устарело — значительная часть инфраструктуры вокруг и рядом с кластерами ИИ по-прежнему прекрасно работает на воздухе. Но выше определённой плотности воздух сам по себе не справляется с достаточно быстрым отводом тепла, и жидкостное охлаждение перестаёт быть экзотическим вариантом, становясь практичным выбором. Правильный выбор для каждой стойки теперь является реальным инженерным решением, а не выбором по умолчанию.
Воздушное охлаждение: прецизионные кондиционеры и внутрирядное охлаждение
Воздушное охлаждение сегодня охватывает наибольшую долю технологических площадей дата-центров, и не зря: это зрелый, хорошо изученный подход с обширной базой практического опыта, который остаётся правильным выбором для широкого диапазона плотностей стоек. Прецизионное (с точным контролем) кондиционирование воздуха — иногда называемое CRAC — создано специально для ИТ-сред, а не для общего комфортного кондиционирования. Оно поддерживает более жёсткие допуски по температуре и влажности, чем стандартный блок HVAC, работает непрерывно в круглосуточном режиме и перемещает гораздо больше воздуха на тонну холодопроизводительности. Прецизионные блоки обычно устанавливаются по периметру помещения, распределяя кондиционированный воздух под фальшполом или сверху, и остаются экономичной базой для помещений низкой плотности — залов данных, телеком-помещений и диспетчерских, где нагрузка стоек остаётся в комфортном для воздуха диапазоне. Прецизионные кондиционеры WANDTUNG доступны в диапазоне холодопроизводительности для различных нагрузок на уровне помещения. Внутрирядное охлаждение использует тот же базовый подход, но приближает его к нагрузке. Вместо охлаждения всего помещения с периметра, внутрирядные блоки размещаются непосредственно в ряду шкафов, занимая ту же площадь, что и ИТ-шкаф, размещая холодопроизводительность непосредственно рядом со стойками, выделяющими тепло. В сочетании с изоляцией горячего/холодного коридора это сокращает путь воздушного потока и обеспечивает более жёсткий, предсказуемый контроль температуры на уровне ряда — заметный шаг вперёд по плотности по сравнению с чисто комнатным охлаждением, без перехода на жидкость. Воздушное охлаждение — будь то на уровне помещения или ряда — является правильным выбором, когда плотность стойки остаётся в практических пределах воздуха, когда объекту необходимо стандартизировать инфраструктуру с широким практическим опытом, и когда помещение низкой плотности не оправдывает дополнительную сложность трубопроводов жидкостного контура. Как общее отраслевое правило, воздушное охлаждение (включая внутрирядное) чаще всего применяется примерно до 15–20 кВт на стойку, хотя практический предел зависит от изоляции и конструкции воздушного потока.
Жидкостное охлаждение: холодная пластина и CDU
Как только плотность мощности стойки превышает этот порог, воздушное охлаждение сталкивается с физикой: существует предел количества тепла, которое данный объём воздуха может унести за единицу времени, независимо от того, сколько воздушного потока добавлено. Жидкостное охлаждение существует потому, что жидкость обладает намного более высокой теплоёмкостью, чем воздух, позволяя переносить гораздо больше тепла через гораздо меньшую площадь. Жидкостное охлаждение с холодной пластиной (direct-to-chip) крепит охлаждаемую жидкостью пластину непосредственно на CPU, GPU или другие сильно нагревающиеся компоненты внутри сервера, отводя тепло у источника, а не полагаясь на воздух для его переноса от всего шасси. Это технология, лежащая в основе большинства современных высокоплотных развёртываний ИИ и GPU, поскольку она масштабируется до плотностей мощности, которые воздушное охлаждение — даже внутрирядное — практически не может достичь. Охлаждение холодной пластиной не работает изолированно; оно зависит от CDU (блока распределения хладагента) — оборудования, управляющего контуром. CDU разделяет и контролирует первичный (объектовый) контур охлаждения от вторичного (стоечного/серверного) контура, выполняя перекачку, теплообмен, фильтрацию, обнаружение утечек и мониторинг расхода/температуры/давления. Это разделение важно, поскольку оно изолирует объектовую воду — качество, давление и чистота которой варьируются — от замкнутого, контролируемого контура, который действительно соприкасается с ИТ-оборудованием, защищая серверы и в то же время обеспечивая точный контроль температуры на стойке. Жидкостное охлаждение — правильный выбор для кластеров обучения ИИ, стоек HPC и любого развёртывания, где плотность GPU подняла мощность на стойку выше того, что может отвести воздушное охлаждение — принимая дополнительную сложность контура хладагента, обнаружения утечек и управления CDU в обмен на холодопроизводительность, которую воздух просто не может обеспечить при такой плотности.
Как выбрать: соответствие охлаждения плотности мощности стойки
Не существует универсальной точки перехода, применимой ко всем объектам — правильный ответ зависит от компоновки стоек, изоляции, условий окружающей среды и инфраструктуры объекта не меньше, чем от одной лишь плотности мощности. Но в качестве отправной точки: помещения низкой плотности, где нагрузка на стойку остаётся примерно ниже 10 кВт, как правило, хорошо обслуживаются прецизионным (комнатным) кондиционированием воздуха в качестве базового уровня, особенно в телеком-помещениях, диспетчерских и небольших помещениях с оборудованием без выделенных зон высокой плотности. Стойки средней и повышенной плотности — примерно в диапазоне 10–20 кВт на стойку — обычно выигрывают от перехода на внутрирядное охлаждение, которое сохраняет простоту воздушной системы, сокращая расстояние между холодопроизводительностью и нагрузкой. Высокоплотные стойки ИИ/GPU — выше примерно 20 кВт на стойку — это тот случай, когда жидкостное охлаждение с холодной пластиной и CDU становится практичным выбором, поскольку воздух (на уровне помещения или ряда) больше не может достаточно быстро отводить тепло независимо от воздушного потока. Эти диапазоны являются общими отраслевыми ориентирами, а не фиксированными правилами — фактическая точка перехода для вашего объекта зависит от изоляции, воздушного потока и условий площадки. Многие реальные развёртывания не выбирают исключительно один подход — на объекте может работать воздушное охлаждение на основной корпоративной площади, при этом выделяется зона с жидкостным охлаждением для выделенного кластера ИИ, или комнатное охлаждение используется как базовый уровень наряду с рядными блоками в горячих точках. Поскольку WANDTUNG производит прецизионные кондиционеры, внутрирядные блоки охлаждения, системы жидкостного охлаждения с холодной пластиной и CDU, мы можем помочь определить проект, охватывающий весь диапазон от воздуха до жидкости в рамках одного проекта — включая гибридные компоновки — вместо того, чтобы рассматривать это как единое бинарное решение для всего объекта.