W ostatnich latach szybki rozwój sztucznej inteligencji znacznie zwiększył zapotrzebowanie obliczeniowe w centrach danych. Szkolenie z użyciem dużych modeli językowych, wnioskowanie AI i obliczenia o wysokiej wydajności napędzają wdrażanie większej liczby serwerów GPU.

W miarę wzrostu mocy serwerów coraz ważniejsza staje się jedna kwestia praktyczna:
W jaki sposób centrum danych może w stabilny i wydajny sposób usuwać duże ilości ciepła ze sprzętu obliczeniowego o dużej gęstości?
Tradycyjne centra danych opierały się głównie na chłodzeniu powietrzem. Jednakże wraz ze wzrostem gęstości mocy w szafie zarządzanie chłodzeniem powietrzem staje się trudniejsze.
Większa moc szafy wymaga większego przepływu powietrza, większej mocy wentylatora i bardziej złożonej konstrukcji gorących i zimnych korytarzy.
Z tego powodu systemy chłodzenia cieczą i wodą stają się coraz bardziej powszechne w centrach danych o dużej gęstości.
Gdy w centrum danych zacznie się korzystać z dużych systemów wody lodowej, ważna staje się kolejna kwestia: w jaki sposób moc chłodnicza jest wytwarzana, przechowywana i dostarczana.
To jest gdziezbiorniki do przechowywania wody lodoweja systemy magazynowania energii cieplnej zaczynają odgrywać większą rolę.
Jednocześnie duże zbiorniki na wodę lodową nie działają w jednej, jednolitej temperaturze. Wewnątrz zbiornika rozwija się rozwarstwienie temperaturowe, stwarzając potrzebęwielopunktowy monitoring temperatury.
Dlaczego serwery AI zwiększają zapotrzebowanie na chłodzenie wodą?

W porównaniu z tradycyjnymi serwerami, serwery AI mają zwykle znacznie większą gęstość mocy.
Serwery GPU mogą w sposób ciągły generować duże ilości ciepła podczas uczenia modeli i wnioskowania.
W centrach danych o mniejszej gęstości chłodzenie często można zapewnić za pomocą klimatyzacji pomieszczenia, systemów wentylatorów i kontrolowanego przepływu powietrza.
Jednak wraz ze wzrostem mocy szafy poleganie wyłącznie na powietrzu staje się mniej wydajne i trudniejsze w zarządzaniu.
Woda i inne ciecze mogą transportować ciepło znacznie skuteczniej niż powietrze. Umożliwia to bardziej bezpośrednie odprowadzanie ciepła z procesorów, procesorów graficznych i innych podzespołów wymagających dużej mocy.
Typowe systemy chłodzenia stosowane w nowoczesnych centrach danych obejmują:
- bezpośrednie chłodzenie cieczą chipa;
- jednostki dystrybucji chłodziwa lub CDU;
- instalacje wodne w obiektach;
- pętle wody lodowej;
- wieże chłodnicze;
- suche chłodnice.
Ciepło jest najpierw usuwane z komponentów serwera za pomocą płyt zimnych i chłodziwa. Następnie jest przesyłany przez CDU, wymienniki ciepła i systemy wody lodowej, zanim zostanie wyrzucony do środowiska zewnętrznego.
Z tego powodu rozwój obliczeń AI nie tylko zwiększa zapotrzebowanie na procesory graficzne i serwery.
Rośnie także zapotrzebowanie na:
urządzenia chłodnicze, wymienniki ciepła, systemy wody lodowej i systemy magazynowania energii cieplnej.
Jeśli centrum danych ma już agregaty chłodnicze, dlaczego potrzebny jest zbiornik do przechowywania wody lodowej?
Jest to częste pytanie w przypadku dużych projektów chłodzenia centrów danych.
Agregat chłodniczy może już wytwarzać zimną wodę.
Po co dodawać duży zbiornik magazynujący wodę lodową?
Powód jest prosty:
Energia chłodnicza nie zawsze musi być wytwarzana dokładnie w tym samym czasie, w którym jest zużywana.
Zbiornik magazynujący wodę lodową umożliwia obiektowi wytwarzanie i magazynowanie mocy chłodniczej w okresach mniejszego obciążenia.
Zmagazynowane chłodzenie można następnie wykorzystać później, gdy zapotrzebowanie na chłodzenie wzrośnie.
Krótko mówiąc, system magazynowania wody lodowej działa jak forma magazynowania energii.
Bateria przechowuje energię elektryczną.
Zbiornik wody lodowej magazynuje energię cieplną w postaci wydajności chłodniczej.
Dlaczego przechowywanie wody lodowej może być przydatne w dużych centrach danych AI?
1. Zarządzanie zmianami obciążenia chłodzenia
Obciążenie serwera AI nie zawsze jest stałe.
Kiedy duże grupy procesorów graficznych rozpoczynają trenowanie lub wnioskowanie w tym samym czasie, zużycie energii przez dział IT może szybko wzrosnąć.
Większa moc elektryczna oznacza więcej ciepła.
Oznacza to, że układ chłodzenia musi również reagować na większe obciążenie.
Jeśli całe chłodzenie musi być w każdej chwili zapewniane bezpośrednio przez agregaty chłodnicze, agregaty chłodnicze, pompy i infrastruktura elektryczna mogą wymagać dostosowania wymiarów do wyższych obciążeń szczytowych.
Dzięki magazynowaniu wody lodowej system może wykorzystywać:
agregaty chłodnicze + chłodzenie magazynowane
w celu pokrycia części szczytowego zapotrzebowania na chłodzenie.
Zapewnia to większą elastyczność układu chłodzenia w przypadku zmiany obciążenia serwera.
2. Zmniejszanie mocy chłodzenia w okresach szczytu
Duże agregaty chłodnicze zużywają znaczną ilość energii elektrycznej.
Jeśli serwery AI działają już z dużą mocą, a instalacja chłodnicza również pracuje z maksymalną mocą, w obiekcie może wystąpić:
wysokie zapotrzebowanie na moc IT + wysokie zapotrzebowanie na moc chłodzenia
naraz.
System magazynowania ciepła może wytwarzać schłodzoną wodę w okresach mniejszego obciążenia.
Na przykład:
energię chłodniczą można magazynować w nocy lub w okresach mniejszego zapotrzebowania,
następnie rozładowywane w okresach większego obciążenia.
Może to zmniejszyć część zapotrzebowania na moc chłodniczą w godzinach szczytu.
W przypadku dużych centrów danych może to być przydatne do zarządzania energią i kontroli szczytowego zapotrzebowania.
3. Zmniejszanie szczytowego ciśnienia wydajności agregatu chłodniczego
Centrum danych może działać przy umiarkowanym obciążeniu chłodniczym przez większą część dnia, ale w krótszych okresach występuje większe zapotrzebowanie na chłodzenie.
Jeśli cały sprzęt jest dobrany tylko pod kątem maksymalnego obciążenia krótkotrwałego, instalacja chłodnicza może wymagać większych agregatów chłodniczych, pomp i mocy elektrycznej.
System magazynowania wody lodowej może pozwolić agregatom chłodniczym na obsługę podstawowego obciążenia chłodniczego, podczas gdy chłodzenie magazynowane pokrywa część szczytowego zapotrzebowania.
Rzeczywisty projekt systemu zależy od wielu czynników, w tym:
- profil obciążenia IT;
- obciążenie chłodnicze;
- ceny energii elektrycznej;
- wymagania dotyczące redundancji;
- poziom projektu centrum danych;
- strategia operacyjna.
Magazynowanie wody lodowej nie jest konieczne w przypadku każdego projektu, ale może zapewnić dodatkową elastyczność operacyjną w dużych, scentralizowanych systemach wody lodowej.
4. Zapewnienie pojemności bufora chłodzącego
Centra danych AI wymagają wysokiego poziomu ciągłości działania.
Serwery mogą być wyposażone w systemy UPS i generatory rezerwowe, ale chłodzenie musi być również dostępne.
Jeśli zasilanie serwera pozostanie dostępne po przerwaniu chłodzenia, procesory graficzne o dużej mocy mogą w dalszym ciągu wytwarzać ciepło.
Zbiornik magazynujący wodę lodową może zapewnić pewną ilość buforu chłodzącego podczas:
- przełączanie sprzętu;
- dostosowania systemu;
- częściowa awaria sprzętu;
- tymczasowe przerwy w pracy agregatu chłodniczego;
- krótkotrwałe zmiany obciążenia chłodniczego.
Zbiornik magazynujący wodę lodową nie zastępuje kompletnego zapasowego układu chłodzenia.
Może jednak stać się ważnym elementem wspierającym ogólną strategię chłodzenia.
Czy każde centrum danych AI potrzebuje zbiornika do przechowywania wody lodowej?
NIE.
Projekty chłodzenia różnią się znacznie w zależności od centrum danych.
Niektóre wysokotemperaturowe systemy chłodzenia cieczą mogą odprowadzać ciepło przez chłodnice suche lub inne formy chłodzenia swobodnego, zmniejszając zależność od konwencjonalnych systemów wody lodowej.
Dlatego niedokładnym byłoby stwierdzenie, że każde centrum danych AI wymaga przechowywania schłodzonej wody.
Wartość magazynowania ciepła jest na ogół większa w projektach, które mają:
- duże obciążenia obliczeniowe AI;
- scentralizowane systemy wody lodowej;
- wysokie zapotrzebowanie na chłodzenie;
- zauważalne zmiany obciążenia szczytowego;
- szczytowe wymagania w zakresie zarządzania energią elektryczną;
- wysokie wymagania dotyczące ciągłości chłodzenia;
- konieczność optymalizacji harmonogramów pracy agregatów chłodniczych.
W miarę ciągłego zwiększania się skali centrów danych AI tego typu aplikacje będą prawdopodobnie przyciągać coraz więcej uwagi.
Dlaczego zbiornik magazynujący wodę lodową wymaga monitorowania temperatury?

Po uruchomieniu zbiornika magazynującego wodę lodową ważne pytanie brzmi:
Jaka użyteczna wydajność chłodzenia jest jeszcze dostępna w zbiorniku?
Duże zbiorniki wody lodowej często opierają się na naturalnej stratyfikacji termicznej.
W normalnych warunkach pracy w zbiorniku zazwyczaj znajdują się trzy główne strefy:
Górna część: cieplejsza woda
Część środkowa: termoklina
Dolna część: zimniejsza woda
Ponieważ gęstość wody zmienia się wraz z temperaturą, odpowiednio zaprojektowane systemy wlotu i wylotu mogą pomóc w utrzymaniu stosunkowo stabilnej separacji pomiędzy cieplejszą i zimniejszą wodą.
To rozwarstwienie temperaturowe jest ważne dla wydajności zbiornika magazynującego.
W przypadku nadmiernego mieszania się ciepłej i zimnej wody użyteczna wydajność chłodnicza zbiornika może się zmniejszyć.
Dlaczego jeden czujnik temperatury nie wystarczy?

Rozważmy zbiornik magazynujący wodę lodową o wysokości 20 metrów.
Temperatura wody na dnie może wynosić 5 stopni.
Na górze może być już 12 stopni.
Jeżeli w pobliżu dna zamontowany jest tylko jeden czujnik temperatury, może on potwierdzić, że w zbiorniku nadal znajduje się zimna woda.
Nie może jednak pokazać, jak wysoko sięga warstwa zimnej wody.
Jeśli monitorowany jest tylko górny odcinek, stan dolnej warstwy zimnej wody pozostaje nieznany.
Z tego powodu pojedyncza wartość temperatury dostarcza ograniczonych informacji.
To, co naprawdę się liczy, to:
rozkład temperatury od góry zbiornika do dołu.
Jaka jest termoklina w zbiorniku magazynującym wodę lodową?
Thetermoklinajest strefą przejściową pomiędzy warstwą zimnej wody a warstwą wody cieplejszej.
W tej strefie temperatura zmienia się stopniowo wraz z wysokością.
Na przykład:
| Wysokość zbiornika | Temperatura wody |
|---|---|
| 18 m | 12,6 stopnia |
| 16 m | 12,3 stopnia |
| 14 m | 11,8 stopnia |
| 12 m | 9,7 stopnia |
| 10 m | 7,1 stopnia |
| 8 m | 5,9 stopnia |
| 6 m | 5,4 stopnia |
| 4 m | 5,1 stopnia |
| 2 m | 5,0 stopni |
Ten typ profilu temperatury wyraźnie pokazuje cieplejszą górną część, zimniejszą dolną część i strefę przejściową pomiędzy nimi.
Podczas ładowania i rozładowywania pozycja termokliny przemieszcza się w zbiorniku.
Monitorowanie tego ruchu jest ważne dla zrozumienia sposobu działania systemu przechowywania.
Dlaczego zbiornik magazynujący wodę lodową wymaga wielopunktowego monitorowania temperatury?
Najbardziej bezpośrednim celem monitorowania wielopunktowego jest utworzenie pionowego profilu temperatury zbiornika.
Monitorując temperatury na różnych wysokościach, operatorzy mogą obserwować:
- wysokość warstwy zimnej wody;
- wysokość warstwy ciepłej wody;
- pozycja termokliny;
- grubość termokliny;
- proces ładowania;
- proces rozładowania;
- nadmierne mieszanie;
- nieprawidłowe strefy temperaturowe.
Te dane dotyczące temperatury można również przesyłać do systemów PLC, BMS lub SCADA w celu dalszej analizy i kontroli.
Dlaczego warto używać wielopunktowego kabla czujnika temperatury?
Jeśli 20-metrowy lub 30-metrowy zbiornik wody lodowej wymaga monitorowania temperatury na wielu różnych wysokościach, zainstalowanie oddzielnych sond temperatury może spowodować dużą liczbę:
- czujniki;
- kable;
- złącza;
- punkty mocowania;
- połączenia przewodów.
Wraz ze wzrostem liczby punktów pomiarowych instalacja i konserwacja stają się coraz bardziej skomplikowane.
Praktyczną alternatywą jest:
wielopunktowy kabel czujnika temperatury.
Wiele czujników temperatury jest zintegrowanych w jednym kablu, który jest instalowany pionowo wewnątrz zbiornika.
Na przykład 20-metrowy kabel temperaturowy można zaprojektować z:
- 10 punktów temperaturowych;
- 15 punktów temperaturowych;
- 20 punktów temperaturowych;
- lub inna ilość zgodnie z wymaganiami projektu.
Rozstaw czujników można również dostosować.
Typowe opcje mogą obejmować:
0.5 m / 1 m / 2 m
lub w innych odstępach czasu, w zależności od wymaganej rozdzielczości monitorowania.
Umożliwia to zbieranie danych o temperaturze ze zbiorników o różnych wysokościach za pomocą jednego zestawu kabli.
Co należy wziąć pod uwagę przy wyborze kabla temperatury zbiornika wody lodowej?

1. Liczba punktów temperaturowych
Wymagana liczba czujników zależy głównie od:
wysokość zbiornika;
oczekiwana stratyfikacja temperatury;
wymagania kontrolne;
wymagana rozdzielczość temperaturowa.
Wyższy zbiornik będzie zazwyczaj wymagał większej liczby punktów pomiarowych.
2. Rozstaw czujników
Jeśli projekt wymaga szczegółowego monitorowania termokliny, bardziej odpowiednie mogą być mniejsze odstępy między czujnikami.
Do podstawowego monitorowania stratyfikacji wystarczający może być większy odstęp.
Z tego powodu kable temperaturowe zbiornika wody lodowej często muszą obsługiwać niestandardowe:
długość kabla i ilość czujników.
3. Wodoodporność
Kabel może pozostać zanurzony w wodzie przez dłuższy czas.
Do ważnych czynników należą zatem:
hydroizolacja płaszcza kabla;
uszczelnienie czujnika;
uszczelnienie złącza;
długoterminowa stabilność zanurzenia.
4. Spójność pomiaru
Do monitorowania zbiornika wody lodowej ważna jest dokładność każdego czujnika.
Ważna jest jednak również spójność między różnymi czujnikami.
System często porównuje temperatury na sąsiednich wysokościach, aby ocenić stratyfikację termiczną.
Jeśli poszczególne czujniki wykazują duże różnice w pomiarach, analiza termoklina może stać się mniej wiarygodna.
5. Przesyłanie danych
Duże centra danych zazwyczaj muszą integrować dane dotyczące temperatury zbiornika z centralnym systemem monitorowania.
W zależności od projektu system monitorowania temperatury może obsługiwać:
RS485;
Modbus RTU;
jednostki gromadzenia danych;
sterownik PLC;
BMS;
SCADA.
Dzięki temu profil temperatury zbiornika może stać się częścią ogólnego systemu zarządzania chłodzeniem.
Dlaczego rozwój sztucznej inteligencji może zwiększyć zapotrzebowanie na zbiornik na wodę lodową?
Monitorowanie temperatury?
Zależność jest łatwiejsza do zrozumienia, gdy postrzega się ją jako część łańcucha chłodzenia centrum danych.
Rozwój obliczeń AI zwiększa moc serwerów.
Większa moc serwera wytwarza więcej ciepła.
Wyższa gęstość ciepła zwiększa zapotrzebowanie na systemy chłodzenia cieczą i wodą.
Większe systemy wody lodowej stwarzają większe zapotrzebowanie na wydajną produkcję, dystrybucję i magazynowanie chłodu.
Niektóre duże centra danych wykorzystują zbiorniki do przechowywania wody lodowej do:
- magazynowanie energii chłodniczej;
- zarządzanie obciążeniem szczytowym;
- optymalizacja energetyczna;
- pojemność bufora chłodzącego.
Gdy zbiornik magazynujący wodę lodową działa, konieczne staje się zrozumienie wewnętrznego rozwarstwienia temperaturowego.
Pojedynczy punkt temperatury nie jest w stanie w pełni opisać stanu zbiornika.
Z tego powodu monitorowanie temperatury na różnych wysokościach staje się coraz bardziej cenne.
Jest to jeden z głównych powodówkable wielopunktowego czujnika temperatury do zbiorników magazynujących wodę lodowąstają się istotne w nowoczesnych systemach chłodzenia centrów danych.
Wpływ sztucznej inteligencji nie ogranicza się do chipów i serwerów.
Wraz ze wzrostem mocy obliczeniowej centrów danych należy również rozwijać infrastrukturę zasilania, chłodzenia, chłodzenia cieczą, systemów wody lodowej i infrastruktury magazynowania energii cieplnej.
W przypadku centrów danych korzystających z dużych, scentralizowanych systemów wody lodowej zbiorniki wody lodowej mogą wspierać zarządzanie obciążeniem szczytowym, pojemność bufora chłodzącego i bardziej elastyczną pracę systemu.
Jednakże duży zbiornik magazynujący nie ma jednolitej temperatury.
Aby zrozumieć jego rzeczywisty stan pracy, konieczne jest monitorowanie profilu temperatury od góry zbiornika do dołu.
Wielopunktowy kabel czujnika temperatury może dostarczać dane o temperaturze na kilku wysokościach przy użyciu pojedynczego pionowego zestawu kabli.
Dane te mogą pomóc operatorom monitorować rozwarstwienie termiczne, ruch termokliny, warunki ładowania i rozładowywania oraz ogólną wydajność magazynowania wody lodowej.
W miarę jak centra danych AI w dalszym ciągu zmierzają w kierunku wyższych gęstości mocy,chłodzenie cieczą centrum danych, magazynowanie energii cieplnej wody lodowej i wielopunktowe monitorowanie temperatury zbiornikaprawdopodobnie staną się coraz ważniejszymi elementami infrastruktury pomocniczej.
Często zadawane pytania
1. Co to jest zbiornik do przechowywania wody lodowej?
Zbiornik magazynujący wodę lodową przechowuje energię chłodzącą w postaci wody o niskiej temperaturze.
System może wytwarzać wodę lodową w okresach mniejszego obciążenia i wykorzystywać zmagazynowaną energię później, gdy zapotrzebowanie na chłodzenie wzrasta.
2. Dlaczego centra danych AI korzystają z chłodzenia wodą?
Serwery AI, zwłaszcza serwery GPU, mogą mieć bardzo dużą gęstość mocy.
Woda i inne płyny mogą odprowadzać ciepło skuteczniej niż powietrze, dzięki czemu chłodzenie cieczą jest bardziej odpowiednie dla środowisk obliczeniowych o dużej gęstości.
3. Czy każde centrum danych AI potrzebuje zbiornika do przechowywania wody lodowej?
NIE.
Decyzja zależy od architektury chłodzenia, wielkości centrum danych, obciążenia chłodniczego, cen energii elektrycznej, wymagań w zakresie redundancji i strategii operacyjnej.
Magazynowanie wody lodowej jest na ogół bardziej odpowiednie w przypadku dużych obiektów korzystających ze scentralizowanych systemów wody lodowej.
4. Dlaczego jeden czujnik temperatury nie wystarczy do przechowywania wody lodowej?
Duże zbiorniki do przechowywania wody lodowej zwykle mają stratyfikację temperaturową.
Temperatura wody w górnej, środkowej i dolnej części zbiornika może się znacznie różnić.
Pojedynczy czujnik nie jest w stanie pokazać wysokości warstwy zimnej wody ani położenia termokliny.
Z tego powodu wielopunktowe monitorowanie temperatury jest zwykle bardziej przydatne.
5. Co to jest termoklina?
Termoklina to strefa przejścia temperatur pomiędzy warstwą zimnej wody a warstwą cieplejszej wody wewnątrz warstwowego zbiornika magazynowego.
Jego położenie i grubość mogą pomóc w określeniu stanu roboczego zbiornika.
6. Czy można dostosować kabel temperaturowy zbiornika wody lodowej?
Tak.
W zależności od projektu można dostosować następujące parametry:
całkowita długość kabla;
liczba czujników temperatury;
rozstaw czujników;
wyjście sygnału;
metoda gromadzenia danych.
Na przykład można zaprojektować różne układy czujników dla zbiorników o wysokości 20, 30 metrów lub innej wysokości.
7. Czy dane dotyczące temperatury zbiornika można podłączyć do sterownika PLC lub BMS?
Tak.
Wykorzystując moduł do pomiaru temperatury i przemysłowe interfejsy komunikacyjne, takie jak RS485 lub Modbus, wielopunktowe dane dotyczące temperatury można przesyłać do:
systemy PLC;
platformy BMS;
systemy SCADA;
inne systemy zarządzania chłodzeniem.
