Neues Rechenzentrum? Flüssigkeitskühlung von Anfang an mitplanen
Schon immer musste man bei der Planung eines neuen Rechenzentrums Jahre im Voraus denken. Das rasante Wachstum der künstlichen Intelligenz (KI) und des Hochleistungsrechnens (HPC) verstärkt diese Herausforderung noch.
Rechenleistung mit höherer Dichte verändert die Wechselwirkungen zwischen Stromversorgung, Kühlung, Konnektivität und der physischen Infrastruktur im Rack.
Die entscheidende Frage für Unternehmen, die ein neues Rechenzentrum errichten, lautet daher nicht: „Brauchen wir heute eine Flüssigkeitskühlung?“ Sinnvoller ist die Frage: „Wie gestalten wir die Anlage so, dass sie eine flüssigkeitsgekühlte Infrastruktur unterstützen kann, wenn sich unsere Rechenanforderungen weiterentwickeln?”
In Betracht kommen könnten dabei Rear-Door-Wärmetauscher (RDHx), ein- oder zweiphasige Direct-to-Chip-Kühlung (DTC) und in manchen Umgebungen auch Immersionskühlung. Eine neue Anlage bietet die Möglichkeit, diese Technologien zusammen mit der Stromversorgung, dem Netzwerk, den Schaltschränken/IT-Racks und den mechanischen Systemen zu evaluieren, bevor wichtige Planungsentscheidungen getroffen werden, deren Änderung schwierig oder kostspielig wäre.
Hier sind acht Bereiche, die es zu berücksichtigen gilt.
1. Planen Sie für die Rechenanforderungen von morgen, nicht nur für die von heute.
Beginnen Sie mit der IT-Roadmap. Welche Arten von KI-, GPU- und HPC-Systemen könnte die Anlage unterstützen? Wie könnten sich die Rack-Dichten im Laufe der Lebensdauer des Rechenzentrums verändern?
- Welche Serverplattformen werden voraussichtlich für die Bereitstellung eingesetzt?
- Welche Rack-Leistungsdichten sollte die Anlage bewältigen können?
- Wie viel der IT-Last könnte letztendlich eine Flüssigkeitskühlung erfordern?
- Müssen luftgekühlte, über die Rückwand gekühlte und direkt auf den Chip gekühlte Geräte nebeneinander bestehen?
- Wie könnten sich diese Anforderungen mit dem Aufkommen künftiger Rechnergenerationen ändern?
Planungsgrundsatz: Richten Sie die Dimensionierung der physischen Infrastruktur nicht ausschließlich an der ersten Gerätegeneration aus, die am Tag der Inbetriebnahme erwartet wird.
2. Planen Sie außerdem die Wasserarchitektur der Anlage frühzeitig
Ein Greenfield-Rechenzentrum bietet den Vorteil, dass die mechanische Infrastruktur bereits unter Berücksichtigung flüssigkeitsgekühlter IT-Geräte konzipiert werden kann.
Berücksichtigen Sie den gesamten Wärmeabfuhrweg bereits in einer frühen Planungsphase:
Server-Kühlplatten → Rack-Verteiler → Kühlverteilungseinheit (CDU) → Gebäudewassersystem → Wärmeabfuhr
Gebäudewassersystem, CDUs, Verteilungsleitungen, Steuerungen und Wärmeabfuhrsysteme sind miteinander verbunden. Selbst wenn am ersten Tag nur ein Teil der Racks mit RDHx- oder DTC-Kühlung betrieben wird, kann eine frühzeitige Planung der Architektur Optionen für zukünftige Erweiterungen offenhalten.
3. Bestimmen Sie den geeigneten Standort für die CDU
Eine CDU ist eine Schlüsselkomponente vieler DTC-Architekturen. Sie überträgt Wärme zwischen dem Kühlsystem für die IT-Geräte und dem Kühlsystem des Gebäudes.
Bei der Planung der Anlage ist Folgendes zu berücksichtigen::
- Wo werden die CDUs aufgestellt?
- Wie gelangt das Kühlmittel zu den flüssigkeitsgekühlten Reihen und Racks?
- Wie lässt sich zusätzliche Kapazität hinzufügen?
- Wie gewährleistet die Planung einen sicheren Zugang für Wartungsarbeiten?
- Welchen Grad an Kühlredundanz erfordert die Anwendung?
Es reicht nicht aus, einfach Stellfläche für eine CDU zu reservieren. Die Architektur der Kühlungsverteilung sollte von Anfang an Teil der Planung des Rechenzentrums sein.
4. Das Rack sollte als komplettes System konzipiert werden
Der Übergang von Luft- zu Flüssigkeitskühlung endet nicht bei der CDU. In einem hochdichten KI-Schaltschrank/IT‑Rack müssen Server möglicherweise mit folgenden Komponenten koexistieren:
- Kühlverteiler
- Zu- und Rücklaufschläuche
- Schnellkupplungen
- mehrere Stromverteilungseinheiten (PDUs)
- Netzkabeln
- Konnektivität mit hoher Dichte
- Infrastruktur für das Kabelmanagement
Diese Komponenten stellen zusammen eine erhebliche Herausforderung hinsichtlich Platzbedarf und Wartungsfreundlichkeit dar.
Planungsgrundsatz: Kühlen, Stromversorgung, Konnektivität und die Schaltschränke/IT‑Racks nicht unabhängig voneinander planen. Betrachten Sie das Rack als ein komplettes System der physischen Infrastruktur.
5. Berücksichtigen Sie die verbleibende luftgekühlte Last
Es mag verlockend erscheinen, sich auf Luft- oder Flüssigkeitskühlung zu beschränken. In der Praxis benötigt ein neues Rechenzentrum jedoch möglicherweise beide Systeme.
Die DTC-Kühlung leitet in der Regel die Wärme von den Komponenten mit der höchsten Leistungsaufnahme des Servers ab. Doch andere Komponenten sind möglicherweise weiterhin auf den Luftstrom angewiesen. Deshalb sollten Planer den erwarteten Prozentsatz der Flüssigkeitswärmeabfuhr der vorgesehenen IT-Ausrüstung kennen und das Luftkühlsystem auf Raumebene für die verbleibende Last dimensionieren.
Das Ziel ist eine Kühlarchitektur, die den erwarteten Mix an IT-Geräten unterstützen kann, anstatt davon auszugehen, dass jedes Rack auf die gleiche Weise betrieben wird.
6. Planen Sie mit Blick auf die Wartung, nicht nur auf die Installation
Berücksichtigen Sie, was nach der Inbetriebnahme geschieht. Ein Techniker muss möglicherweise einen Server in einem vollständig bestückten KI-Rack austauschen, das von Wärmetauschern an der Rückwand, Kühlmittelschläuchen, elektrischen Trennverbindern / Disconnects, Verteilerblöcken, Netzwerkverkabelung und mehreren Stromversorgungen umgeben ist.
Die Wartungsfreundlichkeit sollte daher eine Anforderung an die Konstruktion sein. Bewerten Sie:
- Zugang zu Servern und anderen vor Ort austauschbaren Geräten
- Anordnung von Verteilerblöcken und PDUs
- Schlauch- und Kabelführung
- Verfahren zum Austausch von Komponenten
- Isolierung einzelner Server oder Rack-Abschnitte
- Zukünftige Erweiterungen und Neukonfigurationen
Ein Rack, das sich ztwar einfach installieren lässt, aber schwer zu warten ist, kann später unnötige Betriebsrisiken und Ausfallzeiten verursachen.
7. Planen Sie deshalb bereits vorab Maßnahmen für den Fall eines Flüssigkeitsunfalls
Das Einbringen von Flüssigkeiten in die Nähe elektronischer Geräte wirft naturgemäß Bedenken auf. Bei einer neuen Anlage können diese Bedenken bereits bei der ursprünglichen Planung berücksichtigt werden, anstatt später zusätzliche Sicherheitsvorkehrungen nachzurüsten zu müssen.
Behandeln Sie die Flüssigkeitskühlung als ein verwaltetes System. Berücksichtigen Sie dabei die Leckageerkennung, die Durchfluss- und Drucküberwachung, Alarme, die Isolierung, die Entleerung sowie Wartungsverfahren.
Die wichtige Frage lautet nicht einfach: „Kann ein Leck auftreten?“, sondern: „Wie wird das Rechenzentrum einen abnormalen Zustand erkennen, isolieren und darauf reagieren?“
Diese Anforderungen sollten Teil der Betriebs- und Notfallstrategie der Einrichtung werden.
8. Auf Erweiterbarkeit auslegen
Anfangs wird möglicherweise nur ein kleiner Teil der Anlage eine flüssigkeitsgekühlte KI-Infrastruktur unterstützen. Was passiert, wenn dieser Bedarf wächst?
Prüfen Sie, ob die ursprüngliche Architektur Folgendes zulässt:
- mehr flüssigkeitsgekühlte Racks
- höhere Rack-Dichten
- zusätzliche Kühlleistung
- zusätzliche Verteiler und PDUs
- Server der neuen Generation
- Erweiterung um weitere Reihen oder Rechenzentren
Das Ziel ist Flexibilität statt Überdimensionierung. Schaffen Sie eine Architektur, die sich an veränderte Rack-Dichten, Kühltechnologien und Kapazitätsanforderungen anpassen lässt, ohne zukünftige Optionen unnötig einzuschränken.
Über die Kühlung hinausdenken
Flüssigkeitskühlung wird manchmal so diskutiert, als sei sie lediglich ein Ersatz für die Luftzirkulation durch einen Server. Für ein neues Rechenzentrum sind die Auswirkungen jedoch weitaus umfassender.
Rechenleistung → Stromversorgung → Kühlung → Schaltschränke/IT-Racks → Konnektivität → Betrieb
Eine frühzeitige Abstimmung zwischen den Teams aus den Bereichen IT, Facility Management, Elektrotechnik, Netzwerk und Betrieb ist unerlässlich. Behandeln Sie erwartete Rechenanforderungen, Rack-Dichten, die Wasserversorgung der Anlage, die CDU-Architektur, die Verteilung auf Rack-Ebene, die Restluftkühlung, die Stromverteilung, die Konnektivität, die Wartung und zukünftige Erweiterungen als Teil derselben Infrastrukturstrategie.
Die Direktkühlung des Chips ist mehr als nur eine neue Methode zur Wärmeabfuhr. Sie verändert das Zusammenspiel zwischen Server, Schaltschränken/IT‑Racks, Stromversorgung, Netzwerk und der Kühlinfrastruktur der Anlage.
Planen Sie schon heute für den Kühlbedarf von morgen.
Entdecken Sie unsere Lösungen für KI und Rechenzentren mit hoher Dichte und erfahren Sie, wie Kühlung, Stromversorgung, Schaltschränke/IT‑Racks und Konnektivität zusammenwirken, um Ihre sich weiterentwickelnden Infrastrukturanforderungen zu unterstützen. Entdecken Sie die fortschrittlichen Kühlungslösungen
- Neues Rechenzentrum? Flüssigkeitskühlung von Anfang an mitplanen
- 3 Risiken bei Kabelkanälen, die durch Kabelmanagement vermieden werden können
- Fault-Managed-Power: Antworten auf alle wichtigen Fragen
- Engineering für sich wandelnde Infrastrukturen
- Das Produkt, an das niemand denkt - Bis es zu einem Kurzschluss kommt
- KI-fähige Infrastruktur
- Intelligente Gebäude und Unternehmensnetzwerke
- Zukunftsfähige Rechenzentren
- Bewährte Verfahren und Weiterbildung
- Nachhaltigkeit
- Industrieller Wandel
- Nachhaltigkeit und Effizienz der Infrastruktur
- Energie
- Bewährte Verfahren und Weiterbildung
- Digitale Transformation
- Umgestaltung der Belegschaft
- Elektrifizierung