正在建设新的数据中心?请从一开始就规划好液体冷却方案
设计新的数据中心一直需要着眼于未来数年。人工智能(AI)和高性能计算(HPC)的迅猛发展,使这一挑战变得更加严峻。
更高密度的计算正在改变机架内电源、散热、互联以及物理基础设施之间的关系。
对于正在建设新数据中心的组织而言,关键问题不仅仅在于“我们今天是否需要液冷?”,而是一个更有价值的问题:“我们该如何设计设施,使其能够随着计算需求的演变,支持液冷基础设施?”
该基础设施可能包括后门换热器(RDHx)、单相或双相直通芯片(DTC)冷却,以及在某些环境下的浸没式液冷。
新建数据中心是一个宝贵窗口期:
趁着重大设计决策尚未定型、修改还不算贵, 把液冷技术与供电、网络、机柜、机械系统放在一起,通盘评估。
以下是需要考虑的八个方面。
1. 围绕未来的计算需求进行设计,而不仅仅是眼前的需求
从 IT 路线图入手。该设施可能支持哪些类型的人工智能、GPU 和 HPC 系统?在数据中心的生命周期内,机架密度可能会发生怎样的变化?
- 哪些服务器平台可能被部署?
- 该设施应满足什么样的机架功率密度?
- 最终可能有多少IT负载需要液冷?
- 风冷、后门冷却和芯片直冷设备是否需要共存?
- 随着新一代计算设备的推出,这些要求可能会发生怎样的变化?
设计原则:
物理基础设施不要只按 "开业首日" 的设备容量来配置,要为后续几代设备留出余量。
2. 尽早规划设施-水循环架构
新建数据中心具有一个重要优势:在设计机械基础设施时,可以专门针对液冷IT设备进行规划。
在设计初期就应考虑完整的散热路径:
服务器冷板 → 机架汇流排 → 冷却分配单元(CDU) → 设施水系统 → 热排放
设施水系统、冷却分配单元(CDU)、分配管道、控制系统和热排放系统是相互关联的。即使在投运之初只有部分机架采用 RDHx 或 DTC 冷却技术,尽早规划架构也能为未来的扩展保留选择余地。
3. 确定 CDU 的安装位置
CDU是许多DTC架构中的关键组件。它在为IT设备提供服务的技术冷却系统与设施侧冷却系统之间进行热量传递。
在设施设计阶段,需考虑:
- CDU将安装在何处?
- 冷却液将如何输送到液冷机架列和机架?
- 如何增加额外容量?
- 设计如何确保安全的维护通道?
- 该应用需要何种级别的制冷冗余?
目标不仅仅是为中央冷却单元(CDU)预留占地空间。冷却分配架构应从一开始就纳入数据中心的设计之中。
4. 将机架设计为一个完整的系统
从气冷到液冷的转型并非止步于CDU。在高密度AI机柜内部,服务器可能需要与以下组件共存:
- 冷却汇流管
- 进回水软管
- 快速拆卸接头
- 多台配电单元(PDU)
- 电源线
- 高密度网络连接
- 线缆管理基础设施
设计原则:不要将制冷、供电、网络连接和机柜分别独立设计。应将机架视为一个完整的物理基础设施系统。
5. 考虑剩余的风冷负载
人们往往倾向于将决策简化为“风冷”或“液冷”二选一。但在实际应用中,新建数据中心可能需要同时采用这两种方案。
DTC 冷却通常会带走服务器中功耗最高的组件产生的热量,但其他组件可能仍需依赖气流散热。设计人员应了解目标 IT 设备预计的液体热量捕获比例,并根据剩余负载来确定机房级风冷系统的规模。
目标是构建一种能够支持预期IT设备组合的制冷架构,而不是假设每个机架都会以相同的方式运行。
6. 设计应着眼于维护,而不仅仅是安装
请考虑调试完成后的情况。技术人员可能需要更换一台服务器,而该服务器所在的AI机架已满载,周围布满了后门换热器、冷却液软管、电气断开器、汇流管、网络线缆以及多条电源线。
因此,可维护性应作为一项设计要求。需评估:
- 服务器及其他现场可更换设备的可访问性
- 汇流排和PDU的布置位置
- 软管和电缆的布线路径
- 组件更换流程
- 单台服务器或机架部分的隔离
- 未来的扩展与重新配置
一个安装简便但维护困难的机架,可能会在后期带来不必要的运行风险和停机时间。
7. 在液体泄漏事件发生前设计应对方案
在电子设备附近引入液体自然会引发担忧。新建设施提供了在原始设计阶段就解决这些问题的机会,而非日后再追加控制措施。
将液体冷却视为一个受控系统。需考虑泄漏检测、流量与压力监测、报警、隔离、排水及维护流程。
关键问题不仅仅在于“是否会发生泄漏?”,而在于“数据中心将如何检测、隔离并应对异常状况?”
这些要求应成为设施运营和应急响应策略的一部分。
8. 为未来扩展预留空间
初期,设施中可能只有一小部分区域支持液冷式AI基础设施。当需求增长时该如何应对?
请考虑初始架构能否满足以下需求:
- 更多液冷机架
- 更高的机架密度
- 额外的制冷能力
- 增设汇流排和PDU
- 新一代服务器
- 向更多机架列或数据中心机房扩展
核心是灵活,而非一次性建满:设计出一套能适配机柜功率密度变化、制冷技术演进与容量需求增长的架构,同时不给未来的升级路径设限。
超越制冷的思考
人们有时讨论液冷时,似乎将其仅仅视为服务器内部气流的替代方案。但对于新建数据中心而言,其影响远不止于此。
计算 → 供电 → 制冷 → 机柜 → 互联 → 运维
IT、设施、电气、网络和运维团队之间的早期协调至关重要。应将预期的计算需求、机架密度、设施用水、CDU架构、机架级配电、残余空气冷却、电力分配、互联、维护以及未来扩展视为同一基础设施战略的组成部分。
直通芯片冷却不仅仅是一种新的散热方式。它改变了服务器、机柜、电源、网络与设施制冷基础设施之间的关系。
今天就为明天的制冷需求做好规划。
探索 泛达(Panduit) ,专为人工智能和高密度数据中心设计,了解冷却、供电、机柜和连接如何协同工作,以满足您不断演变的基础设施需求。
按钮文字:探索先进制冷解决方案
- AI-Ready Infrastructure
- Smart Buildings and Enterprise Networks
- Future-Ready Data Centers
- Best Practices and Education
- Sustainability
- Industrial Transformation
- Sustainability and Infrastructure Efficiency
- Energy
- Best Practices and Education
- Digital Transformation
- Workforce Transformation
- Electrification