数据中心风冷与液冷年能耗对比分析

《International Journal of Heat and Mass Transfer》：Comparative analysis of annual energy consumption of air cooling and liquid cooling in data centers

　　

# 摘要

随着人工智能和云计算的广泛采用，数据中心的能耗急剧攀升，使液冷技术成为一种极具前景的解决方案。本研究基于中国四种典型气候条件，针对风冷和全液冷两种架构，分别建立了三维服务器模型和集总冷却系统模型。为确保公平比较，文中考虑了所有可能影响对比结果的因素，包括相同的服务器功耗、相同的环境条件和相同的冷却设备。结果表明，在西安的气候条件下，全液冷在全年运行期内可实现95.30%的免费制冷可用率。通过热阻链分解，揭示了其内在机制。与风冷相比，全液冷系统中冷板的传导和对流热阻降低了60%以上，从而允许更高的冷却液进口温度，并大幅延长了免费制冷的运行时间。在组件层面，在机械制冷模式下，压缩机功耗的降低占全液冷所实现的PUE总降幅的80.27%。在自然冷却条件下，消除服务器和空调风扇的贡献占节能量的93.47%。在四个气候区中，全液冷系统始终表现出更低的PUE和更高的SEER，且在炎热气候中优势尤为显著。此外，当CPU功耗增加22.67%时，全液冷系统的pPUE仅上升1%，显示出优异的负载跟随稳定性。本研究将组件层面的热流体分析与数据中心层面的年度能耗评估相结合，为冷却架构的选择提供了定量的多尺度依据。

# 1. 引言

随着数字经济的快速发展，数据中心作为关键信息基础设施，因其能耗和碳排放问题日益受到广泛关注。国际能源署（IEA）估计，到2025年全球数据中心用电量将达到485 TWh，约占全球总用电量的1.7% [1]。如何优化数据中心冷却技术并提高能效，已成为业界研究的热话题。由于AI技术的快速发展和算力需求的不断增长，数据中心必须部署更多如GPU等高性能服务器以满足计算密集型任务的需求 [2]。数据中心的主要组成部分包括信息技术（IT）设备、不间断电源（UPS）系统、冷却系统及其他辅助设备。IT设备通常占总能耗的50%以上，而冷却系统消耗约占总能耗的30% [3]。

据统计 [4]，全球数据中心每机柜平均功率从2017年的5.6 kW/机柜增加至2023年的12.8 kW/机柜。超级计算和智能计算中心的每柜功率甚至需要超过30 kW/机柜。为满足不断增长的算力需求，JLL（仲量联行）预计超大规模数据中心机架密度将以7.8%的复合年增长率增加，到2027年将达到50 kW/机柜，而目前平均为36 kW/机柜。因此，采用更高效的数据中心冷却解决方案变得越来越重要。由于局部热点和高能耗等问题，单独的风冷已被证明无法满足高功率数据中心的冷却需求 [5]。液冷是风冷数据中心的有效替代方案 [6]。服务器中使用的液冷技术可分为单相间接液冷 [7], [8], [9], [10]、两相间接液冷 [11], [12]、热管冷却 [13], [14], [15] 和浸没式液冷 [16], [17]。由于冷却介质直接接触和相变过程，浸没式液冷具有极低的热阻 [18], [19], [20]。近年来，浸没式液冷受到了大量关注。然而，由于验证周期长、数据中心机房基础设施与风冷差异大导致改造复杂、冷却液生产过程中的环境争议以及维护难度高等因素 [21]，它尚未成为主流。与直接液冷相比，间接液冷可以避免液体与电子元件直接接触，具有强大的适应性，更有利于旧数据中心的改造。它是一种更为保守、安全且经济的液冷方式 [21], [22], [23]。

Hu等人 [21] 基于冷板服务器冷却技术提出了一种用于服务器芯片冷却的轧纹流道冷板。该冷板易于加工、成本低且流道设计灵活。Yuksel等人 [22] 为IBM POWER AC922高功耗电子设备引入了液-气混合冷却技术并与风冷进行了对比。结果表明液冷具有进一步推广的潜力。关于冷板冷却的高效利用也有不少研究。Chen等人 [24] 研究了串联和并联液冷系统以及混合冷却冷板的鲁棒性。Shahi等人 [25] 提出了一种主动流量控制装置，以解决冷却液流量过多导致泵功耗过大的问题。Li等人 [26] 基于冷板结构对散热性能的影响，对冷板进行了前所未有的分类，为冷板结构设计提供了指导思想。在液冷系统层面，Zhang等人 [27] 对采用冷板冷却的液冷机柜进行了系统稳定性和能耗测试。其液冷方案已应用于商业机柜，功率使用效率（PUE）为1.11。Yatskov等人 [28] 获得了一套比较风冷和液冷的规则。首先是系统配置和运行条件。其次，为使最大CPU温度低于65°C，风冷方式需要配备冷水机组，而液冷方式则偏好使用干冷器。最后，证明液冷在热阻、电力成本和运营成本方面比风冷更高效。Haghshenas等人 [29] 在其综述中定量且全面地比较了数据中心的风冷和浸没式冷却，考虑因素包括冷却方案、计算密度、资本支出和维护成本。尽管如此，液冷和风冷数据中心在架构和硬件上的固有差异导致边界条件不一致、评估指标不统一，以及现有研究中缺乏标准化对比框架。这使得两种冷却方案的直接、全面定量比较在实践中颇具挑战性，强调了进一步开展标准化对比研究的必要性。

综上所述，本文在冷却技术的对比评估中，采用风冷（以下简称AC）和全液冷（以下简称FLC）作为基准配置，而非气-液混合冷却。这一选择基于技术独立性、对比公平性和研究目标而得到论证。对于气-液混合冷却，风冷与液冷的比例通常根据实际运行条件确定，例如3:7或2:8。鉴于其复杂的运行条件和多样的冷却配置，很难与风冷建立相对公平的比较。相比之下，AC和FLC分别以空气和液体作为传热介质，代表两种完整的、自包含的散热架构。在统一的设计约束下，它们客观地揭示了由不同传热机制驱动的热性能、能效、系统功耗和工程适用性方面的根本差异。相比之下，混合冷却本质上是AC系统的局部增强变体，其最终散热仍依赖于空气侧换热器。它不构成独立的技术路线，无法确保公平的、控制变量的比较。因此，为准确评估技术优劣并支持架构选择，应采用AC和FLC作为主要对比方案。

为使比较更加合理，本文设定了以下对比标准：1) 相同的服务器功耗；2) 相同的环境条件；3) 相同的制冷设备。本文旨在对AC和FLC数据中心的冷却系统能耗进行详细的定量比较，结合西安的全年温度统计数据评估年度能耗。为确保公平比较，两种架构的冷却需求设定为相同。值得注意的是，在此条件下，AC系统提供的冷却能力已达到运行极限，而FLC系统仍保留相当大的冷却能力。本工作连接了组件层面的热流体分析（3D服务器CFD）和数据中心层面的年度能效评估（1D系统建模），为冷却架构的选择提供了定量的多尺度依据。结合PUE、pPUE和SEER的多指标框架，能够从瞬时、局部和年度角度全面评估冷却效率。组件层面的功耗，包括泵和压缩机功耗等，也纳入了分析范围，以实现对不同冷却方案更可靠和更有意义的比较。

与现有文献相比，本研究的学术贡献有三方面：(1) 方法学贡献：我们建立了一个公平的对比框架，用于在相同热负荷和相同冷却设备条件下评估AC和FLC，克服了此前无法对两种根本不同的冷却架构进行比较的挑战。该框架使在一致的边界条件下进行组件层面的定量能量分解成为可能——此前研究中从未系统探索过这一方面 [27], [28], [29]。(2) 机制贡献：通过热阻链分解，我们定量揭示了FLC能够延长自然冷却持续时间的原因。此外，我们在组件层面对不同运行模式（压缩机制冷与自然冷却）下贡献PUE降低的主导因素进行了定量分析，从而提供了超越简单功耗比较的物理洞见。(3) 工程应用贡献：我们利用SEER指标，在四个不同的气候区（广州、西安、北京和哈尔滨）系统评估了FLC的性能，并评估了其在不同CPU功率条件下的负载跟随稳定性。这些发现为基于地理位置和工作负载特征选择冷却技术提供了直接指导。

本文其余部分组织如下。第2节介绍了两种冷却架构的3D服务器模型和冷却系统模型，第3节讨论了研究结果。最后在第4节给出了一些结论。

# 2. 服务器分析模型

本节建立了详细的AC服务器模型和FLC服务器模型用于CFD仿真。AC 2 U服务器模型如图1所示。由于实际服务器内部结构的复杂性，模型在几何上进行了简化，但保留了必要的组件，如CPU、内存、硬盘、电源和输入/输出（IO）板。电阻、电容等杂项组件放置在IO板上，其发热假设作为IO板的体积热源。空气由风扇吸入，穿过服务器内部，并从服务器末端排出。服务器风扇的选择取决于服务器尺寸和所需风量。采用UF80A风扇型号，AC服务器通常配备四个此类风扇。

FLC 1 U服务器模型如图2所示。FLC服务器的内部组件与AC服务器相同。对于FLC服务器，所有内部组件均由液体冷却，DIMM和CPU使用冷板，电源和IO使用冷管冷却。与AC服务器一样，冷却液从整个服务器中移除热量。FLC服务器架构基于浪潮的四节点高密度服务器。冷板采用串联主路径设计，显著减少了冷板焊点数量并降低了泄漏风险。DIMM和其他组件的结构设计参考了一些关于冷板服务器的研究 [30], [31], [32], [33]。在数据中心领域，目前广泛采用的是混合冷却解决方案。

然而，对 FLC 技术的研究对于实现计算密度、能效创新和产业升级方面的突破至关重要。FLC 服务器具有以下特征：1）无风扇、防尘且故障率低；2）每机架计算能力更高，节省数据中心空间；3）消除传统空调，显著减小冷却系统的占地面积；4）冷却系统利用高温冷却液（45–60°C），有利于发展低碳循环经济生态。

图 2. FLC 服务器内部结构。
DIMM 和 CPU 冷板的结构和尺寸如图 3 所示，冷板材料为铝，导热系数为 220 W/(m·℃)。冷管内径为 5 mm，外径为 6 mm。FLC 服务器使用去离子水作为冷却液，流动顺序是先冷却低功耗组件，再冷却高功耗组件，顺序为电源、IO、DIMM、CPU。服务器参数见表 1。在仿真中，组件通过预设的体积热源加热。AC 和 FLC 服务器中所有发热组件的功率相同，确保最大 CPU 温度不超过 85 °C。

图 3. FLC 服务器冷板内部结构。

表 1. 服务器参数。

| 组件 | 材料 | 导热系数/W/(m·℃) | 尺寸/mm | 数量 | 功率/W |
| :--- | :--- | :--- | :--- | :--- | :--- |
| 服务器 CPU | 铝 (Al) | 180 | 22 × 29 × 12 | 1 | 50 |
| DIMM | 陶瓷 | 6.5 | 133.6 × 27.25 × 1.43 | 24 | - |
| 电源 (Power) | 陶瓷 | 6.5 | 100 × 65 × 7.7 | 5 | 110 |
| IO | 陶瓷 | 6.5 | 100 × 100 × 7.7 | 5 | 110 |
| 风扇（风冷） | - | - | 直径=80，厚度=38 | 4 | - |
| 外壳（风冷） | - | - | 540 × 482 × 86.9 | 1 | - |
| PCB（风冷） | 陶瓷 | 6.5 | 540 × 482 × 2 | 1 | - |
| 外壳（液冷） | - | - | 530 × 247 × 42.4 | 1 | - |
| PCB（液冷） | 陶瓷 | 6.5 | 530 × 247 × 2 | 1 | - |

本文使用 Fluent 2022R1 对两种服务器进行建模和分析。模型设置为三维稳态、恒定、不可压缩流动，忽略热辐射效应，考虑重力对流体流动的影响。服务器入口的流动状态根据雷诺数确定。FLC 服务器使用层流模型，AC 服务器使用 k-ε 湍流模型。所有冷却流均在各自的网格内进行模拟。

3. 数学模型与仿真方法

3.1. 服务器模型验证
AC 和 FLC 服务器的两种网格系统如图 4 所示。由于网格数量庞大，仅显示部分网格。散热器和内存冷却板的网格细节单独提供。网格独立性验证如图 5 所示。结果表明，当 AC 的网格达到 900 万，FLC 达到 1100 万时，进一步增加网格密度对仿真结果的变化微乎其微。具体而言，最大 CPU 温度变化在 0.5°C 范围内，标准差低于 0.05，而压降波动在 1 Pa 以内，标准差低于 0.27。这些观察结果证实，所选的网格分辨率在计算精度和成本之间提供了良好的平衡。因此，这些网格配置被用于后续的仿真分析。

图 4. 两种服务器的网格系统。
图 5. 网格独立性验证。

本文中的 CFD 仿真模型使用 Fan 等人 [33] 的实验结果进行了验证。水冷服务器测试模型如图 6 所示。CPU 功率为 350 W，使用的冷却液是抑制型丙二醇基传热流体（丙二醇 25 vol%，PG25），入口温度为 40°C。使用 Fluent2022R1 进行 CFD 仿真，服务器仿真模型中的网格数量为 2200 万。网格独立性验证如图 7(a) 所示。比较了服务器的最大 CPU 壳温度和服务器两侧的压降的仿真与实验结果。图 7(b) 显示的结果表明，温度和压降的偏差均在 10% 以内。此次验证的主要目标不是复制模型的精确几何配置，而是评估数值方法的保真度，包括对流换热的处理、压力 - 速度耦合方案（SIMPLE）以及总体网格划分策略。为确保一致性和可比性，网格质量标准（纵横比保持在 35 以下，偏斜度低于 0.7）、边界条件规范和求解器参数设置直接继承自本研究采用的服务器模型。

图 6. Fan 等人 [33] 的实验模型。
图 7. 验证结果。

3.2. AC 系统的集总模型
图 8 显示了 AC 系统的主要组件，包括压缩机制冷（以下简称 CR）和自然冷却（以下简称 NC）两种运行模式。这些组件用于重新冷却用于服务器冷却的气侧冷却剂。服务器产生的热量首先通过空气 - 水换热器（HXT1）提供的空气流散发。在 CR 中，水通过冷水机组蒸气压缩循环中的制冷剂 - 水换热器（蒸发器）冷却来自服务器机柜的空气。在 NC 中，水通过氟泵循环中的制冷剂 - 水换热器冷却来自服务器机柜的空气。目标是让制冷剂吸收水中的热量，最终通过各自循环中的 NC 换热器将热量排放到外部环境。本文讨论 CR 和 NC 模式在不同环境温度下独立运行，不考虑联合冷却模式。

图 8. AC 系统示意图。

建模方法论的总体流程图如图 9 所示，便于理解以下各节中的详细模型描述。本文的总体计算逻辑如下：首先计算 NC 氟泵循环，确定 NC 是否满足冷却需求；如果不满足，则计算 CR 循环。NC 循环的建模方法论与压缩机制冷循环类似。然而，由于循环方向相反，两种循环中根据给定蒸发温度计算冷凝温度的程序不同，如图 9(2)(3) 中红色标记所示。在接下来的章节中，将按图 9 所示顺序依次展示计算细节。

图 9. 建模方法论流程图。

3.2.1. 空气 - 水换热器分析
每个机架配备 8 台服务器，模拟的数据中心共有 20 个机架，服务器总功率为 71680 W。冷却服务器的空气由空气 - 水换热器（HXT1）和风扇提供，也称为冷冻水空调。由于不考虑房间内的气流组织，假设空调提供的空气体积有 20% 的冗余。所需的空气体积从服务器的三维仿真中获得。因此，每台空调的换热能力为 43008 W。共有两台空调。HXT1 的管束结构如图 10 所示。管配置为错列，管内表面光滑，管长 880 mm，管内径 8.85 mm，管外径 9.05 mm。使用折流翅片。

图 10. HXT1 管束结构。

换热器设计参数包括已知参数、迭代参数和结果参数。已知参数包括：气侧入口温度 Tair-in、流量 mair，水侧流量 mwater，以及 HTX1 的总换热能力 ΦHTX1。通过不断迭代水侧入口温度 Twater-in，可以获得换热器的其他参数，例如气侧和水侧的出口温度 Tair-out 和 Twater-out，水侧压降 ΔP。空调的风扇模型根据所需的空气体积选择。空调配备两台型号为 LPAI500 的风扇。风扇功率计算公式为
(1) ??fan=(??RIP/??RAF)×??fan?air×??fan
其中，Wfan 是风扇总功耗，VRAF 是风扇额定风量，WRIP 是风扇额定输入功率，Vfan-air 是风扇提供的实际空气流量，Nfan 是风扇数量。选择风扇模型后，确定相应的额定值，并使用实际空气流量计算风扇功率。

空调的冷冻水由阀门在不同运行模式下调节，并通过冷冻水泵与蒸发器或氟 - 水换热器进行热交换。水泵的功耗根据所需的压降计算。
(2) ??water?pump=(??water??????)/(?????)
其中，Wwater-pump 是水泵功耗，ΔP 是换热器水侧的压降，ρ 是水的密度，? 是水泵效率，假定为 90%。水泵效率参考格兰富屏蔽泵 [34] 进行选择。90% 是一个具有代表性且相对保守的值，符合实际工程应用。

3.2.2. 压缩机制冷循环
制冷循环系统包括蒸发器、压缩机、冷凝器和膨胀阀。基本制冷循环和详细过程如图 11 所示。蒸发器是制冷剂和冷冻水之间的换热器。假设蒸发器盘管的内外壁具有较高的传热系数。蒸发温度 TEVsat 与进入蒸发器的水温 Twater-out 之间的温差假定为 2°C。根据 HTX1 模型，Twater-out 和 TEVsat 是已知量。可以通过查阅 R134a 的 p-h 图获得与 TEVsat 对应的压力 PEVsat 和焓 hg。由于冷水机组控制系统旨在防止液体进入压缩机，图 11 中从蒸发器流出的状态 1 处的蒸汽略微过热。

图 11. 制冷循环压力 - 焓图。

状态 1 的焓为
(3) ?1=1.001×???
系数 1.001 用于对状态 1 的焓进行微小修正，因为焓大约为 10 的平方量级。焓 h1 与饱和焓 hg 之间的差值，用一位小数表示，表明略微过热。

通过猜测流过蒸发器的制冷剂质量流量 mrefrig，状态 4 处的焓 h4 可获得如下
(4) ???????????????????????????????=??refrig×(?1??4)
从状态 3 到状态 4 的过程是等焓膨胀过程，所以 h3=h4。状态 3 是饱和液态。通过查阅 p-h 图，可获得状态 3 的饱和压力 PCONsat 和饱和温度 TCONsat。冷凝器的换热能力可表示为
(5) ????????????????????????????=??????????×?????????????×(???????????????)=??????[(△??3?△??4)/??????(△??3/△??4)]
(6) △??3=??ai???CONsat
△??4=??ao???CONsat
(7) ?????=??????????×?????????????×(???????????????)[(△??3?△??4)/??????(△??3/△??4)]
(8) ??ao=??CONsat?(??CONsat???ai)[???(?????/(??CONair×????air))]
其中，Tao 是冷凝器气侧出口温度，Tai 是冷凝器气侧入口温度，TCONsat 是冷凝器制冷剂侧饱和温度，mCONair 是冷凝器气侧质量流量，cpair 是空气定压比热，UA 是总传热系数。UA 表示单位温差下的传热速率，单位为 W/K 或 W/℃。它表征两种流体之间的传热能力。UA 值越大，传热性能越好。本研究设计了一个风冷冷凝器以满足所需的冷却能力。翅片管换热器的设计基于 M14–240 铜管翅片换热器 [35] 的结构（发散管）、材料和设计条件。冷凝器的管束结构如图 12 所示。管内表面光滑，盘管长度 1200 mm，盘管高度 970 mm，翅片管换热器的其他参数见表 2。根据所需的冷凝器空气流量和冷凝器盘管的尺寸（高度和长度），选择了四台 UF300BNA 风扇。

通过改变 R134A 流量和空气流量，可以将换热器的各个 UA 值以空气流量为函数绘制出来，如图 13 所示，其中 R134A 流量为常数。对于用作冷凝器的固定结构换热器，其换热面积是恒定的。在不同工况下，流体的热物性相近，因此不是 UA 变化的主要原因。工作流体流量的变化是影响 UA 的最直观、最易测量且最具影响力的因素。因此，换热器的 UA 图仅展示了 UA 随空气流量和制冷剂流量变化的曲线。

下载：下载高分辨率图像 (199KB) 下载：下载全尺寸图像
图 12. 冷凝器管束结构。
表 2. 翅片管冷凝器结构特性表。
| 翅片特性 | 管特性 | 管方法 | 类型 | 翅片厚度/mm | 翅片高度/mm | 翅片间距/mm | 垂直间距/mm | 水平间距/mm | 外径/mm | 内径/mm |
| :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- |
| | | | louver | 0.14 | 10 | 2.07 | 3.035 | 9.52 | 8.82 | |
| | | | divergent | | | | | | | |

下载：下载高分辨率图像 (86KB) 下载：下载全尺寸图像
图 13. 冷凝器总传热系数随空气和制冷剂 R134A 质量流量变化的函数关系。

状态 2 的焓值 $h_2$ 可以通过冷凝器与空气之间的传热，利用热力学第一定律获得。
(9) $\Phi_{condenser} = \dot{m}_{refrig} \times (h_2 - h_3) = \dot{m}_{air} \times c_{p,air} \times (T_{ao} - T_{ai})$

压缩机的功耗可以计算为
(10) $W_{comp-1} = \dot{m}_{refrig} \times (h_2 - h_1)$

这是第一种解法，但由于其围绕 $\dot{m}_{refrig}$ 进行迭代，需要第二种解法来验证原解法的正确性。压缩机的功耗也可以表示为
(11) $W_{comp-2} = \dot{m}_{refrig} \times (h_{2-2} - h_1)$
其中，$h_{2-2}$ 是状态 2 的实际焓值。对于理想制冷压缩循环，从状态 1 到状态 2 的过程是等熵压缩。因此，根据状态 1 的熵和冷凝压力，可以从 p-h 图上找到状态 2 的理想焓值 $h_{2s}$。压缩机效率取自《能源管理手册》[36]。对于本研究中的压比和运行范围，压缩机效率一般在 0.85 到 0.90 之间。0.88 是相关研究中合理且常用的经验值，$h_{2-2}$ 可表示为
(12) $h_{2-2} = h_1 + (h_{2s} - h_1) / 0.88$

由于 $\dot{m}_{refrig}$ 是假定的，不同的 $\dot{m}_{refrig}$ 会导致状态 2 的焓值不同。改变 $\dot{m}_{refrig}$ 的值并连续迭代计算，直至 $h_2 = h_{2-2}$。最后，当两种计算方法得出的压缩机功耗 $W_{comp-1}$ 和 $W_{comp-2}$ 的误差在 1% 以内时，$\dot{m}_{refrig}$ 被认为是准确的假定值。

3.2.3. 自然冷却氟泵循环
NC 氟泵循环包括制冷剂 - 水换热器、氟泵和 NC 换热器，制冷剂为 R134a。NC 氟泵循环及其详细过程如图 14 所示。NC 循环的数学模型与 2.3.2 节中的 CR 循环相似。不同之处在于循环方向相反，这导致蒸发温度高于冷凝温度。

下载：下载高分辨率图像 (419KB) 下载：下载全尺寸图像
图 14. 氟泵 NC 循环压力 - 焓图。

3.3. FLC 系统的集总模型
图 15 展示了 FLC 系统的主要组件，包括两种运行模式。服务器产生的热量首先通过 CDU（冷却液分配单元）提供的水流进行耗散。全水冷运行的两种模式与 AC 系统相同，此处不再详细描述。区别在于在 FLC 系统中，冷水直接输送至冷板。与 AC 系统相比，效率较低的 HXT1 被直接移除。

下载：下载高分辨率图像 (272KB) 下载：下载全尺寸图像
图 15. FLC 系统原理图。

本文中的 CDU 具有分配冷却液以及通过与制冷剂 - 水换热器进行换热的功能。进入服务器的冷水压力头由 CDU 中的泵提供。冷水进入机柜后，首先流入歧管，然后歧管将冷水分配到每台服务器。歧管中冷水的分配比例参考 Chen 等人 [37] 的设计，如表 3 所示。1 号歧管的冷却液流量最低，因此必须确保分配给 1 号歧管的冷却液流量满足一台服务器的冷却液流量需求。在此基础上，可以计算出一个机柜（8 台服务器）所需的总冷却液流量，而不是简单地将 8 台服务器的相同流量相加。

表 3. 机柜服务器歧管分配比例。
| 歧管编号 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 |
| :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- |
| 比例 | 0.98571 | 1.01382 | 1.00691 | 1 | 1.00061 | 1.00120 | 0.99919 | 0.99718 |

歧管及每台服务器连接管的沿程阻力与局部阻力计算如下
(13) $\frac{\Delta p}{\rho g} = \frac{64}{Re} \times \frac{L}{d} \times \frac{v^2}{2g}$
(14) $\Delta p = \xi \times \left(\frac{\rho v^2}{2}\right)$
其中，$L$ 为管道长度，$d$ 为管道直径，$v$ 为流体速度，$g$ 为重力加速度，$d=5$ 毫米，$L=44.45 \times 40 \times 2 = 3556$ 毫米，$\xi$ 为局部阻力系数，与局部阻力形状有关，假设弯头为 90°，则 $\xi=0.15$ [38]。

3.4. 制冷剂对比分析
本节讨论了在制冷量相等和蒸发温度恒定的前提下，常规制冷剂 R134a 与环保制冷剂 R1234ze 之间的差异。如图 16（制冷循环压力 - 焓图）所示，R1234ze 的蒸发压力和冷凝压力均低于 R134a。这提高了系统安全性并降低了耐压要求。冷凝温度随压力降低而降低，这对压缩机是有利的。由于其单位容积制冷量较低，R1234ze 需要比 R134a 更大的质量流量才能达到相同的制冷量。在环境温度为 11.55 °C 且采用空气冷却的情况下，R1234ze 和 R134a 系统的 COP 值分别为 2.907 和 2.834，相应的压缩机功耗分别为 29.58 kW 和 30.348 kW。R1234ze 略高的 COP 有助于节能。因此，在压缩制冷循环中，尽管 R1234ze 需要更大的质量流量，但其压缩机功耗仍略低于 R134a，且对整体能耗的影响极小。

下载：下载高分分辨率图像 (111KB) 下载：下载全尺寸图像
图 16. 在相同制冷量和蒸发温度条件下采用不同制冷剂的制冷循环压力 - 焓图。

本研究的主要目的是阐明支配流动和传热的根本机制。这些机制具有普适性，其定性行为独立于所使用的特定制冷剂。由于 R134a 在学术研究中被广泛采用，本工作采用 R134a 以确保与相关研究的可比性。

3.5. 冷却效率评估的性能指标
在本研究中，采用三个互补的指标来评估冷却系统性能。pPUE（局部电力使用效率）用于对数据中心内局部区域进行分析和评估。如果关注数据中心某一部分的能源使用情况，可以使用 pPUE 的概念。pPUE = $W_{zone} / W_{IT,zone}$，$W_{zone}$ 是目标区域内的总能耗，$W_{IT,zone}$ 是该区域内的 IT 能耗。PUE（电力使用效率）指标作为一个整体概念，考察整个数据中心的能源效率。PUE = $W_{total} / W_{IT}$，$W_{total}$ 代表数据中心的总能耗，包括 IT 负载、冷却、配电及其他辅助系统，$W_{IT}$ 是仅由 IT 设备消耗的能源。对于数据中心冷却系统，SEER（季节性能比）定义为 $SEER = W_{IT} / W_{cooling}$，其中 $W_{IT}$ 表示 IT 设备产生的年总热负荷（单位：kWh），$W_{cooling}$ 表示冷却系统的年总耗电（单位：kWh）。SEER 量化了冷却系统在年度运行周期内每输入 1 kWh 电能所移除的平均热能。较高的 SEER 值意味着系统在全年具有更高的综合运行效率。

单一指标不足以完全表征冷却技术的性能。PUE 捕捉瞬时或年度整体效率，pPUE 隔离冷却系统的贡献，SEER 反映气候集成的年度性能。这三个指标的组合使得对不同冷却架构和地理位置的比较更加稳健和全面。

4. 结果与讨论
4.1. 服务器三维 CFD 仿真结果对比
本节将展示 2.1 节中三维服务器的仿真结果。图 17 和图 18 展示了 AC 和 FLC 服务器在相同服务器功率（CPU、DIMM 等）下的 CFD 仿真结果。通过调节空气流和去离子水流速，两种配置下的最高 CPU 温度均保持在 85°C 以下，确保了服务器端冷却性能的等效性，并使冷却系统差异的对比分析成为可能。所需冷却液流量等仿真参数见表 4。表 4 中的仿真参数用作数据中心一维冷却系统仿真中的已知参数。AC 服务器的速度迹线显示了进风风扇对服务器内部流场的影响。截面为 CPU 的中部截面。AC 服务器和 FLC 服务器的 CPU 温度是所有组件中最高的。

下载：下载高分辨率图像 (318KB) 下载：下载全尺寸图像
图 17. AC 服务器的温度云图和速度迹线。

下载：下载高分辨率图像 (378KB) 下载：下载全尺寸图像
图 18. FLC 服务器的温度云图。

表 4. 三维服务器的仿真结果。
| 参数 | AC | FLC |
| :--- | :--- | :--- |
| 冷却液入口温度 /℃ | 20 | 51 |
| 冷却液出口温度 /℃ | 30.43 | 68.08 |
| 服务器压降 /Pa | -18 | 15.01 |
| 1 台服务器冷却液流量 /(m3/h) | 124.95 | 0.0226 |
| 160 台服务器冷却液流量 /(m3/h) | 19992 | 3.617 |

值得注意的是，本文的重点是风冷系统与液冷系统之间的对比。且本文采用的组件布置模式（图 8 和图 14）在工程中非常常见。因此未对改变组件位置的影响进行研究。两种冷却架构的完整热阻链描绘如图 19 所示。两种架构之间不同的热阻包括芯片散热器/冷板的导热热阻和对流热阻、换热 AC/CDU 的热阻以及制冷循环的热阻。本节仅关注散热器/冷板的热阻；详细参数见表 5。其余部分将在本文后续章节中讨论。导热热阻表示为 $R_{Cond} = (T_{CPU,av} - T_{spreader}) / \Phi$，对流热阻表示为 $R_{Conv} = (T_{spreader} - T_{coolant}) / \Phi$。这里，$T_{CPU,av}$ 是 CPU 表面平均温度，$T_{spreader}$ 是散热器底部平均温度（对于风冷）或冷板通道底部壁面平均温度（对于液冷），$T_{coolant}$ 是冷却液平均温度 - 对于 FLC，这是水进出口温度的平均值，而对于 AC，它是空气平均温度。与 AC 架构相比，FLC 系统的 $R_{Cond}$ 和 $R_{Conv}$ 均降低了 60% 以上。这主要是因为水的导热系数约为空气的 23 倍，比热容约为空气的 4 倍。这些优越的性能赋予 FLC 系统比 AC 系统高得多的对流换热系数，从而显著降低了对流热阻。在相同热负荷 $\Phi$ 下，FLC 的总热阻要低得多，因此所需的温差 ($T_{CPU,av} - T_{spreader}$) 和 ($T_{spreader} - T_{coolant}$) 均远小于 AC。这意味着即使冷却液温度较高，FLC 仍能有效冷却芯片，这为实现更长时间的自然冷却运行提供了热力学基础。

下载：下载高分辨率图像 (150KB) 下载：下载全尺寸图像
图 19. 两种冷却架构完整热阻链示意图。

表 5. AC 和 FLC 芯片到换热器热阻的定量对比。
| 热阻 | 描述 | AC | FLC | 备注 |
| :--- | :--- | :--- | :--- | :--- |
| $R_{Cond\_heat sink}$ / $R_{Cond\_cold plate}$ | 导热热阻 | 0.140 | 0.0496 | 关键差异 |
| $R_{Conv\_air}$ / $R_{Conv\_water}$ | 对流热阻 | 0.229 | 0.0737 | 关键差异 |

4.2. 两种冷却架构集总冷却模型的对比
4.2.1. 不同环境温度下的功耗对比
本文采用 2024 年中国西安气象站的全湿球温度监测数据作为制冷系统研究的支撑，如图 20 所示。各温度范围的中间温度被设定为环境温度。

讨论了环境温度对冷却系统的影响并计算了 pPUE，如图 21 所示。在本文的计算条件下，西安的 FLC 数据中心有能力在年运行时间的 95.30% 内利用自然冷却（NC）。在自然冷却模式下，AC 和 FLC 的 pPUE 可分别降低至 1.106 和 1.0362。自然冷却可大幅降低冷却系统的功耗并显著降低数据中心的 pPUE。如 4.1 节（表 5）所述，FLC 延长自然冷却运行时间的根本原因是其热阻远低于 AC。这使得在相同热负荷下允许更高的冷却液温度，从而使系统能够容忍更高的环境温度同时仍满足冷却要求。

图 20. 不同温度范围在一年的小时数统计。
图 21. 两种冷却方法随环境温度变化的 pPUE。

**4.2.2. 不同环境温度下冷凝温度和蒸发温度的比较**

自然冷却（NC）和压缩机制冷（CR）均依赖于相同的冷凝器运行原理：使用环境空气冷却冷凝器内的制冷剂，使其状态从气态变为液态。如果在所选风扇型号的风量下，冷凝器内部冷凝温度与环境温度之间的温差足以散热并将制冷剂冷却至饱和液体状态，即可启动自然冷却。两种冷却方法的冷凝温度和蒸发温度随环境温度的变化如图 22 所示。

图 22. 两种冷却方法随环境温度变化的冷凝温度。

由于自然冷却的冷凝温度计算与制冷剂流量无关，且是通过假设为从过热态到饱和态的等容过程推导得出的（详见图 9(2)），因此在自然冷却下冷凝温度保持恒定：AC 为 6.79 ℃，FLC 为 46.89 ℃。这也证实了，一旦蒸发温度确定，启动自然冷却所需的环境条件即固定，且不受其他因素影响。因此，在数据中心冷却系统设计阶段，需要计算启动自然冷却所需的环境温度设计值，以指导自然冷却实际启动条件的设定。

由于蒸发温度由进水温度决定，通常在冷水机组中设置进水温度与环境温度之间的温差 ?T 来控制自然冷却的启动。当实际 ?T 大于或等于设定值 ?T 时启动自然冷却，否则关闭。这种基于 ?T 的控制策略不仅适用于氟泵自然冷却，也适用于其他自然冷却方案。

相比之下，压缩机制冷循环的冷凝温度计算与制冷剂流量有关（详见图 9(3)），导致压缩机制冷期间的冷凝温度是可变的。

在自然冷却下，蒸发温度高于冷凝温度，且热交换器效率必然小于 100%。通过迭代计算，FLC 的蒸发温度和供水温度分别为 49 ℃和 51 ℃，当环境温度低于 32 ℃时启动自然冷却。对于 AC，蒸发温度和供水温度分别为 10 ℃和 12 ℃，仅在环境温度为 -6 ℃时启用自然冷却。因此，控制自然冷却启动的温差 ?T 对于 AC 为 18 ℃，对于 FLC 为 19 ℃，两种方案之间差异不大。

总之，在多种冷却方式中，决定自然冷却性能的关键因素是所需的进水温度，而进水温度与环境温度之间的温差 ?T 决定了是否可以启动自然冷却。

**4.2.3. 不同制冷方法下主要组件的功耗比例**

在相应工况下，AC 和 FLC 主要组件的功耗比例分别如图 23 和图 24 所示。具体计算结果见附录。在 AC 数据中心的机械制冷中，冷却系统中压缩机的功耗最大，占 18.2%，其次是服务器风扇。在 AC 数据中心的自然冷却中，冷却系统中服务器风扇的功耗最大，占 4.45%，其次是空调风扇。在 FLC 数据中心的机械制冷中，冷却系统中压缩机的功耗最大，占 13.82%，其次是 CDU 泵。在 FLC 数据中心的自然冷却中，冷却系统中冷凝器风扇的功耗最大，占 1.915%，其次是 CDU 泵。FLC 可有效降低冷却系统功耗并获得更低的 PUE。各 FLC 组件对 PUE 降低的量化贡献如表 6 所示，其中负号表示负贡献。

图 23. AC 主要组件的功耗比例。
图 24. FLC 主要组件的功耗比例。

表 6. 各 FLC 组件对 PUE 降低的量化贡献。

| 空白 | CR (环境温度 36.15 ℃) | | | | | NC (环境温度 -6 ℃) | | | |
| :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- |
| **功耗组成** | **AC** | **FLC** | **功耗变化** | **贡献** | | **AC** | **FLC** | **功耗变化** | **贡献** |
| 服务器风扇 + 空调风扇 (W) | 3528 | 0 | -23140 | 58.42% | | 3528 | 0 | -23140 | 93.47% |
| 冷凝器风扇 (W) | 7605 | 12248 | 4605 | 11.86% | | 11821 | 9199 | -2622 | 15.86% |
| 水泵 (W) | 4768 | 4440 | -328 | -1.27% | | 4768 | 4440 | -328 | -5.89% |
| 压缩机/氟泵 (W) | 34990 | 11712 | -23278 | 80.27% | | 11432 | 9215 | -2217 | -3.44% |
| **总和** | **42068** | **13068** | **-29000** | **100%** | | **76141** | **36462** | **-39679** | **100%** |
| **COP** | **2.458** | **7.344** | | | | | | | |

在环境温度为 36.15°C 时，FLC 系统允许更高的冷冻水供水温度，使冷水机组能在更高的 COP 下运行。在此条件下，FLC 系统中冷水机组功耗的降低对整体 PUE 降低贡献最大，占 80.27%。服务器风扇和空调风扇的替换是驱动 PUE 降低的另一个主导因素。尽管 FLC 水泵的功耗增加，但它仅抵消了 1.27% 的降幅。在环境温度为 -6°C 时，AC 和 FLC 均运行在自然冷却模式，利用氟泵和冷凝器进行自然冷却。服务器风扇和空调风扇的替换成为 PUE 降低的主导因素，贡献了总量的 93.47%。第二大因素仍然是 FLC 所实现的冷冻水供水温度，这导致冷凝器风扇功耗降低。尽管氟泵和水泵的功耗增加，但它仅抵消了 9.33% 的降幅。

基于上述结果，降低功耗的方向可总结如下：(1) 使用自然冷却替代压缩机驱动冷却并提高压缩机效率。(2) 应用更高效的冷凝器（闭式/开式冷却塔、蒸发式冷却塔、无填料喷雾型冷却塔等）以增加自然冷却的室外温度范围。(3) 从 AC 服务器转变为 FLC 服务器（去除风扇）。

**4.2.4. 能效比较与气候敏感性分析**

为了进行气候敏感性分析，编制了四个选定城市的日均温度分布曲线，如图 25 所示。选定的四个城市跨越了从冷到热的气候范围，提供了足够多样的基础来验证我们结论的稳健性。每个城市的每小时间温度数据源自 ASHRAE 典型气象年（TMY）数据库。两种冷却架构的年自然冷却小时数以及年平均 pPUE 和 PUE 如表 7 和表 8 所示。辅助系统，包括电源和配电、照明及其他相关设备，约占数据中心总能耗的 10% [3]。在所有研究的气候条件下，FLC 系统始终提供更低的 PUE 和更长的自然冷却持续时间。在寒冷气候下，如哈尔滨，AC 系统利用低环境温度实现了低至 1.504 的 PUE。相比之下，在广州等炎热气候下，AC 系统的气侧冷却能力受到显著损害，而 FLC 系统继续提供优异的热性能。这一发现表明，FLC 的优势在最苛刻的冷却场景下最为明显。

图 25. 四个选定城市的日均温度分布曲线。

表 7. AC 的自然冷却时间、年平均 pPUE 和 PUE 比较。

| 参数 | 广州 | 西安 | 北京 | 哈尔滨 |
| :--- | :--- | :--- | :--- | :--- |
| 自然冷却小时数 /h | 0 | 1049 | 2244 | 5228 |
| 自然冷却小时数比例 | 0% | 1.14% | 5.60% | 27.83% |
| 服务器总功耗 /kWh | 628418.56 | 628418.56 | 628418.56 | 628418.56 |
| 冷却功耗 | 346534.75 | 325896.88 | 289991.42 | 230904.08 |
| 数据中心总功耗 /kWh | 974953.31 | 954315.44 | 918409.98 | 859322.64 |
| pPUE | 1.551 | 1.519 | 1.461 | 1.367 |
| 辅助组件功耗 /kWh | 97495.33 | 95431.54 | 91840.99 | 85932.26 |
| PUE | 1.707 | 1.670 | 1.608 | 1.504 |

表 8. FLC 的自然冷却时间、年平均 pPUE 和 PUE 比较。

| 参数 | 广州 | 西安 | 北京 | 哈尔滨 |
| :--- | :--- | :--- | :--- | :--- |
| 自然冷却小时数 /h | 8530 | 8353 | 8689 | 8784 (全年) |
| 自然冷却小时数比例 | 97.11% | 95.09% | 98.89% | 100% |
| 服务器总功耗 /kWh | 628418.56 | 628418.56 | 628418.56 | 628418.56 |
| 冷却功耗 | 18718.80 | 20172.70 | 16214.76 | 14509.51 |
| 数据中心总功耗 /kWh | 647137.36 | 648591.26 | 644633.32 | 642928.07 |
| pPUE | 1.030 | 1.032 | 1.026 | 1.023 |
| 辅助组件功耗 /kWh | 64713.73 | 64859.12 | 64463.33 | 64292.80 |
| PUE | 1.133 | 1.135 | 1.128 | 1.125 |

图 26 总结了液冷相对于风冷实现的年度累计节能量，以及两种冷却架构的 SEER。在广州，FLC 系统实现了 32.8 万千瓦时的年度累计节能。在哈尔滨，由于与其他城市相比自然冷却小时数更长，SEER 达到最高水平。具体而言，哈尔滨的 FLC 系统可实现全年自然冷却运行，从而取得 43.31 的出色 SEER 值。

图 26. FLC 实现的年度累计节能量及两种冷却架构的 SEER。

SEER 指标对于气候敏感性比较特别具有信息量，因为它整合了全年环境温度在整个年度的时间分布。与可能随瞬时运行条件而变化的 PUE 不同，SEER 提供了年度冷却效率的全局视图。结合 pPUE（隔离冷却系统功耗）和 PUE（反映数据中心整体效率），SEER 完成了一个多指标框架，分别捕捉了瞬时、局部和年度性能维度。这种互补方法解决了任何单一指标的固有局限性，并能够实现更稳健的技术比较。

**4.2.5. 关于 FLC 在数据中心高功耗服务器中应用的讨论**

每个 CPU 的功耗增加至 184 W，其他辅助组件的功耗保持不变。图 27 比较了 CPU 功耗增加至 184 W 时 AC 和 FLC 服务器的冷却性能。对于 AC 服务器，在入口风速为 2 m/s（AC 服务器的峰值入口风速 [39]）时，最大 CPU 温度达到 92.74 ℃，表明即使在最大风量下，冷却性能仍令人不满意。相比之下，FLC 服务器仅能以 0.45 m/s 的入口液速将 CPU 冷却至 85 ℃。这表明 184 W 的 CPU 功耗超出了本研究提出的 AC 服务器设计的冷却性能极限，而 FLC 服务器可以轻松应对此功率级别。因此，以下讨论将仅聚焦于 FLC 服务器的冷却系统。

图 27. 不同 CPU 功耗下服务器的最大 CPU 温度。

对于 FLC 服务器，20 个机柜的总功耗增加至 82560 W，比上述方案高 10800 W。不同 CPU 功耗服务器下 FLC 系统的 pPUE 如图 28 所示。

图 28. 不同 CPU 功耗服务器下 FLC 系统的 pPUE 比较。

服务器功耗的增加将增加冷却系统的 pPUE，但当 CPU 功耗增加 22.67% 时，FLC 系统的 pPUE 仅上升 1%。这表明 FLC 对服务器功耗变化的敏感度较低。图 24 中的条形图显示了 pPUE 的增加值。在自然冷却和压缩机制冷过程中，pPUE 的增加相对均匀。这意味着对于负载波动，FLC 的冷却效率几乎不受负载变化的影响，从而具有更高的稳定性、更高的能效，并更适合高度波动和高密度负载。

最后需要注意的是，本文采用的两个指标，即组件级能耗和年能耗，可以清楚地揭示风冷和液冷数据中心的能耗差异，而无需引入新指标。

**5. 结论**

本研究构建了数据中心 3D 服务器和 1D 冷却系统能耗分析。

基于中国西安的典型气候条件，对采用风冷（AC）和液冷（FLC）的数据中心进行了组件级能耗的详细对比。根据研究结果，得出以下结论：
(1) 与风冷架构相比，液冷系统中芯片冷板的导热和对流热阻降低了 60% 以上。热阻的这一显著降低是液冷系统允许更高冷却液供水温度的根本原因，从而将年自然冷却时长从 1.14% 延长至 95.09%。
(2) 提高数据中心热管理系统中自然冷却的利用率并拓宽其应用的环境温度范围，可以大幅降低冷却系统的能耗。
(3) 决定自然冷却（NC）性能的关键因素是所需的冷冻水供水温度，而环境温度与冷冻水供水温度之间的温差则决定了自然冷却能否启动。
(4) 在压缩机运行（CR）模式下，液冷系统允许更高的冷冻水供水温度。因此，液冷系统中制冷机能耗的降低对总能耗减少的贡献最大，占比 80.27%。在自然冷却（NC）模式下，液冷系统中消除服务器风扇和空调风扇成为驱动能耗减少的主导因素，占总减少量的 93.47%。
(5) 在所选的四个城市中，风冷和液冷系统均在哈尔滨达到最大季节能效比（SEER）值，这是因为那里的自然冷却时长相对于其他城市更长。值得注意的是，哈尔滨的液冷系统实现了全年自然冷却运行，取得了 43.31 的卓越 SEER。在最具挑战性的冷却条件下（以广州为例），液冷的优势最为明显。
(6) 液冷在负载变化下表现出优越的稳定性。当 CPU 功率增加 22.67% 时，液冷系统的 pPUE 仅上升 1%，表明液冷的冷却效率几乎不受负载波动的影响。这使得液冷特别适合高密度和高变动的计算工作负载，而在这些场景下传统风冷系统会接近其热极限。
CRediT 作者贡献声明
戴炎军：构思。张润杰：构思。李树昌：验证、构思。李玉亭：写作 – 审阅与编辑、写作 – 初稿、可视化、方法论、数据整理。陶文铨：写作 – 审阅与编辑、资金获取、构思。
李玉亭 | 李树昌 | 张润杰 | 戴炎军 | 陶文铨
中国西安交通大学能源与动力工程学院，教育部热流体科学与工程重点实验室，西安 710049，中国