基于强化学习算法的复合微通道换热器智能化结构优化

《Energy》：Intelligent structural optimization of composite mini-channel heat exchangers using reinforcement learning algorithms

　　

## 摘要

紧凑型换热器的结构优化涉及高维设计空间，其中热、流体力学和结构约束紧密耦合。本文开发了一种强化学习（RL）框架，将三种表格算法（Sarsa、Q-learning、Dyna-Q）和一种深度强化学习算法（近端策略优化，PPO）与基于分段对数平均温差（LMTD）方法和ASME结构验证的物理信息环境相结合，同时优化复合微通道换热器的截面通道几何形状和空间布局。基于模型的Dyna-Q算法将收敛所需的训练回合数减少了75%（相对于Sarsa），并保持最低的收敛后奖励波动。PPO在γ = 0.5时达到峰值等效冷却能力（ECO）为329.17，超过遗传算法（GA）基线14.4%，但在γ = 0.9时因灾难性遗忘出现32.5%的性能退化，证实了表格方法在低维离散优化中的鲁棒性优势。经RL优化的设计实现了223 MW/m3的体积功率密度，较GA基线提升了32.7%。本工作为微通道换热器的智能化设计提供了一种方法论，在航空航天热管理系统中具有应用潜力。

## 引言

全球净零排放的推进[1]正在加速先进能源技术的部署，包括聚光太阳能发电[2]、新一代核能系统[3]和超临界CO?循环[4]。在这些系统中，紧凑型换热器直接决定了热力学效率、功率密度[5]和紧凑性[6]。在各种紧凑型构型中，微通道换热器因其高效性被广泛应用于航空航天[7]、汽车、生物工程和电子设备冷却[8]中的高热通量热管理。特别是，如协同空吸气火箭发动机（SABRE）[9]等高超音速预冷发动机提出了特别严苛的要求，高温冲压空气必须在严重的压力、重量和体积约束下通过低温氦气冷却[10]。近期关于耦合进气-预冷器计算流体力学（CFD）分析[11]、各向异性多孔介质建模[12]以及预冷-压缩协同优化[13]的研究表明，此类系统需要同时优化传热、压力损失、结构完整性和紧凑性。因此，在极端工况下开发高性能紧凑型换热器，系统化优化设计至关重要。

传统换热器设计主要基于工程关联式和迭代计算方法，如对数平均温差（LMTD）和传热单元数（NTU）方法[14]。虽然这些方法高效且具有物理可解释性，但热尺寸确定与结构验证之间缺乏紧密耦合阻碍了全局最优设计。梯度方法，包括有限差分[15]和伴随方法[16]，改善了搜索效率，但依赖于目标函数的可微性，且在高维设计空间中可能收敛到局部最优。为实现全局优化，遗传算法（GA）[17]、粒子群优化[18]和模拟退火等启发式算法被广泛采用。Hilbert等人[19]和Xie等人[20]基于GA的研究展示了传热强化与压力损失控制之间的有效权衡，后续工作将基于种群的优化扩展到TPMS翅片三流体换热器[21]、壳管式配置[22]以及波纹通道[23]和之字形通道打印紧凑型换热器（PCHE）[24]。更近期的研究将分段非均匀翅片调控[25]、基于机器学习的翼型翅片优化[26]、超临界CO?回热器的分段靶向调控[27]和拓扑优化[28]相结合，以提升紧凑性、热流性能及流场组织。然而，元启发式方法仍依赖于基于种群的随机搜索和重复性能评估。因此，它们通常面临计算成本高、样本效率低和难以复用历史搜索经验的问题，尤其是在热尺寸确定[29]、压损评估和结构验证需要在统一设计循环中耦合时[30]。总之，这些方法逐步增强了全局搜索能力，但都没有在不同评估之间积累可迁移的设计经验。

近年来，强化学习（RL）[31]作为一种替代优化范式在能源设备领域崭露头角。智能体通过与环境的顺序交互学习设计策略，所积累的经验可在不同评估间复用，且不需要目标函数梯度。Yan等人[32]通过将学习的策略在不同设计任务间迁移加速了气动外形优化，Jia等人[33]通过学习的叶尖扭转调节改善了风力涡轮机的能量捕获。这些研究验证了RL的样本复用优势，但使用了低成本求解器且未涉及结构约束。在换热器优化中，探索了两条技术路线，区别在于训练环境的构建方式。第一条路线直接将CFD纳入训练循环。例如，Keramati等人[34]用控制点参数化通道边界以实现自由形态重塑，Ravanji等人[35]则采用网格变形。其多销翅片扩展[36]实现了49%的努塞尔数增加和33%的压力损失降低。以CFD精度评估奖励使该路线有效，但每次策略更新都消耗完整仿真。因此，训练成本变得不可承受，且设计范围局限于单个组件的局部形状。第二条路线用学习的近似替代昂贵的物理模型。例如，Wang等人[37]训练智能体对抗虚拟奖励代理，Lee等人[38]采用深度强化学习辅助拓扑优化，Yang和Hu[39]优化了超临界CO?发动机的热声核。基于代理的训练将成本降低了几个数量级，但牺牲了物理可解释性，需要预建数据库，且在智能体探索超出训练分布的设计时会累积预测误差。

对两条路线的交叉比较揭示了一个更深层的算法层面局限。现有框架几乎完全依赖无模型的深度强化学习，其中神经网络近似策略或价值函数。此类算法适用于高维连续空间，但不学习环境动力学的显式模型。因此，每次改进都必须通过真实交互获取，且其函数逼近容易受"致命三角"（自举、离策略更新和近似误差）引起的不稳定性影响[31]。相比之下，表格方法存储精确的值估计，在低维离散空间中表现鲁棒；而基于模型的方法如Dyna-Q在学到的环境模型上进行规划，放大每次真实交互的价值。这两个算法族都未被用于换热器设计。此外，尚无任何报告的框架在训练环境中验证结构完整性或同时优化通道几何形状和空间布局。

因此，基于RL的紧凑型换热器优化中仍有三个未解决的挑战：CFD-in-the-loop与基于代理训练之间的保真度-效率权衡、缺乏前瞻规划的无模型算法的主导地位，以及局限于局部形状参数的优化范围。为应对这些问题，本文构建了一个综合框架，结合物理信息环境设计、基于模型的RL和耦合形状-布局参数化。首先，基于分段LMTD方法和ASME结构验证建立物理信息环境，在无需数据驱动代理的情况下提供快速且物理可解释的反馈。其次，在统一训练框架中引入基于模型的RL（Dyna-Q），与无模型表格方法（Sarsa和Q-learning）及深度RL（PPO）并列，以解决样本效率问题。最后，将优化范围扩展至耦合形状-布局参数化，实现截面通道几何形状与空间布局的同步调整。

本文结构如下：第2节描述热-机-结构耦合训练环境。第3节阐述优化方法论，包括马尔可夫决策过程（MDP）建模、表格RL算法、PPO及GA基线。第4节讨论优化结果及CFD验证。最后，第5节总结全文。

## 各章节节选

### 几何模型

复合微通道换热器[40]将微通道圆管与翅片结构集成，代表一种能够精确调节热阻的先进构型。与传统半圆形通道设计相比，它减轻了重量、提高了热效率并降低了压力损失。然而，复合微通道换热器增强的结构复杂性要求创新的设计方法论。

周期核心单元结构为

### 强化学习框架

在强化学习中，智能体通过与环境的试错交互获得最优策略，由动作-奖励序列引导。为系统评估无模型、基于模型和深度强化学习方法，本研究实现了四种算法。三种表格方法为Sarsa（在策略、无模型）、Q-learning（离策略、无模型）和Dyna-Q（基于模型的规划变体）；深度RL方法为近端策略优化（PPO，详见3.5节）。

### 时间差分

### 结果与讨论

除折扣因子外，RL超参数在各实验中保持一致。对于表格算法，探索率(ε)设为0.1，学习率(α)设为0.1，总训练回合数为500。对于PPO智能体，训练配置遵循3.5节，每个折扣因子设置下训练50,000个时间步。所有实验采用固定随机种子（seed = 42）以确保可重复性。折扣因子决定了智能体的时间视野。

### 结论

本研究提出了一个用于复合微通道换热器设计的统一优化框架，将RL与物理信息建模相结合，以平衡计算效率与保真度，提高样本效率并捕捉耦合的形状-布局相互作用。本文的主要贡献如下：

(1) 基于模型的Dyna-Q算法在该紧凑型换热器优化任务中表现最佳。在γ = 0.5时，它将收敛所需的训练回合数减少了75%。

## CRediT作者贡献声明

杨程：软件、方法论、调查研究。徐东军：撰写——初稿、验证、软件、方法论、调查研究、形式化分析、概念化。马婷：撰写——初稿、监督、项目管理、方法论、调查研究、形式化分析、概念化。吴一宁：撰写——审阅与编辑。韩振东：软件、方法论、形式化分析。韩泽然：软件、方法论、形式化分析。

## 利益声明

作者声明不存在利益冲突。

## 数据可用性

支持本研究结果的数据可应合理请求向通讯作者索取。

## 伦理审批

不适用。

## 竞争利益声明

? 作者声明不存在可能影响本文报道工作的已知竞争性财务利益或个人关系。

## 致谢

本工作得到了国家重点研发计划（编号：2023YFB4102201）和中央高校基本科研业务费专项资金的支持。

徐东军 | 杨程 | 韩泽然 | 韩振东 | 吴一宁 | 马婷

西安交通大学，教育部热流体科学与工程重点实验室，陕西西安 710049，中国