基于强化学习的高CFL有限体积格式对流通量优化方法

《Computation》：Reinforcement-Learning-Based Optimization of Convective Fluxes for High-CFL Finite-Volume Schemes Andrey Rozhkov, Andrey Kozelkov, Vadim Kurulin and Maxim Shishlenin

　　

本文探讨了利用强化学习构建对流通量近似格式的可能性，该格式可在对流方程的有限体积离散中，于高Courant-Friedrichs-Lewy（CFL）数下保持精度与稳定性。与多数现有的数据驱动离散方法主要关注空间网格细化不同，本研究侧重于在不损失解精度的前提下增大可允许的时间步长，从而减少时间积分步骤总数，实现计算加速。研究人员采用神经网络作为对流通量重构的代理模型，其输入为流动、标量及几何的局部信息，输出为节点处的标量值。训练过程被表述为策略优化问题，采用强化学习方法，长期奖励定义为整个仿真期间数值解与参考解之间的差异。研究人员分别研究了遗传算法（Genetic Algorithm, GA）和深度确定性策略梯度（Deep Deterministic Policy Gradient, DDPG）方法。通过具有恒定速度场的一维非线性对流问题评估了该方法的有效性。尽管测试算例较为简单，结果表明经过训练的对流通量近似格式可达到与经典二阶线性迎风（Linear Upwind Differences, LUD）格式相当或更优的精度，同时在比LUD最优CFL高2–50倍的CFL数下运行，从而使仿真时间缩短相同倍数。这扩大了有限体积法的稳定性和精度范围，允许在不损失解质量的情况下使用更大的时间步长。本研究有意限定于一维空间，作为该方法适用性的基础分析。结果表明强化学习能成功找到比常规显式二阶格式在高CFL数下效率更高的对流通量近似格式，建立了一个后续工作可扩展至改进训练方法和三维复杂输运问题的框架。所提方法改进了对流通量的空间离散，与时间积分格式的选择无关。因此，该神经重构原则上可用于显式和隐式有限体积求解器。

## 论文解读

### 研究背景与意义

在航空航天设计、流场分析及反问题求解中，计算流体力学（Computational Fluid Dynamics, CFD）求解器是流场建模的核心工具。然而，传统CFD仿真计算成本高昂、内存需求大、仿真时间长，限制了设计空间探索和交互式设计能力。近年来，深度学习和数据驱动方法在加速流场预测方面备受关注，但已有研究多聚焦于湍流建模、粗网格精度提升或整体仿真优化，鲜有针对时间步长扩展的研究。

在非线性对流方程中，对流项的精确近似对解的质量至关重要，尤其在任意非结构网格的有限体积离散中。由于网格单元的不规则性，通常仅能实现二阶精度格式，且耗散性较强。经典格式如一阶迎风差分（Upwind Differences, UD）、二阶线性迎风差分（Linear Upwind Differences, LUD）、中心差分（Central Differences, CD）以及归一化变量图（Normalized Variable Diagram, NVD）格式各有优劣：UD稳定但耗散大；CD耗散低但绝对不稳定；LUD折中但在大梯度区域出现非物理振荡。分析表明，不存在一种在所有条件下都能保证精度的近似格式。

针对上述问题，研究人员提出基于深度强化学习（Deep Reinforcement Learning, DRL）的对流通量近似新方法，旨在通过提升允许的时间步长来减少时间积分次数，从而加速计算。该研究发表于《Computation》期刊，建立了将智能近似方法集成至现有有限体积求解器的可行性框架，为工业级CAE仿真提供了新路径。

### 主要研究方法

研究人员采用六输入、单隐层（20个神经元）、单输出的多层感知机（Multilayer Perceptron, MLP）作为代理模型，输入参数包括相邻单元P与M的标量值φ_P、φ_M、对应梯度、时间步长Δt及Courant数CFL，激活函数选用sin(x)以增强外推能力。神经网络重构界面标量值φ_k，进而通过标准有限体积公式F_f=(**u**·**n**_f)φ_f计算通量，保持离散守恒性。训练采用两种强化学习方法：遗传算法（GA）和深度确定性策略梯度（DDPG）算法。奖励函数基于数值解与参考解的逐点收敛差异构建。测试问题为一维恒定速度场下的非线性对流问题，初始分布为φ(x)=sin(0.5·x)，CFL训练范围为[0.01, 0.5]，代码采用C++实现。

### 研究结果

**遗传算法训练**：研究人员设定每代20个个体，经过5000代训练后停止。最优智能体在第739代取得R(GA_agent)=?1326的适应度值，相比之下LUD格式的适应度约为R(LUD_agent)=?11000。训练总计求解问题约739000次，在单个Intel Core i7@2.50 GHz CPU上耗时约7小时。验证曲线表明网络具有良好的泛化能力。

**DDPG训练**：研究人员采用演员-评论家（actor-critic）架构，演员网络基于策略梯度直接估计最优策略，评论家网络通过价值评估指导演员训练。然而由于CFD问题中奖励函数高度非线性、不连续，且数值求解器反馈稀疏且噪声大，DDPG训练约2000代后仅达到R(DDPG_agent)=?4690，未能达到GA的优化水平。研究人员分析认为，DDPG依赖平滑奖励景观和密集反馈的特性，难以应对CFD离散问题的全局约束（如CFL条件、稳定性极限）。

**与解析解的比较**：研究人员选取GA训练所得最优网络作为参考"神经"格式，在CFL=0.01、0.1、0.5、0.7等多种工况下，与解析解、LUD、UD格式对比。结果显示：当CFL>0.5时，神经格式表现最优；LUD格式在CFL≥0.1时显著偏离解析解；UD格式仅在CFL≈1.0附近适用。通过积分误差Δφ的定量评估表明，神经网络解在高Courant数下比LUD格式更接近解析解，部分情况下神经格式在CFL=0.5时的精度甚至超过LUD在CFL=0.001时的精度，速度提升可达数量级。

**泛化能力验证**：研究人员进一步在训练数据范围外测试了振幅φ₀∈[0.5, 2.0]、对流速度u₀∈[0.5, 2.0] m/s以及网格尺寸Δx=0.5 m、1.0 m、1.98 m等参数。结果表明，神经格式在偏离训练数据的工况下仍优于LUD格式，尽管振幅增大时误差有所上升，但低CFL下收敛性得以保持，证明网络具备一定的泛化能力。

### 讨论与结论

本研究证实了利用强化学习训练神经网络改进标量输运方程数值解的可行性。与聚焦于粗网格精度的先前方法不同，所提方法旨在增大时间步长同时保持或提升解的精度，从而减少积分步数、加速计算。实验结果表明，基于神经网络的对流项近似在精度和计算效率上均优于经典二阶LUD格式：CFL>0.1时神经格式仍保持高精度，而LUD需更小时间步才能达到同等结果。在所探索的强化学习策略中，遗传算法效果显著，而经典DDPG方法因奖励稀疏延迟未能收敛至理想解，凸显出强化学习算法设计和超参数调优的进一步研究需求。

综上所述，本研究为基于神经网络的对流项近似建立了概念验证：将强化学习训练的神经网络与经典有限体积格式结合，能够实现更大时间步、提升精度并加速CFD仿真。该方法仅修改对流通量的空间离散，独立于时间积分格式，原则上可用于显式和隐式有限体积求解器。未来工作将聚焦于扩展该方法至高维问题，并优化训练和推理效率。