编辑推荐：
在航空等领域，湍流分离泡（TSB）会增加飞行器阻力和能耗。研究人员开展深度强化学习（DRL）与经典周期性控制对比研究。结果显示，DRL 控制能更有效地减小 TSB 面积，还开发了开源框架。这为流动控制提供新策略，助力节能减排。
在工业生产和交通运输中，湍流无处不在。以航空业为例，随着航班数量不断增加，其产生的二氧化碳排放对全球气候的影响愈发显著。飞机在飞行过程中，当气流从机翼表面分离时，会形成湍流分离泡（TSB），这不仅会导致机翼的空气动力学性能下降，还会大幅增加飞机的阻力和燃油消耗。在起飞、降落以及巡航时遭遇大气湍流等关键飞行阶段，这种现象尤为突出。因此，如何优化机翼周围的气流，减少 TSB 的影响，成为航空领域亟待解决的重要问题。传统的流动控制方法分为被动流动控制（PFC）和主动流动控制（AFC），PFC 主要通过改变物体的几何形状来实现，而 AFC 则可以与气流进行闭环交互，在减少 TSB 面积方面具有更大的潜力。
为了解决这一难题，来自代尔夫特理工大学（Delft University of Technology）、巴塞罗那超级计算中心（Barcelona Supercomputing Center）、瑞典皇家理工学院（KTH Royal Institute of Technology）等机构的研究人员展开了深入研究。他们旨在对比深度强化学习（DRL）和经典周期性控制在减少 TSB 面积方面的效果，并探索机器学习技术如何改进经典控制理论。研究成果发表在《Nature Communications》上。
在这项研究中，研究人员主要运用了计算流体动力学（CFD）和深度强化学习两种关键技术。他们通过大涡模拟（LES）求解空间滤波后的不可压缩无量纲 Navier - Stokes 方程，模拟了带有 TSB 的湍流边界层（TBL）流动。在 DRL 方面，构建了包含环境和智能体的模型，环境由 CFD 模拟提供，智能体则是一个深度神经网络（DNN），通过与环境的交互学习最优控制策略。
研究结果主要包括以下几个方面：
- 周期性控制结果：研究人员首先进行了经典周期性控制的模拟。在非驱动模拟达到统计稳定后，对粗网格和细网格应用周期性控制，并记录统计数据。结果表明，在细网格上，周期性控制可使 TSB 面积减少 6.8%，粗网格上减少 15.7%。通过分析发现，周期性控制的效果主导了 TSB 的动力学，其产生的大规模展向涡结构与 TSB 相互作用，有效减小了 TSB 的尺寸。同时，对粗网格和细网格的模拟结果对比显示，粗网格能够保留主要流动特征，可用于训练 DRL 模型。
- DRL 控制结果：训练好 DRL 智能体后，在确定性模式下进行测试。在粗网格上，DRL 控制使 TSB 面积减少 25.3%，相比经典周期性控制有更大的减幅，且控制稳定性更好。将在粗网格上训练的智能体应用到细网格上，DRL 控制依然能使 TSB 面积减少 9.0%，优于周期性控制的 6.8%。从物理机制上分析，DRL 控制的致动器对会产生持续时间长的流向涡结构，该结构与 TSB 相互作用，有效减小了 TSB 面积。DRL 智能体还能通过调整壁面法向射流来维持这些涡结构，实现有效的流动再附着。
研究结论表明，经典周期性控制和 DRL 控制都能有效减少 TSB 面积，但 DRL 控制表现更优。DRL 智能体可以根据环境状态自由设置致动器的最佳质量流量，构建出包含多个频率的复杂控制信号。此外，研究人员开发的开源框架 SmartSOD2D，将 DRL 库与 CFD 求解器相结合，充分利用 GPU 进行 CFD 环境模拟，具有良好的可扩展性，为在高雷诺数流动和复杂几何形状中应用 DRL 进行 AFC 提供了可能。这项研究为流动控制领域开辟了新的道路，有望在航空、汽车等众多领域实现节能减排，对推动相关行业的可持续发展具有重要意义。
