基于时空感知深度强化学习的浮力驱动对流主动边界控制

《International Journal of Heat and Fluid Flow》：Deep reinforcement learning with spatial and temporal awareness for active boundary control of buoyancy-driven convection

　　

专业摘要翻译：浮力驱动对流的主动边界控制，即通过热或组分密度差驱动流体运动，在热管理、地球物理建模及分层流体工业过程中具有广泛的科学与工程意义。本研究针对瑞利-贝纳德对流（Rayleigh-Bénard convection，RBC）中的细胞合并与双扩散对流中的盐指破坏两种机制，采用深度强化学习（deep reinforcement learning，DRL）在边界处诱导上述过程。在中等瑞利数（Ra = gβΔTH3/(νκ)，其中g为重力加速度，β为热膨胀系数，ΔT为施加的温度差，H为层高，ν为运动黏度，κ为热扩散率）下，流动自组织为稳态对流卷，其数量与空间排列决定全局传热速率，以努塞尔数（Nu = q_wH/(λΔT)，其中q_w为壁面热通量，λ为导热系数）量化。通过边界驱动降低Nu在物理上等价于重组卷拓扑：促进细胞合并使边界层接触面积减小、羽流冲击减弱，传热趋近于导热极限。然而，推导此类流动的有效控制律本质困难：控制方程非线性，壁面热扰动需先扩散再经主流输运方可显现效应，且最优策略鲜有先验可知。经典反馈方法如比例-微分（PD）控制器和线性最优控制需详尽了解线性化流动动力学，随瑞利数升高及非线性相互作用增强而失效。研究人员采用卷积策略网络结合门控循环记忆，同时提供空间与时间结构，无需重定中心或预设延迟视界。在Ra = 10,000时，采用GRU的多智能体控制使努塞尔数降低25%；单智能体即可实现细胞合并而无需平移重定中心。策略中的循环记忆产生平滑、物理可读的壁面驱动。帧堆叠与更宽的actor学习更慢且收敛于更高努塞尔数。该框架可迁移至Pr = 7的双扩散对流。

论文解读：

一、研究背景与问题

浮力驱动对流的主动控制是热管理、地球物理建模及分层流体工业过程中的核心问题。瑞利-贝纳德对流（RBC）作为该领域的典范系统，其传热效率由对流卷的数量与空间排列决定，以努塞尔数（Nu）量化。降低Nu在物理上等价于重组卷拓扑：通过促进细胞合并减少边界层接触面积，使传热趋近导热极限。然而，此类流动的控制律推导极为困难：控制方程非线性，壁面热扰动需经扩散与输运才能显现效应，且最优策略罕有先验知识。经典反馈方法如比例-微分（PD）控制器和线性最优控制在瑞利数升高、非线性增强时失效。数据驱动方法中，深度强化学习（DRL）适合无显式模型的序列决策问题。尽管已有研究将DRL应用于RBC控制，但现有策略普遍存在"退化驱动"病理：actor输出或饱和于控制边界，或落入与对流拓扑无关的空间无序模式，缺乏物理机制。研究人员识别出两个根本缺陷：一是网络表达力不足——先前方法均采用MLP策略将流场展平为向量，丢失空间局部性与平移结构，难以学习相邻壁段协同驱动以匹配对流卷波长；二是缺乏时间上下文——多智能体设置中每个智能体仅观测局部流场，单快照观测不再是系统状态的充分统计量，构成形式上的去中心化部分可观测马尔可夫决策过程（Dec-POMDP）。无记忆策略无法区分局部温度变化源于自身先前驱动还是自然流动演化，导致优化器以饱和或随机输出作为对冲策略。

二、研究内容与结论

本研究提出将空间与时间结构同时引入DRL策略：采用卷积策略网络处理空间信息，结合门控循环单元（GRU）提供时间记忆，无需重定中心或预设延迟视界。研究在二维RBC中验证该方法，并与帧堆叠及更宽actor架构进行对比。主要结论包括：策略中的循环记忆产生平滑、物理可读的壁面驱动；单智能体即可实现细胞合并而无需平移重定中心；采用GRU的多智能体控制在Ra = 10,000时使努塞尔数降低25%；帧堆叠与更宽actor学习更慢且收敛于更高努塞尔数；该框架可迁移至Pr = 7的双扩散对流。

三、关键技术方法

研究人员采用深度强化学习框架，将卷积神经网络（CNN）与门控循环单元（GRU）结合构建策略网络，处理空间与时间信息。多智能体设置中，各智能体共享策略并观测局部流场。训练算法基于近端策略优化（PPO），通过与高保真数值求解器交互学习控制律。帧堆叠作为对比方法用于提供时间上下文。研究在二维RBC中开展，并迁移验证至双扩散对流。

四、研究结果

策略中的循环记忆产生平滑、物理可读的壁面驱动：GRU记忆使actor输出避免饱和与无序切换，驱动模式与对流拓扑结构相关联，具有物理可解释性。

单智能体达到细胞合并而无需平移重定中心：在宽域周期边界条件下，单智能体策略通过局部观测即可驱动多个对流卷合并为更少、更大的结构，无需传统多智能体方法中的全场重定中心操作。

多智能体控制与GRU在Ra = 10,000时使努塞尔数降低25%：相比无记忆基线，GRU增强的多智能体策略实现更显著的传热抑制，验证了时间记忆在去中心化部分可观测环境中的关键作用。

帧堆叠与更宽actor学习更慢且收敛于更高努塞尔数：直接对比表明，帧堆叠提供的时间上下文不如循环记忆有效，而增加网络宽度并不能弥补时间信息的缺失，反而增加探索成本。

框架迁移至双扩散对流：在Pr = 7的双扩散对流中，相同框架成功实现盐指破坏，表明方法具有跨流动类型的泛化能力。

五、讨论与结论

讨论部分指出，先前RBC控制策略的退化驱动源于网络表达力不足与时间上下文缺失。MLP策略无法利用空间局部性，而无记忆策略在部分可观测环境中产生歧义。本研究通过卷积与循环结构的结合同时解决这两个问题。帧堆叠作为替代时间信息方案效果较差，因为固定延迟视界无法适应流动的多时间尺度特性。循环记忆使策略内部学习时间摘要，更适应高维空间分布观测。

研究结论可翻译为：本研究通过将空间卷积与循环门控记忆结合，为浮力驱动对流的主动边界控制提供了同时具备空间与时间感知的DRL框架。该框架无需重定中心即可实现细胞合并，在Ra = 10,000时使努塞尔数降低25%，并成功迁移至双扩散对流。循环记忆产生的平滑物理可读驱动模式解决了先前方法的退化病理，为多智能体流场控制中的时间上下文处理提供了有效途径。