《Computers & Chemical Engineering》：Computationally efficient Gauss–Newton reinforcement learning for model predictive control
编辑推荐：
模型预测控制（MPC）因其可解释性和处理约束的能力被广泛应用于过程控制中。作为强化学习（RL）中的一种参数化策略，MPC与神经网络等黑箱策略相比具有出色的初始性能和较低的数据需求。然而，大多数RL方法依赖于一阶更新，这些方法在扩展到大型参数空间时表现良好，但最
模型预测控制（MPC）因其可解释性和处理约束的能力被广泛应用于过程控制中。作为强化学习（RL）中的一种参数化策略，MPC与神经网络等黑箱策略相比具有出色的初始性能和较低的数据需求。然而，大多数RL方法依赖于一阶更新，这些方法在扩展到大型参数空间时表现良好，但最多只能线性收敛，当每次策略更新都需要求解最优控制问题时（如同MPC的情况），这使得计算非常低效。尽管MPC策略通常是低参数化的，因此适用于二阶方法，但现有的二阶方法需要计算策略的二阶导数，这在计算上可能难以实现。本研究引入了一种确定性策略海森矩阵的Gauss-Newton近似，消除了对策略二阶导数的需求，从而以最小的计算开销实现了超线性收敛。为了进一步增强鲁棒性，研究人员提出了一种基于动量的海森矩阵平均机制，结合自适应置信域，确保了在带有噪声估计情况下的稳定训练。研究人员在一个非线性连续搅拌反应釜（CSTR）上证明了这种方法的有效性，相较于最先进的一阶方法和深度RL方法，展现出了更快的收敛速度和更高的数据效率。
模型预测控制（MPC，一种基于模型求解最优控制序列的方法）在处理具有安全和质量约束的高度动态非线性多变量系统时具有显著优势。作为基于模型的最优控制方法，MPC通过内部系统模型预测并优化未来的系统行为，其生成的策略具有很强的可解释性。强化学习（RL，一种通过智能体与环境交互试错来学习最优策略的数据驱动方法）在过程工业中展现出巨大潜力，尤其是无模型RL常利用神经网络（NN）作为参数化函数逼近器来直接近似最优策略。然而，基于神经网络的无模型RL在缺乏专家知识进行预训练时面临初始化困难，且通常需要海量数据。此外，主流RL算法大多采用仅包含一阶导数信息的更新规则，其最大收敛速率被限制为线性。虽然引入二阶导数信息的牛顿法能够提供二次收敛，但由于需要存储海森矩阵并求解线性方程组，在参数空间庞大时计算和内存开销难以承受。现有研究提出使用MPC代替神经网络作为RL策略，因为MPC参数化程度低，不仅提供良好的初始策略，且其海森矩阵的计算变得可行。然而，现有适用于MPC策略的二阶方法在求解海森矩阵时，需要计算MPC最优化问题对应非线性规划（NLP）的二阶灵敏度，这涉及计算拉格朗日函数的三阶导数，对于高维或高度非线性系统而言计算量极其庞大。同时，由于实际应用中动作价值函数无法精确已知且只能通过有限样本经验估计，策略梯度和海森矩阵的估计往往带有噪声，导致训练不稳定。针对上述高内存需求、高计算负担以及训练不稳定的问题，研究人员开展了一项新的研究并提出了一种鲁棒且计算高效的Gauss-Newton策略优化框架。该研究证明了所提方法能够实现超线性收敛，显著降低了数据需求并加快了训练速度。该论文发表在《Computers 》期刊上，对于推动模型预测控制在强化学习中的实际工业应用具有重要意义。
研究人员为开展此项研究，主要采用了以下关键技术方法：首先，推导了一种确定性策略海森矩阵的Gauss-Newton近似方法，通过数学证明该方法在避免计算二阶NLP灵敏度的同时能保持超线性收敛；其次，设计了一种基于动量的海森矩阵指数移动平均估计方案，以克服局部曲率样本噪声导致的特征值发散问题，并结合初始化偏差修正提高了早期训练的鲁棒性；最后，研究将上述估计嵌入到一个自适应置信域约束的优化问题中，依据Adam更新步长的2-范数动态调整置信域半径以约束参数更新幅度。研究中的非线性连续搅拌反应釜（CSTR）样本模型参数取自Klatt和Engell (1998) 的文献基准。
**研究结果**
（1）解析案例研究：研究人员首先在一个带有不确定性的线性解析系统上验证了Gauss-Newton近似的有效性。研究构造了特定形式的状态值函数和动作值函数，通过比较精确海森矩阵、包含二阶灵敏度的近似海森矩阵以及所提的Gauss-Newton近似矩阵发现，当参数逼近最优解时，海森矩阵中涉及二阶NLP灵敏度的第一部分趋于零，而保留的Gauss-Newton近似部分收敛至真实的海森矩阵。误差动态分析表明，所提二阶方法相较于梯度上升等一阶方法表现出显著的误差超线性缩减能力。
（2）参数可扩展性：在CSTR基准平台上，研究人员构建了低（2个参数）、中（13个参数）、高（33个参数）三种不同参数化程度的MPC智能体。通过与Adam优化器及包含二阶NLP灵敏度的近似牛顿法对比发现，所提Gauss-Newton方法在训练初期的性能提升速度显著快于一阶方法，且随着参数数量的增加，其每次RL迭代的平均计算时间呈现出与Adam优化器相似平缓的增长趋势。相比之下，传统近似牛顿法因需计算二阶灵敏度，计算时间随参数规模呈二次剧增。这表明所提方法在高度参数化策略下具备优异的计算可扩展性和时间效率。
（3）参数缩放的影响：为了考察策略参数对目标函数敏感程度的影响，研究人员对CSTR模型参数引入了不同的缩放因子进行评估。研究结果表明，在存在不佳缩放的情况下，一阶优化方法因最大学习率受限于梯度向量中最快变化的元素，在多个初始猜测下无法收敛到最优策略；而所提的Gauss-Newton方法结合二阶曲率信息，对参数尺度的变化展现出强大的适应能力，能够稳定地找到最优策略，且最终性能总体上优于或不劣于一阶方法。
（4）与深度强化学习的比较：研究人员将经Gauss-Newton方法训练的低参数化MPC智能体与采用TD3算法训练的神经网络策略进行了对比研究。结果显示，未训练的MPC智能体凭借系统模型的先验知识即具备良好的初始控制性能；经过所提方法微调后，MPC策略有效降低了与设定值之间的温度偏差并减少了约束违背。反之，TD3神经网络策略在前端缺乏良好的初始化，即便经过等量样本的长时间训练，其最终期望累积奖励仍远不及MPC策略的初始性能，且控制轨迹趋向于因过度保守而牺牲性能。
**结论**
研究人员在总结讨论中指出，本研究构建了一个计算高效的RL框架，能够在显著降低计算成本的前提下对MPC策略执行二阶优化。该方法的核心Gauss-Newton近似有效规避了计算昂贵的二阶策略导数求解，并通过严谨的数学推导与实证验证确认其保持超线性收敛的特性。结合所提出的动量海森矩阵平均机制和自适应置信域策略，研究人员改善了由曲率采样噪声引发的训练不稳定性。实验结果证明，相较于一阶优化方法和深度RL策略，该框架需要更少的参数更新和智能体-环境交互，并在应对参数缩放问题时表现出极强韧性。未来的工作将探索该框架向更高维MPC策略扩展、结合鲁棒MPC以及应用于受约束马尔可夫决策过程的可能性。
