基于IMPC的词典强化学习方法在综合区域跟踪与经济优化中的应用

《Journal of Process Control》：IMPC-guided lexicographic reinforcement learning for integrated zone tracking and economic optimization

　　•基于阈值的词典式策略优化通过规定的容忍度强制优先考虑区域跟踪而非经济目标。•自适应拉格朗日机制根据预测的未来约束违反情况调整乘数。•在经济可行的范围内优化经济性能，而无需手动调整权重。•在线性数值系统和非线性CSTR系统上进行了验证。

引言
现代过程工业广泛采用分层控制架构，该架构将实时优化（RTO）与模型预测控制（MPC）相结合。虽然这种结构具有模块化和易于实现的优点，但由于稳态经济优化与动态控制之间的分离，它存在根本性的局限性。特别是，RTO中使用的稳态模型与MPC中采用的动态模型之间的差异常常导致不可行或次优的操作目标，从而降低整体经济性能[1]。同时，RTO本身也存在干扰估计不准确的问题，以及由于过程波动导致的稳态检测延迟[2]。这些问题延迟了设定点的更新，最终阻止了过程以最优经济状态运行。为了解决传统两层架构的局限性，提出了两大类先进方法。第一类方法在保持分层结构的同时增强协调性，例如通过动态RTO或稳态目标优化[3]、[4]、[5]，确保MPC控制器能够实现经济最优目标。尽管这种方法保持了实施的便利性，但由于时间尺度的分离和稳态检测的延迟，其经济响应仍然较慢。第二类方法采用单层集成框架，主要通过经济MPC（EMPC）或集成RTO-MPC公式实现[6]、[7]、[8]。EMPC直接纳入经济阶段成本，但通常需要精确的非线性模型，并且缺乏稳健性保证[9]。集成RTO-MPC方法将经济目标和跟踪目标结合到一个加权成本函数中[10]、[11]。然而，这些方法面临两个主要挑战：它们需要选择合适的权重，并且依赖于精确的过程模型，由于模型近似和过程知识的不完整性而引入了复杂性。这些挑战，尤其是如何在复杂动态下平衡竞争目标的问题，激励了对基于学习的控制策略的研究。其中，多目标强化学习（MORL）因其能够同时处理复杂的非线性动态和目标之间的权衡而成为过程控制的一个有前途的范式[12]。MORL算法通常分为单策略方法和多策略方法[12]。单策略方法通常使用线性标量化来结合多个目标，然后应用标准强化学习算法，如深度Q网络（DQN）、Actor–Critic或近端策略优化（PPO）[13]、[14]、[15]、[16]。然而，它们仍然面临与传统集成RTO-MPC方法相同的权重选择挑战。相比之下，多策略方法旨在通过学习一组策略来近似整个帕累托前沿[17]。虽然这些方法提供了更全面的权衡表示，但计算要求明显更高[17]。

MORL方法中的词典式优化特别适合工业应用，因为它消除了显式权重调整的需要。通过强制目标之间的严格优先级顺序，它从高优先级到低优先级依次优化它们，确保高优先级目标在低优先级目标之前得到完全满足[18]。尽管有这些优势，当前的词典式RL算法在应用于连续工业过程时仍面临挑战，因为一些算法限于离散动作空间或使用简化的替代损失，这可能会重新引入隐式的权重[19]、[20]。最近的研究探索了基于受限马尔可夫决策过程（CMDP）的受限RL。这些方法的公式与词典式优化相关，因为某些目标可以被视为约束，如内点策略优化（IPO）[21]、受限策略优化（CPO）[22]和奖励受限策略优化（RCPO）[23]。然而，这些方法是为一般约束优化开发的，并不固有地强制多个目标之间的严格层次关系。此外，障碍参数通常是固定的或需要手动调整以确保稳定性。虽然一些研究采用了基于PID的调整[24]或利用基于梯度动态的MPC的预测拉格朗日优化[25]，但后者仍然在标准CMDP范式内操作，并依赖于强理想化的假设和精确的全局模型。

在CMDP框架之外，也解决了约束满足问题。对于跟踪控制系统，安全滤波器为连续时间参考跟踪施加状态约束[26]、[27]，而更广泛的safe RL领域则关注于考虑约束的探索和策略迭代[28]、[29]、[30]、[31]。尽管这些方法在整个训练过程中强制约束，但它们无法构建明确的目标优先级层次结构或为多个冲突目标提供自调优的惩罚项。同时，RL和MPC的结合在过程控制方面取得了有希望的进展。分层RL-MPC架构[32]和具有正式安全保证的学习增强型MPC[33]、[34]利用了数据驱动的RL和基于模型的预测优化的互补优势。然而，现有的RL-MPC混合工作主要集中在参考跟踪、设定点调节和一般约束满足上，忽略了词典式多目标优先级。据我们所知，没有现有技术能够同时实现严格的目标层次结构和预测自调整惩罚机制，以支持集成区域跟踪和经济优化。为了解决这些挑战，本文提出了一种由IMPC引导的词典式策略优化框架，用于集成区域跟踪和经济优化。主要贡献如下：
(1) 为集成区域跟踪和经济优化建立了一个严格的词典式层次结构，其中区域跟踪被赋予更高的优先级。这一层次结构反映了工业偏好，即在优化经济性能之前必须保证操作可行性，并且完全消除了手动权重调整的需要。
(2) 提出了一种由IMPC引导的词典式RL框架。约束违反被重新表述为动态系统状态，IMPC机制作为高级监督调节器，通过在线卡尔曼滤波识别违反动态的局部预测模型，并通过滚动时域预测调整拉格朗日乘数。这种基于预测的反馈惩罚适应机制使得无需人工干预即可主动执行约束。
(3) 在线性系统和非线性CSTR上进行了广泛的模拟。结果表明，与基于加权和的RL基线相比，该框架实现了准确的区域跟踪和显著改进的经济性能，证实了严格词典式优先级的优势。还分析了该框架的收敛性质。

本文的其余部分组织如下。第2节介绍了集成区域跟踪和经济优化的问题表述。第3节详细说明了所提出的IMPC-LPO框架，包括阈值词典式优化（TLO）、基于拉格朗日的约束策略更新和IMPC驱动的自适应惩罚机制。第4节在两个案例研究中评估了所提出的方法。最后，第5节总结了本文并讨论了未来的研究方向。

问题表述
考虑一个离散时间非线性系统：xt+1=f(xt,ut)，其中x∈X?Rn和u∈U?Rm分别是状态和控制输入，X和U表示状态和输入的约束集。f是一个Lipschitz连续的非线性函数，索引t表示时间步长。与强制严格设定点跟踪不同，本文采用区域跟踪，它为多目标优化提供了更大的灵活性，并增强了对模型不匹配和干扰的鲁棒性[35]。

IMPC引导的词典式策略优化方法
为了解决上述挑战，提出了各种方法，包括缩放目标或使用帕累托最优性来量化竞争目标之间的权衡。然而，基于加权和公式构建集成优化和控制框架仍然很困难，尤其是当系统必须满足严格且明确排序的优先级要求时。

案例研究
本节在数值线性系统和非线性CSTR系统上进行了仿真研究，以评估所提出的IMPC-LPO框架的有效性。除了所提出的方法外，还包括了几种具有不同权重组合的加权和RL方案进行比较。

结论
本文提出了一种由IMPC引导的词典式RL框架，用于连续工业过程中的综合经济优化和区域跟踪。通过强制执行严格的目标层次结构，该框架确保在优化经济性能之前满足区域跟踪要求，消除了手动权重调整的需要。关键创新在于将IMPC模块嵌入为实时自适应惩罚调整器，该调整器可以预测未来的约束违反情况。

CRediT作者贡献声明
张凌志：撰写——原始草稿、软件、方法论、概念化。
傅俊伟：撰写——原始草稿、软件。
谢雷：撰写——审稿与编辑、监督。
陈岩云：可视化。
朱松强：资源、项目管理。
徐正国：撰写——审稿与编辑。
黄小光：撰写——审稿与编辑、监督、资源。
苏洪叶：撰写——审稿与编辑。

资助
本工作得到了浙江省高层次人才特殊支持计划（科技创新领军人才项目）（Grant No. 2022R52017）和浙江省重大科技项目（Grant No. 2026LDC01052(GZ）的支持。

利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。