基于迭代学习PICNN终端值函数的强化学习增强型模型预测控制

《Computers & Chemical Engineering》：Reinforcement learning-enhanced model predictive control using an iteratively learned PICNN terminal value function

　　

- PICNN 评论器对优化相关的终值几何进行正则化。
- 增长式重放缓冲保留跨迭代的数据覆盖度并缓解遗忘。
- 专属 Polyak 更新抑制终值评论器的突变替换。
- 筛选机制在已接受控制器之间产生非递增的 SSE 序列。
- 相对于基线 MPC，RL–MPC 将 CSTR 跟踪 SSE 降低了 90.54%。

1. 引言

模型预测控制（MPC）将显式模型与在线优化相结合，是处理约束控制问题的领先框架（Lee, 2011；Morari 和 Lee, 1999）。在经典 MPC 分析中，其闭环稳定性和性能保证通常依赖于适当设计的终端要素，例如终端集和终端代价（Rawlings 等, 2020；Lee 等, 2026）。然而，这些形式化保证并非实施 MPC 的先决条件。独立于其在形式化分析中的作用，终端代价代表了预测时域之外的后果，从而缓解了有限时域的短视问题。对于随机和强非线性过程，设计这些终端要素的同时避免过度保守仍是一个挑战。当预测时域必须保持较短以满足实时计算约束或限制显著模型-被控对象失配的不良影响时，这一实际作用变得尤为重要。

从闭环数据中学习价值函数并将其作为终端评论器纳入，为补偿短时域短视提供了一种自然的方式。在策略迭代中，策略评估估计在当前策略下的未来代价，策略改进则利用此估计构建新策略。在强化学习增强模型预测控制（RL–MPC）的这一设定下，有限时域 MPC 律充当在线优化器，而学习得到的终端值代理估计预测时域之外的长期未来代价。终端值函数的每次更新都会重塑 MPC 问题中嵌入的终端代价景观，从而诱导新的闭环控制器。因此，由此产生的学习-控制循环可被解释为一种乐观的近似策略迭代方案，其中"乐观"指的是在部分或不精确的策略评估后进行策略改进，此处基于仅覆盖状态空间有限部分的有限闭环数据（Bertsekas, 2019）。

难点在于，当终端值函数由灵活、无结构的近似器（如深度神经网络 DNN）表示时，这种乐观更新并不天然保证单调改进。两个耦合机制尤其成问题。第一是几何方面的：无结构的神经网络终端代价可能扭曲在线 MPC 目标函数并创建虚假的局部吸引盆，导致即使价值函数很好地拟合了采样数据，非线性规划仍会收敛到次优的闭环运行状态。第二是算法方面的：仅基于部分价值拟合的近似贪心改进不继承精确动态规划中的单调策略改进性质。跨迭代分布偏移进一步放大了这一效应，因为每个新诱导的控制器都会改变用于下一次价值函数更新的数据分布。几何机制和算法机制的综合作用可能导致策略颤振或闭环性能退化（Bertsekas, 2012；Bertsekas, 2019）。

现有基于学习的 MPC 研究从若干互补方向解决了相关问题。一条路线专注于学习预测模型和不确定性描述，以及约束 MPC 的安全机制（Aswani 等, 2013；Hewing 等, 2020）。另一条路线将 MPC 与强化学习联系起来，将 MPC 视为结构化策略类，其模型、目标或约束可从数据中调优，同时保持安全或稳定性质（Gros 和 Zanon, 2020；Zanon 和 Gros, 2021）。一种相关的基于策略迭代的 RL–MPC 公式将学习到的价值信息纳入离散时间系统的预测控制更新中（Lin 等, 2024）。迭代学习 MPC 同样通过从先前收集的轨迹构建终端集和终端代价来改善闭环性能（Rosolia 和 Borrelli, 2018）。其他研究探讨了用于短时域 MPC 的学习终端代价和未来代价代理。基于近似价值迭代的终端代价可减少对手动设计终端要素的依赖（Moreno-Mora 等, 2023），而关于凸代价修正和凸未来代价近似的新近工作表明，对终端代价施加合适的结构可以同时改善 MPC 的可处理性和闭环行为（Seel 等, 2022；Turan 等, 2025）。总体而言，这些研究确立了在 MPC 中进行学习的重要性。然而，它们主要强调模型自适应、安全策略调优或重复任务中的性能改进，而非在线 MPC 目标中几何不稳定性与乐观近似策略迭代引起的算法不稳定性之间的耦合效应。

结构化神经网络终端评论器提供了一种自然的方式，对 MPC 优化器所见的终端代价几何进行正则化。输入凸神经网络（ICNN），包括完全输入凸神经网络（FICNN）和部分输入凸神经网络（PICNN），通过架构约束来施加凸性（Amos 等, 2017；Chen 等, 2019）。PICNN 特别适合 MPC，因为凸性可以仅针对选定的优化相关变量施加，同时保留对参考、扰动或漂移参数的非线性依赖，从而保持大量的表示灵活性（Bünning 等, 2021；Bae 等, 2023）。然而，仅靠凸终端值几何并不能消除价值近似误差、恢复精确动态规划中的单调策略改进性质或防止策略颤振。这一观察动机促成了本文提出的框架，该框架将基于 PICNN 的终端值几何与重放缓冲增长和 Polyak 平滑参数更新（Lillicrap 等, 2016）相结合。

具体而言，本文开发了一种稳定化的 RL–MPC 框架，集成了三个结构组件：PICNN 终端代理、增长式经验重放缓冲和跨策略迭代的专属 Polyak 软更新。PICNN 对优化相关的终端值几何进行正则化；增长式重放缓冲保留跨策略迭代的数据覆盖度并缓解灾难性遗忘；专属 Polyak 更新抑制终端值的突变替换。此外，引入相对改进筛选准则，当平方跟踪误差之和（SSE）的降低变得微不足道时终止迭代学习过程。为将这些机制锚定在过程系统工程（PSE）示例中，第 4.2 节考虑了 Van de Vusse CSTR，其非线性动力学、随机运行变化和刻意保持较短的预测时域使其性能对学习到的终端评论器非常敏感。第 4.1 节首先通过受控消融实验隔离终端值几何、跨策略数据保留和更新平滑的影响；第 4.2 节则在 CSTR 上将集成的 PICNN-增长式-软更新设计与传统 MPC 基线进行对比评估。

本工作的贡献总结如下。

(C1) 面向 MPC 的几何感知终端值学习。我们使用 PICNN 终端代理对优化相关的终端坐标施加部分凸性。该结构在内环 MPC 目标中嵌入的终端值景观上进行正则化，同时保留对外生变量和参数的灵活非线性依赖。

(C2) 乐观近似策略迭代的外环稳定化。我们将增长式经验重放缓冲与 Polyak 平滑终端值更新相结合，以在跨策略迭代中保留数据覆盖度、缓解灾难性遗忘和跨迭代分布偏移，并防止控制器的突变替换。

本文其余部分组织如下。第 2 节阐述控制问题并回顾在提出框架中使用的策略迭代和 PICNN 概念。第 3 节提出稳定化的 RL–MPC 算法。第 4 节报告随机立方基准和连续搅拌罐反应器（CSTR）案例研究。第 5 节总结全文。额外符号、推导、实现细节和多随机种子稳健性结果在补充材料中提供。

2. 预备知识

2.1 问题形式化

我们考虑离散时间非线性状态转移模型（1）
$$x_{k+1} = f_s(x_k, d_k, u_k)$$

其中 $x_k \in \mathbb{R}^{n_x}$，$d_k \in \mathbb{R}^{n_d}$，$u_k \in \mathbb{R}^{n_u}$ 分别表示系统状态、信息状态和操作输入。信息状态被广义地解释为涵盖外生扰动、模型-被控对象失配、时变过程或模型参数、参考变量以及其他相关外生信息。

方程（1）中的转移映射可由对描述为微分-代数方程（DAE）的底层连续时间系统进行离散化获得，其中操作输入和相关扰动分量在每个采样区间内保持恒定，采用零阶保持（ZOH）。受控输出由测量映射 $h: \mathbb{R}^{n_x} \to \mathbb{R}^{n_y}$ 定义，并假设无直接输入馈通，即 $y_k = h(x_k)$。

当随机分量 $d_k$ 表示扰动或慢变参数时，可使用积分白噪声过程独立建模，（2）
$$d_{k+1} = d_k + \varepsilon_k$$

其中 $\{\varepsilon_k\}_{k \geq 0}$ 为独立同分布零均值高斯序列，满足 $\varepsilon_k \sim \mathcal{N}(0, R_\varepsilon)$。已知参考分量和其他可用外生预测按照其预设轨迹进行传播。

给定当前系统状态 $x_k$ 和信息状态 $d_k$，或其相应估计值，标称非线性 MPC 问题表述为（Lee 等, 2026；Rawlings 等, 2020）

（3a）（3b）（3c）（3d）（3e）（3f）

其中 $x_{k+l|k}$、$d_{k+l|k}$ 和 $u_{k+l|k}$ 分别表示预测步 $l$ 处的预测状态、信息状态和操作输入。信息状态预测对随机分量是确定性等价的，$d_{k+l+1|k} = d_{k+l|k}$，而已知参考变化和其他可用预测则按其预设轨迹传播。状态和输入分别被约束在容许集 $\mathcal{X}$ 和 $\mathcal{U}$ 中，其中 $\mathcal{X}$ 是闭集，$\mathcal{U}$ 是紧集。阶段代价 $\ell(x, d, u)$ 可以表示跟踪目标或经济性能目标（Angeli 等, 2012）。

参数 $\gamma \in (0, 1]$ 表示折扣因子。在经典确定性 MPC 中，$\gamma$ 通常设为 1。对于受持续扰动影响的随机系统，可以使用略低于 1 的折扣因子以确保无限时域期望代价（从而相关价值函数）保持有限，同时保留长期后果的影响。对于有限期问题，如间歇过程控制，$\gamma$ 也可设为 1，以便终端结果（包括最终产品质量或收率）完全反映在累积代价中。

终端集 $\mathcal{X}_f \subseteq \mathcal{X}$ 和终端代价 $\Psi$ 是用于促进递归可行性和闭环稳定性的标准终端要素，同时改善对相应长期控制目标的有限时域近似。然而，对于非线性随机过程，构建这些终端要素尤为困难。在此类系统中，预测时域可能需要保持较短，不仅为了满足实时计算需求，还因为优化的预测轨迹是标称的，无法捕获未来的随机变化。因此，延长预测时域可能无法提供足够可靠的额外信息。与此同时，随着预测时域缩短，终端代价的适当选择变得越来越重要。这些考虑动机促成了本工作的核心思想：用从闭环数据中学习到的终端值函数替代手工设计的终端代价。由于终端约束主要是在确定性 MPC 中引入的，以确保递归可行性并支持终端代价的理论有效性，因此在本文的表述中不予考虑。相反，本工作聚焦于为非线性随机系统学习终端值函数。状态约束被视为软约束，在学习过程中构建价值目标时，任何违反都会被惩罚。学习到的终端评论器充当性能代理，通常不继承与常规终端构造相关的形式化保证。相关理论考虑在备注 1 和第 5 节中进一步讨论。

2.2 RL–MPC 的策略迭代

为了将本工作中使用的强化学习术语与 MPC 术语联系起来，策略是反馈控制律，展开或回合是由该律生成的有限闭环轨迹，评论器是用于估计其未来代价的函数近似器。此处，策略颤振指的是候选控制器在外部迭代之间的振荡变化。对于策略迭代解释，设 $s_k \in \mathcal{S}$ 表示闭环随机控制问题的马尔可夫状态。在本文的表述中，$s_k := (x_k, d_k)$，其中信息状态 $d_k$ 可能包含扰动和参考变量。在平稳反馈策略 $\pi: \mathcal{S} \to \mathcal{U}$ 下，无限时域折扣价值函数为（Sutton 和 Barto, 2018）

（4）
$$V_\pi(s) := \mathbb{E}\left[\sum_{k=0}^{\infty} \gamma^k \ell(s_k, \pi(s_k)) \;\middle|\; s_0 = s\right]$$

其中期望在策略 $\pi$ 诱导的随机闭环轨迹上取。

在精确策略迭代中，完整策略评估后跟贪心改进，在动态规划的标准假设下产生 Bellman 单调改进性质。因此，当闭环系统的精确价值函数可用时，它可以作为终端罚项来保持这一性质。然而，在 RL–MPC 中，精确价值函数被一个仅从有限展开数据中近似拟合的学习终端代理所替代，然后作为终端评论器纳入有限时域 MPC 目标中。由此产生的 MPC 律因此可被解释为近似贪心策略改进步的推移时域类似物（Bertsekas, 2019）：

（5a）$\pi_\theta(s_k) = u^*_{k|k}$

（5b）$\{u^*_{k+l|k}\}_{l=0}^{H_p-1} \in \arg\min_{\{u_{k+l|k}\}_{l=0}^{H_p-1} \in \mathcal{U}^{H_p}} \left[\sum_{l=0}^{H_p-1} \gamma^l \ell(x_{k+l|k}, d_{k+l|k}, u_{k+l|k}) + \gamma^{H_p} \hat{V}_\theta(s_{k+H_p|k})\right]$

受方程（3）中指定的预测动力学、信息状态传播以及状态和输入约束的约束。每次终端值更新 $\theta^{(n-1)} \mapsto \theta^{(n)}$ 都会诱导一个新的闭环控制器，$\pi^{(n)} := \pi_{\theta^{(n)}}$。

贯穿全文，?? 表示外循环策略迭代索引。在经典基于价值的强化学习中，预测时域实际上被设置为 ????=1，期望取值基于下一状态 ????+1 以及随机系统动力学，因为控制决策完全依赖于即时阶段之后的学习价值函数。在此，???? 保持一般性，使得 RL–MPC 算法能够灵活地作为 MPC 与 RL 的混合体来实施。随着价值函数逼近的改善及其准确性的信心增强，预测时域可逐步向 ????=1 缩减。该方案在近似动态规划意义上具有乐观性，因为控制器是在使用有限数据完成近似价值拟合之后更新的，而非在精确策略评估之后更新。它并不表示基于乐观的探索。因此，Bellman 单调策略改进性质不被保证。价值函数逼近误差、有限的滚动覆盖、跨策略迭代的分布偏移以及终端值景观的变化可能共同导致策略抖动或降低闭环性能（Bertsekas, 2019）。

2.3 部分输入凸神经网络

如上所述，在 RL–MPC 框架内，学习到的终端价值替代模型被直接嵌入在线 MPC 目标函数中。因此，其几何特性不仅影响价值逼近的准确性，也影响非线性规划求解器所看到的优化景观。由无约束多层神经网络表示的终端代价可能在非线性过程模型固有产生的非凸盆地之外引入虚假的非凸盆地，从而损害热启动优化并使所诱导的控制器对学习到的价值函数的微小变化变得敏感。

为了正则化这种几何特性，我们使用部分输入凸神经网络（PICNN）作为终端价值逼近器。相应的双通路架构如图 1 所示，其中 ?? 进入条件通路，?? 进入凸通路。PICNN 属于由 Amos 等人（2017）和 Chen 等人（2019）引入的更广泛的输入凸神经网络（ICNN）类别。全输入凸神经网络（FICNN）对所有输入施加凸性约束，而 PICNN 仅对选定输入施加凸性约束，同时对其余条件变量保持灵活的非线性依赖关系。这种区别在 MPC 和价值函数逼近中尤为有用，因为终端评论器可以被约束为在优化相关坐标上保持凸性，同时仍能非线性地依赖于参考、扰动或漂移参数（Bünning 等人，2021；Bae 等人，2023）。

下载：下载高分辨率图像（324KB） 下载：下载全尺寸图像

图 1. PICNN 架构。输入组 ?? 进入条件通路，而选定的输入组 ?? 进入凸通路。

抽象地，PICNN 参数化一个标量价值函数

(6) ????: ?? × ? → ?, (??, ??) ? ????(??, ??),

其中 ?? 表示施加凸性的坐标，而 ?? 汇集其余条件变量。在所提出的 RL–MPC 框架中，?? 包含马尔可夫状态坐标，终端价值替代模型通过这些坐标最直接地与 MPC 决策变量耦合。相比之下，?? 包含参考、扰动、漂移参数以及其他外生或条件信息，其演化不直接受优化变量影响。PICNN 的定义性质为

(7) ?? ? ????(??, ??) 对每个固定的 ?? ∈ ?? 是凸的。

该性质通过约束凸通路中的权重为非负值并采用凸的、非递减的激活函数来强制执行（Amos 等人，2017）。

在本工作中，PICNN 的作用主要是结构性的：它正则化 MPC 求解器所看到的终端代价几何，并抑制虚假的终端吸引盆地。这种正则化以增加一定的逼近偏差为代价，因为真实价值函数通常关于决策相关输入是非凸的。此外，仅几何正则化既不能恢复 Bellman 压缩性质，也不能防止乐观近似策略迭代中的策略抖动。因此，所提出的框架将基于 PICNN 的终端几何与渐进式经验回放缓冲区扩展及终端价值模型的 Polyak 平滑更新相结合，详见下文。

3. 所提出的 RL–MPC 框架

本节介绍所提出的 RL–MPC 算法的稳定化组件。该框架由三个结构设计组件组成：(i) 由增强跟踪特征构建的 PICNN 终端评论器；(ii) 一个逐渐增长的经验回放缓冲区，它在策略迭代间保持数据覆盖并缓解早期轨迹的灾难性遗忘；以及 (iii) 一种排他性的 Polyak 软更新机制，它在策略迭代间阻尼终端模型的突然替换。这些组件共同解决两个耦合的不稳定来源：内循环 MPC 优化器所看到的终端代价几何以及外循环策略改进过程在跨迭代中的漂移。

除上述结构组件外，实现方案还采用了若干辅助装置，这些装置在所有学习变体中保持固定。余弦退火与热重启减少了每个价值拟合阶段对从前序外迭代继承的优化盆地的依赖。有效时域蒙特卡洛（MC）目标排除了观测未来代价跨度不足的滚动尾部样本。分位数分层训练数据策展（QTC）平衡了瞬态和近平衡回放样本，在各数据分割中维持可比的回报分布，并提高了计算效率。详细实现流程见补充材料第 S2 节。

稳定化的策略迭代过程总结于算法 1 中，相应工作流程见补充材料图 S1。所有报告的超参数设置应被理解为用于演示和比较所提出的稳定化 RL–MPC 框架的代表性配置，而非穷举超参数搜索的结果。确定全局最优超参数组合不在本研究范围内。

3.1 带有增强状态变量的 PICNN 终端代价

学习到的终端价值模型通过特征映射逼近马尔可夫状态价值函数

(8) ???? = ??(????) = (????, ????),

其中 ???? 包含选定坐标，终端替代模型关于这些坐标被约束为凸的，而 ???? 汇集其余条件变量。特征映射 ??(·) 将马尔可夫状态变换或分割为终端替代模型所使用的凸输入和条件输入。此处不使用其进行状态选择或降维；在以下两个案例研究中，(????, ????) 是指定马尔可夫状态的信息保真重参数化。对于本工作考虑的问题，预测马尔可夫状态定义为

(9) ????+??∣?? := (????+??∣??, ????+??∣??),

其终端价值特征通过以下方式构造

(10) ????+??∣?? = ??(????+??∣??) = (????+??∣??, ????+??∣??).

此处，????+??∣?? 包含选定的优化相关坐标或其跟踪误差变换，而 ????+??∣?? 包含从信息状态导出的其余条件变量。各案例特定的特征映射定义于第 4.1 节案例研究 1：随机非线性系统和第 4.2 节案例研究 2：Van de Vusse CSTR 中。

相应地，马尔可夫状态价值函数由复合终端替代模型逼近

(11) ????(????) ≈ ?????(????) := ?????(????) = ?????(????, ????),

其中 ????? 实现为 PICNN，满足

(12) ?? ? ?????(??, ??) 对每个固定的 ?? 是凸的。

嵌入在有限时域 MPC 目标函数中的学习终端代价为

(13) ??term ?????? ?????(????+????∣??, ????+????∣??),

其中 0 < ??term ≤ 1 是终端代价权重。在本工作中，??term 固定为 1.0，因此预测时域之外的估计代价被完全纳入最优控制计算中。

对于本工作考虑的跟踪问题，预测跟踪误差定义为基于预测输出 ????+??∣?? = ?(????+??∣??) 的误差。相应的阶段代价为

(14a) ?(????+??∣??, ????+??∣??, ????+??∣??) = ??1 ‖err??+??∣??‖?2 + ??2 ‖Δ????+??∣??‖?2,

(14b) err??+??∣?? := ????+??∣?? ? ????+??∣??,

(14c) Δ????+??∣?? := ????+??∣?? ? ????+???1∣??.

对于 ??=0，?????1∣?? 等同于先前施加的输入 ?????1。????+??∣?? 是在时刻 ?? 投影的 ????+?? 设定点。权重 ??1 和 ??2 分别惩罚跟踪误差和输入变化。

将学习到的终端评论器代入式 (3) 中的标称终端代价，得到 RL–MPC 目标函数

(15) ??RL????(????; ??) := min {????+??∣??} Σ_{??=0}^{?????1} {??? ?(????+??∣??, ????+??∣??, ????+??∣??)} + ?????? ?????(????+????∣??, ????+????∣??),

受与式 (3) 相同的预测动力学、信息状态传播以及状态和输入约束。

注 1 凸性与输入空间压缩

PICNN 构造为映射 ?? ? ?????(??, ??) 对每个固定的条件向量 ?? 强制执行部分凸性。该性质正则化了 MPC 优化器所看到的终端价值几何。然而，仅凸性并不能保证非扩张性或有界输入输出增益。基于压缩的收敛论证需要额外的 Lipschitz 条件（Gouk 等人，2021）。具体而言，如果 ????? 满足 ‖????????(??, ??)‖_{p*} ≤ ???? 在相关操作域上，则微积分基本定理和 H?lder 不等式给出

(16) |?????(??, ???) ? ?????(??, ???)| ≤ ???? ‖??? ? ???‖_p.

此处，‖·‖_p 表示用于测量凸通路输入空间扰动的 ??-范数，??* 表示其 H?lder 对偶指数，满足 1/?? + 1/??* = 1。因此，折扣终端贡献 ?????? ?????(??, ??) 具有有效 Lipschitz 模

(17) ??term = ?????? ????.

当 ??term ≤ 1 时，折扣终端映射是非扩张的；当 ??term < 1 时是压缩的。这些界可以通过 Lipschitz 感知的神经网络正则化来鼓励或施加，包括谱归一化或投影算子范数约束（Miyato 等人，2018；Gouk 等人，2021）。然而，在当前实现中，未施加 Lipschitz 约束。严格的理论分析，包括收敛性证明，留待未来工作。

下载：下载高分辨率图像（410KB） 下载：下载全尺寸图像

图 2. 终端价值几何对单状态调节的影响：使用 (a) 标准神经网络评论器和 (b) FICNN 评论器的闭环 RL–MPC 响应，相应的学习终端价值景观分别如 (c) 和 (d) 所示。

3.1.1 ICNN 结构对价值景观的影响

输入凸性的结构作用在预测时域 ???? 较短时最为明显。在这种模式下，有限时域阶段代价之和仅捕捉了长期目标的一小部分，使得学习到的终端评论器能够对 MPC 优化景观以及求解器遇到的局部极小值产生强烈影响。图 2 使用确定性标量调节示例说明了这种几何效应。被控对象由单状态离散时间方程表示（Li and Lee, 2026）：

(18) ????+1 = 0.80 ???? + 0.01 ???3 + 0.01 ????, ???? = ????,

受 ???? ∈ [0, 4] 和 ???? ∈ [0, 60] 约束。设定点固定在 ?? = 2.5，滚动长度为 ??tot = 500。两种结果均对应策略迭代 4（PI #4），RL–MPC 设置完全相同；控制器仅在使用不同的终端价值函数逼近器方面有所区别。

使用标准神经网络终端逼近器时，图 2(c) 中的学习终端价值景观是非凸的，且在设定点附近存在多个虚假盆地。由于 ???? 较短，这些终端盆地强烈重塑了在线 MPC 目标函数，并反复吸引递推时域优化器。结果，闭环轨迹在 ?? ≈ 0.77 附近稳定，如图 2(a) 所示。所得 SSE_NN = 1476.29 与观察到的稳态偏移一致。将标准神经网络替换为 FICNN 后，对标量优化相关的终端坐标施加了凸性约束。图 2(d) 中的终端景观其极小值与设定点对齐，且未表现出标准神经网络情况下观察到的非设定点盆地。因此，RL–MPC 控制器将状态驱动至 ?? = 2.5，如图 2(b) 所示。大幅降低的 SSE_FICNN = 11.56 表明剩余跟踪误差主要是瞬态的，而非由于持续稳态偏移。两种终端价值逼近器均使用四个隐藏层，每层 128 个神经元。标准神经网络是全连接网络，tanh 隐藏激活和无约束线性输出。FICNN 使用 Softplus 激活、从输入到每个隐藏层和输出的仿射直通连接，并通过每次梯度更新后的投影获得所需的非负凸通路权重。

该示例仅作为诊断性说明，而非独立的基准测试。其含义是，输入凸终端替代模型可以通过正则化 MPC 目标继承的终端价值景观来抑制盆地诱导的控制器性能退化。另一方面，仅输入凸性并不能消除与乐观近似策略迭代相关的非单调行为或潜在不稳定性。逼近误差、不完整的策略评估以及跨迭代分布偏移仍可能导致策略抖动。因此，所提出的 RL–MPC 框架将基于 PICNN 的终端几何与增长经验回放缓冲区及终端价值模型的 Polyak 平滑更新相结合。它还采用了一种筛选机制来拒绝降低闭环性能的候选控制器，并在性能改进不再能证明额外计算成本或增加对逼近误差、分布偏移和盆地切换暴露的合理性时终止策略迭代。

3.2 经验回放缓冲区

在每个外循环迭代中，当前控制器在一个长度为 ??tot 的闭环 episode 上进行滚动。由于无限时域代价不可用，有效时域蒙特卡洛目标从有限滚动中构建，如第 S2.2 节所述。每个保留的样本随后被转换为终端价值训练对并追加到回放缓冲区

(19) ? = {(??_β, ??_β)}_{β=1}^{??_?}, ??_β = (??_β, ??_β),

其中 ??_β 表示与特征向量 ??_β 关联的价值目标，??_? 是存储在回放缓冲区中的样本总数，β 索引累积的回放样本。

回放缓冲区使用基线 MPC 滚动数据初始化，随后通过追加（而非替换）每次 RL–MPC 滚动生成的样本来扩展（Zhang and Sutton, 2017）。

因此，它充当了跨迭代的记忆机制，终值网络利用基于轨迹的价值目标对其进行反复重新拟合（Fedus等人，2020年）。保留早期回合的样本至关重要，因为后期策略迭代往往集中在平衡点附近，而早期迭代通常包含更广泛的瞬态偏移，这些偏移对于价值函数拟合和策略改进仍然具有信息价值（Li和Lee，2025年）。不断增长的回放缓冲区因此拓宽了状态空间覆盖范围，减少了策略迭代之间的分布漂移，并缓解了灾难性遗忘。

**3.3 RL–MPC专属Polyak软更新**

设 $\theta^{(n)}_{\text{raw}}$ 为外层迭代 $n$ 中验证性能最佳获得的参数向量，$\theta^{(n-1)}$ 为前一次外层循环迭代中在位学习控制器的参数向量。对于 $n > 2$，接受的终值模型使用Polyak混合公式（20）进行更新：

$$\theta^{(n)} \leftarrow (1 - \tau)\,\theta^{(n-1)} + \tau\,\theta^{(n)}_{\text{raw}}, \quad \tau \in (0,1)$$

其中 $\tau$ 为Polyak软更新系数。

Polyak更新仅在 $n = 3$ 起激活。在 $n = 1$ 时，不存在先前的学习终值模型，因为第一个网络是使用基线MPC控制器生成的数据进行拟合的。在 $n = 2$ 时，前一个模型仍然与基线MPC数据集相关联，而 $\theta^{(2)}_{\text{raw}}$ 是第一个使用来自学习RL–MPC展开的数据进行拟合的模型。为将Polyak混合严格限制在学习控制器之间的传递，软更新仅在之前的在位模型和当前原始模型都源自RL–MPC策略迭代轮次时应用。

[下载：下载高分辨率图片 (355KB)] [下载：下载全尺寸图片]

**4. 案例研究**

本节通过两个控制问题评估所提出的RL–MPC框架。案例研究1考虑一个随机非线性基准问题，旨在隔离终值架构、回放缓冲区设计和终值模型更新策略的影响。具体而言，它比较了PICNN与标准NN逼近器、增长型与固定大小回放缓冲区，以及软参数更新与硬参数更新。表现最佳的配置RL–MPC (PICNN-Growing-Soft) 随后与基线MPC控制器进行比较。案例研究2将该配置应用于van de Vusse CSTR，提供了具有实际意义的控制基准问题。在两项研究中，均刻意使用较短的预测时域，以强调学习终值函数的作用。

**4.1 案例研究1：随机非线性系统**

我们首先在一个具有分段常数参考变化和有限时长闭环回合的随机非线性基准上评估所提出的RL–MPC框架（Li和Lee，2026年）。表1总结了案例研究1中使用的被控对象、控制器和操作参数。

基准被控对象描述如下：

$$\begin{aligned}
(21a) \quad & x_{k+1} = a\,x_k + b\,x_k^3 + c_k\,u_k + \omega^x_k, \\
(21b) \quad & c_{k+1} = c_k + \omega^c_k,
\end{aligned}$$

其中 $x_k$ 为过程状态，$u_k$ 为被操控输入，$c_k$ 为时变输入增益，$\omega^x_k$ 和 $\omega^c_k$ 为相互独立的零均值白噪声序列，标准差分别为 $\sigma_x$ 和 $\sigma_c$。在本案例研究中，信息状态为 $d_k \coloneqq (c_k, r_k)$。在状态反馈下，被控输出为 $y_k = x_k$，预测输出为 $y_{k+l|k} = x_{k+l|k}$。因此，被控端和预测端的跟踪误差定义如下：

$$\text{err}_k \coloneqq y_k - r_k = x_k - r_k, \quad \text{err}_{k+l|k} \coloneqq y_{k+l|k} - r_{k+l|k} = x_{k+l|k} - r_{k+l|k}$$

对于所提出的RL–MPC控制器，PICNN终值评论家包含四个隐藏层，在每个隐藏层中（条件路径和凸路径）各有128个Softplus单元，随后是一个标量线性输出层。网络使用AdamW优化器训练，初始学习率为 $10^{-3}$，权重衰减系数为 $10^{-3}$，批量大小为32。采用余弦退火与热重启策略，参数为 $(T_0, T_{\text{mult}}, \eta_{\min}) = (200, 2, 10^{-6})$，并配合基于验证性能的早停耐心值100个epoch。Polyak软更新系数设为 $\tau = 0.05$。作为对比，标准NN终值评论家采用全连接架构，具有与PICNN相同的深度和宽度。其四个隐藏层使用tanh激活函数，随后是一个无约束的标量线性输出层。

终值特征元组为：

$$\rho_k = (q_k, e_k), \quad q_k = (r_k, c_k), \quad e_k = (\text{err}_k)$$

其中 $q_k$ 包含参考值 $r_k$ 和漂移输入增益 $c_k$，而 $e_k$ 将跟踪误差 $\text{err}_k$ 分配给凸路径。由于 $\text{err}_k = x_k - r_k$ 被包含在 $e_k$ 中，因此 $(q_k, e_k)$ 保留的信息与 $(r_k, c_k, x_k)$ 相同。这种基于误差的表示消除了状态坐标中依赖于设定值的偏移，并使终值代理函数更直接地与跟踪目标对齐。

**表1. 案例研究1的被控对象、控制器和操作参数。**

| 参数 | 数值 | 描述 |
|------|------|------|
| **被控对象参数** | | |
| $a$ | 0.80 | 线性状态系数 |
| $b$ | 0.01 | 三次非线性系数 |
| $c_0$ | 0.02 | 初始随机控制增益 |
| $\sigma_x$ | $1.0 \times 10^{-1}$ | 过程噪声标准差 |
| $\sigma_c$ | $3.0 \times 10^{-4}$ | 增益漂移噪声标准差 |
| **初始条件与约束** | | |
| $x_0$ | 2.5 | 初始状态 |
| $u_{-1}$ | 34.38 | 第一次MPC动作前的输入 |
| $x_{\min}$ | 0.0 | 状态下界 |
| $x_{\max}$ | 4.0 | 状态上界 |
| $u_{\min}$ | 0.0 | 输入下界 |
| $u_{\max}$ | 60.0 | 输入上界 |
| **控制器与仿真参数** | | |
| $H_p$ | 2 | 预测时域 |
| $T_{\text{tot}}$ | 1000 | 闭环回合长度 |
| $T_{\text{sam}}$ | 1.0 | 采样时间 |
| $T_{\text{int}}$ | 50 | 参考更新间隔 |
| $\gamma$ | 0.98 | 折扣因子 |
| $(\mu_1, \mu_2, \mu_{\text{term}})$ | $(1.0, 10^{-2}, 1.0)$ | 跟踪、输入变化和终值权重 |
| $\zeta_c$ | 0.99 | 有效时域回报覆盖因子 |
| $r_{\min}$ | 0.0 | 参考下界 |
| $r_{\max}$ | 2.6 | 参考上界 |
| $r_0$ | 2.5 | 初始参考 |

作为辅助架构谱系比较器，我们额外评估了一个FICNN终值评论家，它将完整特征向量 $\rho_k = (r_k, c_k, \text{err}_k)$ 作为其凸输入。FICNN包含四个128单元的Softplus隐藏层和一个标量线性输出，与PICNN在深度、隐藏宽度、激活函数和输出维度方面一致，同时通过对指定权重施加非负性约束来强制对所有终值特征保持联合凸性（Amos等人，2017年）。

每次报告的政策迭代由一个长度为 $T_{\text{tot}} = 1000$ 的完整闭环回合组成，参考值每 $T_{\text{int}} = 50$ 个采样步更新一次。乐观近似策略迭代过程从一次使用 $\tilde{V}_\theta \equiv 0$ 的基线MPC展开开始。所得轨迹被转换为有效时域回报目标，用于训练初始终值模型。在每次后续迭代中，当前学习控制器进行展开，保留的样本被追加到回放缓冲区中，使用策划的回放数据重新拟合价值网络，并通过直接方式或专属Polyak策略更新终值模型。

**4.1.1 基准控制器与消融设计**

基线MPC控制器使用零终值代价，即 $\tilde{V}_\theta \equiv 0$。预测时域、阶段代价权重及其他控制器参数如表1所示。这些参数通过初步的标称MPC校准一次性选定，以确保稳定运行和跟踪性能与输入变化之间的合理权衡。随后在所有控制器中固定这些参数，不进行控制器特定的重新调整。

基线MPC控制器与四种学习RL–MPC变体进行比较：

- **MPC ($\tilde{V}_\theta \equiv 0$)**：终值惩罚为零的标称有限时域MPC；
- **RL–MPC? (PICNN-Growing-Soft)**：所提出的控制器，结合PICNN终值代理函数、增长型回放缓冲区和专属Polyak软更新机制；
- **RL–MPC? (NN-Growing-Soft)**：相同流程但使用标准多层前馈NN作为终值逼近器；
- **RL–MPC? (PICNN-Fixed-Soft)**：相同流程但使用固定大小回放缓冲区；
- **RL–MPC? (PICNN-Growing-Hard)**：相同流程但对终值模型采用直接硬参数替换。

这些比较隔离了终值代价几何结构、跨迭代数据保留和终值模型更新阻尼的效果。

[下载：下载高分辨率图片 (247KB)] [下载：下载全尺寸图片]

**图3. 案例研究1中基线MPC的闭环轨迹：(a) 分段常数参考下的输出跟踪；(b) 被操控输入轨迹。**

**4.1.2 基线MPC性能**

图3展示了基线MPC控制器在单次展开中的闭环响应。该控制器保持稳定并满足输入约束，但表现出明显的短时域短视行为，包括超调、欠阻尼响应和有限的预见性控制动作。所得的聚合跟踪误差为 $\text{SSE} = 194.85$，作为评估学习终值模型的非学习参考基准。

[下载：下载高分辨率图片 (501KB)] [下载：下载全尺寸图片]

**图4. 案例研究1的策略迭代性能与消融结果：(a) RL–MPC?相对于基线MPC的闭环SSE历史；(b) 终值评论家架构的效果；(c) 回放缓冲区设计的效果；(d) 终值更新策略的效果，分别将RL–MPC?与RL–MPC?、RL–MPC?和RL–MPC?进行比较。**

**4.1.3 消融测试与策略迭代结果**

图4(a)显示，学习后的RL–MPC控制器将闭环SSE从策略迭代#1时的188.65降低到最终接受的迭代时的79.36，而基线MPC的SSE为194.85。因此，相对SSE降低从策略迭代#1的3.18%改善到最终返回控制器的59.27%。性能在接受的策略迭代中单调改善，表明策略精炼稳定。

在保持回放缓冲区和终值更新设置相同的情况下，图4(b)隔离了终值几何结构的效果。标准NN终值评论家表现出明显的非单调行为，包括早期恶化尖峰和持续振荡。相比之下，基于PICNN的评论家产生了明显更平滑的SSE轨迹。这一比较支持了PICNN预期的结构角色：部分凸性正则化了与优化相关的终值景观，减少了由吸引盆引起的闭环性能恶化。

在图4(c)比较的两种回放缓冲区设计中，增长型回放缓冲区产生了稳定递减的SSE轨迹，而固定大小的先进先出（FIFO）缓冲区在多个策略迭代轮次中产生了严重的性能恶化。这种行为可归因于跨策略支撑不匹配：固定大小的缓冲区被最近一次展开主导，导致后续终值模型基于狭窄的、依赖于策略的状态分布进行重新拟合，然后被嵌入到新诱导的控制器中。通过保留来自多个策略迭代的轨迹，增长型回放缓冲区拓宽了状态空间覆盖范围，保留了来自早期展开的信息性瞬态样本，并缓解了灾难性遗忘。

终值模型更新的Polyak平滑化在图4(d)中进行了评估。尽管软更新和硬更新都可以改善基线MPC控制器，但硬参数替换产生了反复的性能逆转和策略迭代间更大的波动性。终值模型的突然替换会放大控制器偏移、超出支撑的外推和吸引盆切换。相比之下，Polyak软更新提供了更稳定和可靠的递归控制器精炼机制。

进一步检查图5中对应的轨迹级闭环性能，进一步佐证了图4中的迭代级消融结果。在策略迭代#9时，RL–MPC?最紧密地跟踪设定值并实现了最低的SSE 79.36。将PICNN替换为标准NN（RL–MPC?）或将增长型回放缓冲区替换为固定大小缓冲区（RL–MPC?）分别将SSE增加到364.67和1486.70。对终值模型进行硬替换（RL–MPC?）的SSE为134.11，低于基线MPC，但仍产生比RL–MPC?更大的跟踪偏差。

[下载：下载高分辨率图片 (923KB)] [下载：下载全尺寸图片]

**图5. 案例研究1中策略迭代#9时四种RL–MPC变体的闭环输出跟踪与被操控输入轨迹：(a) RL–MPC? (PICNN-Growing-Soft)，(b) RL–MPC? (NN-Growing-Soft)，(c) RL–MPC? (PICNN-Fixed-Soft)，(d) RL–MPC? (PICNN-Growing-Hard)。**

综合来看，这些结果表明，PICNN终值几何结构、增长型经验回放缓冲区和Polyak平滑化终值更新共同将潜在不稳定的乐观近似策略迭代转变为稳定化的接受控制器改进过程，适用于该随机非线性系统。

**4.1.4 终值评论家架构谱系**

为补充主要的消融研究，我们在保持所有非架构设置（包括增长型经验回放缓冲区和Polyak软更新机制）不变的情况下，比较了NN、PICNN和FICNN终值评论家，遵循Amos等人（2017年）中的架构区别。这些架构施加了逐步增强的结构限制，代价可能是表征灵活性的降低：NN是无约束的，PICNN仅在 $q_k$ 固定时对 $e_k$ 凸，而FICNN对完整特征向量 $\rho_k = (q_k, e_k)$ 联合凸。

如图6所示，无约束NN表现出明显的SSE偏离，最大值达到1319.05。FICNN大幅抑制了这些偏离，但在其初始策略迭代后恶化，从策略迭代#4起超过基线MPC。相比之下，PICNN产生了持续递减的轨迹并实现了最低的最终SSE 79.36。这些结果说明了预期的灵活性-正则性权衡：更大的灵活性可以降低拟合误差，而更强的结构约束可以正则化终值景观。总体而言，PICNN实现了最有利的平衡。

[下载：下载高分辨率图片 (320KB)] [下载：下载全尺寸图片]

**图6. 案例研究1的终值评论家架构谱系。**

**4.1.5 多随机种子鲁棒性**

为验证案例研究1中观察到的趋势不是特定噪声实现或网络初始化的伪像，所提出的RL–MPC (PICNN-Growing-Soft) 配置使用五个额外随机种子进行评估，不进行种子特定的重新调整。每个种子改变过程噪声序列 $\omega^x_k$、增益漂移序列 $\omega^c_k$、参考扰动调度和终值网络初始化等。种子1对应于图4中所示的代表性运行。

表2总结了所有六个种子的最终在位控制器性能。所提出的控制器在每次运行中都优于基线MPC控制器。尽管在获得性能方面存在明显的种子间变异，但定性的策略迭代行为保持一致：PICNN终值代理函数、增长型回放缓冲区和Polyak平滑化终值模型更新共同在乐观近似策略迭代下产生可复现且鲁棒的闭环改善。所有种子的完整逐迭代SSE轨迹在补充材料第S4节中提供。

**表2. 案例研究1中RL–MPC?的多随机种子闭环性能。**

| 种子 | MPC SSE | 最终SSE | 接受策略迭代数 | SSE降低 [%] |
|------|---------|---------|--------------|------------|
| 1 | 194.85 | 79.36 | 9 | 59.27 |
| 2 | 467.99 | 201.94 | 8 | 56.85 |
| 3 | 234.84 | 113.29 | 9 | 51.76 |
| 4 | 143.54 | 54.75 | 8 | 61.86 |
| 5 | 215.74 | 115.81 | 9 | 46.32 |
| 6 | 214.03 | 90.07 | 17 | 57.92 |

**4.2**

案例研究 2：Van de Vusse CSTR

接下来，我们在一个具有工业相关性的非线性控制基准上评估所提出的 RL–MPC 框架的迁移能力：Van de Vusse CSTR（?awryńczuk et al., 2008, Lee et al., 2006）。如图 7 所示，目标产品 B 通过连串反应序列 A→B→C 生成，而平行反应 2A→D 通过不期望的副反应路径消耗反应物 A。控制目标是在产品浓度的随机变化和进料浓度扰动的情况下调节产品 B 的浓度。

连续时间 CSTR 模型为 (22a) ?? = ?k?x? ? k?x?? + (x?f ? x?)u, (22b) ?? = k?x? ? k?x? ? x?u, 其中 x? 和 x? 分别表示反应物 A 和产品 B 的浓度，x?f 表示被视为缓慢变化参数的 A 的进料浓度，u 是作为操纵输入的稀释率。

下载：下载高分辨率图像（382KB）下载：下载全尺寸图像
图 7. Van de Vusse CSTR 示意图。

在采样间隔上对式 (22) 进行离散化并增广扰动状态后，所得的离散时间随机模型为 (23a) x?,k+1 = f?(x?,k, x?,k, x?f,k, u?), (23b) x?,k+1 = f?(x?,k, x?,k, x?f,k, u?) + ωx??, (23c) x?f,k+1 = x?f,k + ωx?f?。此处，f? 和 f? 是通过在一个采样间隔上积分相应微分方程得到的一步转移映射。过程噪声 ωx?? 以加性方式作用于产品浓度状态，而 ωx?f? 驱动进料浓度扰动。这两个噪声序列是相互独立的高斯白噪声序列，且每个序列随时间独立同分布：ωx?? ~ ??(0, σ2x?), ωx?f? ~ ??(0, σ2x?f)。

在此案例研究中，信息状态定义为 dk ? (x?f,k, rx?,k)。受控输出是目标产品 B 的浓度，表示为 y? = x?,k。装置和预测跟踪误差分别为 err? ? y? ? rx?,k = x?,k ? rx?,k, err?+l|? ? y?+l|? ? rx?,k+l|? = x?,k+l|? ? rx?,k+l|?。PICNN 终端值特征选择为 ρ? = (q?, e?), q? = (rx?,k, x?f,k), e? = (x?,k, err?)，其中 q? 包含产品浓度参考值和进料浓度，而 e? 包含分配给凸路径的反应物浓度和产品浓度跟踪误差。阶段代价由式 (14) 给出，其权重参数的选取在跟踪速度和鲁棒性之间实现了合适的权衡。表 3 总结了案例研究 2 中使用的装置、控制器和操作参数。

案例研究 2 将案例研究 1 中表现最佳的配置，即 RL–MPC (PICNN-Growing-Soft)，迁移到 CSTR 系统。策略迭代协议遵循相同的学习控制循环，终端值模型通过 Polyak 软混合更新，τ=0.3。

表 3. 案例研究 2 的装置、控制器和操作参数。

| 参数 | 值 | 描述 |
|------|-----|------|
| 装置参数 | | |
| k? | 50.0 | A→B 的速率常数 [h?1] |
| k? | 100.0 | B→C 的速率常数 [h?1] |
| k? | 10.0 | 2A→D 的速率常数 [Lmol?1h?1] |
| x?f | 10.0 | 标称进料浓度 [molL?1] |
| σx? | 2.0 | 产品浓度噪声标准差 [molL?1h?1] |
| σx?f | 10.0 | 进料不匹配扰动标准差 [molL?1h?1] |
| 初始条件和约束 | | |
| x?,0 | 2.15 | A 的初始浓度 [molL?1] |
| x?,0 | 0.90 | B 的初始浓度 [molL?1] |
| x?f,0 | 10.00 | 初始进料浓度 [molL?1] |
| u?? | 19.63 | 第一次 MPC 动作之前的输入 [h?1] |
| x?,min | 0.0 | x? 的下限 [molL?1] |
| x?,max | 7.0 | x? 的上限 [molL?1] |
| x?,min | 0.0 | x? 的下限 [molL?1] |
| x?,max | 2.4 | x? 的上限 [molL?1] |
| u_min | 0.0 | 稀释率下限 [h?1] |
| u_max | 60.0 | 稀释率上限 [h?1] |
| 控制器和仿真参数 | | |
| Hp | 3 | 预测时域 |
| T_tot | 2000 | 闭环回合长度 |
| T_sam | 0.005 | 采样时间 [h] |
| T_int | 1.0 | 参考更新间隔 [h] |
| γ | 0.98 | 折扣因子 |
| (μ?, μ?, μ_term) | (102, 1, 1) | 跟踪、输入动作和终端权重 |
| μ_QT | 102 | 二次终端权重 |
| ζ_c | 0.99 | 有效时域回报覆盖因子 |
| rx?,min | 0.7 | x? 参考值下限 [molL?1] |
| rx?,max | 0.9 | x? 参考值上限 [molL?1] |
| rx?,0 | 0.9 | x? 初始参考值 [molL?1] |

作为一个额外的无学习终端代价基准，我们考虑了一种具有二次终端输出惩罚的 MPC 控制器，记为 MPC–QT。该控制器采用了广泛使用的二次终端惩罚结构，这里专门针对受控产品浓度（Fiedler et al., 2023）： (24) Ψ_QT(x?+Hp|?, dk+Hp|?) = μ_QT(x?,k+Hp|? ? rx?,k+Hp|?)2。权重系数 μ_QT 决定了二次终端惩罚对整体目标的相对贡献，它在实践上合理的范围内进行了调整，选择了在该范围内产生最低闭环 SSE 的值用于后续评估。MPC–QT 的其他所有控制器调参参数与基线 MPC 和 RL–MPC 变体所使用的参数相同，如表 3 所示。这些参数通过初步的标称 MPC 校准一次性选定，然后对所有控制器保持固定。

4.2.1. 与无学习 MPC 控制器的比较

RL–MPC? (PICNN-Growing-Soft) 控制器与两种无学习 MPC 基准在相同的 CSTR 模型、约束、阶段代价和预测时域下进行了比较：具有零终端代价的基线 MPC 控制器和具有二次终端惩罚的 MPC（MPC–QT）。

如图 8 所示，RL–MPC 控制器从第一次策略迭代开始就优于零终端代价基线 MPC。基线 MPC 控制器产生 SSE=7.39，而 RL–MPC 控制器将闭环 SSE 从 PI #1 时的 1.52 降低到最终接受迭代时的 0.70。相应地，相对 SSE 降低幅度从 79.43% 改善到 90.54%，而接受控制器的 SSE 序列在策略迭代过程中保持非递增。

下载：下载高分辨率图像（323KB）下载：下载全尺寸图像
图 8. CSTR 系统的策略迭代性能。

下载：下载高分辨率图像（499KB）下载：下载全尺寸图像
图 9. CSTR 系统的闭环性能比较，显示了 (a) 基线 MPC、(b) 最终 RL–MPC? 控制器（PI #18）和 (c) MPC–QT 下的输出跟踪轨迹和操纵输入轨迹。

图 9 中的轨迹级比较也得出了相同的结论。图 9(b) 显示，最终 RL–MPC? 控制器更紧密地跟踪分段常数参考值，在主要设定点变化后的超调量更小，残余振荡更弱。图 9(a) 和 (c) 显示，MPC–QT 将闭环 SSE 相对于基线 MPC 降低了 63.72%，产生 SSE=2.68。然而，响应仍然存在明显的超调、缓慢的稳态和残余振荡。其改进幅度仍远小于最终 RL–MPC? 控制器实现的 90.54% SSE 降低。这些结果表明，仅靠仔细调整传统的二次终端惩罚无法重现本工作提出的学习终端值公式所带来的性能提升。

此外，相应的输入轨迹，如图 9(a)–(c) 下方子图所示，有助于阐明潜在的机制。基线 MPC 和 MPC–QT 控制器产生缓慢的稀释率曲线，表明二次终端代价仅对短时域优化问题进行了有限的重塑。相比之下，最终 RL–MPC? 控制器更主动地利用了允许的稀释率范围，同时遵守输入约束。

尽管总体 SSE 大幅降低，但在某些设定点区间内仍间歇性地出现小的类偏差误差。这些误差与先前讨论的短时域终端值机制一致。由于预测时域较短，折扣终端项 γ^Hp V?_θ(ρ?+Hp|?) 可能构成在线目标的很大一部分。如果学习到的终端值代理在参考值相关的操作区域附近包含一个局部有偏的值底，优化器可能会偏爱一个降低组合阶段和终端目标但留下缓慢衰减的小跟踪误差的相邻操作点。当相应的设定点区域在经验回放缓冲区中被稀疏或不均匀地表示（不均匀的回放覆盖）时，或者当全局神经网络更新非局部地改变终端值景观时，这种效应可能会被放大。因此，这些残余误差反映了神经网络在终端值近似和数据覆盖方面的局限性，而不是闭环不稳定性或缺乏积分作用。

4.2.2. 多随机种子鲁棒性

为了评估在 CSTR 基准上的鲁棒性，在没有针对种子重新调参的情况下，使用五个额外的随机种子评估了迁移的 RL–MPC (PICNN-Growing-Soft) 配置。每个种子改变了随机的产品浓度噪声、进料浓度扰动序列、参考轨迹、终端值网络的初始化等。种子 1 对应于第 4.2.1 节中报告的代表性运行。

如表 4 所示，所提出的 RL–MPC 框架在所有种子上都优于基线 MPC 控制器。尽管接受的策略迭代轮数在不同的随机实现中有所不同，但最终接受的 SSE 始终降低，证实了迁移的 PICNN-Growing-Soft 配置并非特定于代表性的 CSTR 运行。所有种子的完整每迭代 SSE 轨迹提供在补充材料第 S5 节中。

表 4. 案例研究 2 中 RL–MPC? 的多随机种子闭环性能。

| 种子 | MPC SSE | 最终 SSE | 接受的 PI | SSE 降低 [%] |
|------|---------|----------|-----------|--------------|
| 1 | 7.39 | 0.70 | 18 | 90.54 |
| 2 | 5.79 | 1.03 | 8 | 82.20 |
| 3 | 3.74 | 0.71 | 28 | 80.98 |
| 4 | 6.71 | 0.87 | 28 | 87.02 |
| 5 | 3.42 | 0.78 | 23 | 77.27 |
| 6 | 7.11 | 0.55 | 22 | 92.33 |

总体而言，结果表明 PICNN-Growing-Soft 设计所实现的单调改进趋势从随机非线性基准迁移到了实际相关的过程控制问题。学习到的终端值公式显著优于两种无学习基准：基线 MPC 和 MPC–QT，表明观察到的性能提升并非仅仅源于添加终端惩罚。相反，它是通过学习一个终端值代理实现的，该代理更准确地捕捉了超越短时 MPC 预测时域的长期闭环成本到去。

5. 结论与未来工作

本文在 RL–MPC 框架中将终端代价学习表述为一个乐观的近似策略迭代问题，并开发了一种用于非线性控制系统的稳定化 RL–MPC 算法。所提出的算法针对策略迭代中非单调行为的两个耦合来源：一个几何来源，源于灵活的终端值函数近似器可能在内环 MPC 目标中引入虚假的吸引盆地；以及一个算法来源，源于部分值拟合、近似贪心改进和跨外环迭代的分布漂移。为了缓解这些效应，该框架结合了三个结构组件：一个 PICNN 终端值代理，用于正则化与优化相关的终端值景观；一个增长的经验回放缓冲区，用于保留跨迭代数据覆盖并减少灾难性遗忘；以及一个排他的 Polyak 软更新机制，用于抑制终端值模型的突然替换。

该框架在两个随机非线性系统上进行了评估。在案例研究 1 中，消融研究表明，用无约束神经网络终端代价替换 PICNN、用固定大小的缓冲区替换增长的回放缓冲区，或用硬参数替换 Polyak 软更新都会降低策略迭代性能。在 CSTR 基准上，选定的 PICNN-Growing-Soft 配置成功迁移到了实际相关的非线性控制问题，并将闭环 SSE 相对于零终端代价 MPC 降低了 90.54%，相对于 MPC–QT 降低了 73.93%，同时保持 SSE 序列非递增。没有针对种子重新调参的多随机种子实验证实，观察到的改进对于过程噪声、增益漂移、设定点调度、网络初始化等变化是鲁棒的。

所提出的算法不局限于特定类型的过程动力学。当预测时域必须保持较短、省略的长期后果很重要且重复操作提供代表性的展开数据时，它最为有用。当部分凸性提供可接受的偏差-正则化权衡时，PICNN 正则化是合适的。相反，当足够长的预测时域是可处理的、过程随机性可以忽略不计，或者可以构建足够准确的解析终端代价时（Lee et al., 2026），传统的 MPC 可能就足够了。无约束的评论者可能为强非凸值函数提供更大的表示灵活性（Amos et al., 2017, Li and Lee, 2025）。

未来工作将追求三个主要方向。首先，将开发不确定性感知的终端评论者，以便 V?_θ 中的认知不确定性可以通过鲁棒或风险敏感的 RL–MPC 公式传播。其次，通过将基于 PICNN 的凸性与显式的利普希茨或有界梯度构造相结合，将分析递归可行性和输入到状态稳定性。第三，该框架将扩展到具有多个操纵输入、多目标或经济性能准则、异步测量和更严格操作约束的高维非线性随机系统。

CRediT 作者贡献声明
Jon Li：撰写 – 审阅与编辑，撰写 – 原稿撰写，可视化，验证，软件，资源，项目管理，方法论，调查，形式分析，数据整理，概念化。
Jay H. Lee：撰写 – 审阅与编辑，监督，项目管理，资金获取，概念化。

Jon Li | Jay H. Lee