非线性系统的约束性能提升控制

《Engineering Applications of Artificial Intelligence》：Constrained performance boosting control for nonlinear systems

　　

研究人员提出了交替方向乘子法（ADMM）用于性能提升（PB），一种为受状态和输入约束的稳定非线性系统设计神经控制器的方法。该方法建立在PB的内模控制公式上。在此设置中，控制器被参数化为一个稳定的神经算子，因此闭环稳定性由构造保证，其权重通过离线训练以提高性能。为了提供一种在训练过程中促进约束满足的系统性程序，研究人员通过引入辅助状态和输入轨迹重新表述了PB公式的有限时域问题。这种增强使得研究人员能够构建一个基于ADMM的算法，该算法在两个步骤之间交替：基于梯度下降的控制器参数更新（具有与无显式约束的PB训练问题相同的结构），以及促进轨迹可行性的投影步骤。因此，该过程在不改变控制器架构或损害其稳定性设计保证的情况下处理训练期间的约束。实际上，稳定性保证源于所选的稳定控制器参数化，该参数化相对于基础PB公式没有改变，并且独立于ADMM的收敛。同时，这种闭环稳定性保证并不意味着性能最优性或闭环约束满足，这取决于ADMM-PB的收敛性，本文尚未保证这一点。数值结果表明，与基于损失中障碍启发软惩罚的基线相比，ADMM-PB在更保守的闭环行为的代价下实现了更低的约束违反。

**论文解读：非线性系统的约束性能提升控制**

**研究背景与问题**
现代控制系统中，对高性能控制器的需求日益增长，要求设计能提升系统性能同时保证闭环稳定性的架构。然而，操作限制和安全关键应用（如机器人避障、液位控制）要求控制器优先满足状态和输入约束。随着动力系统复杂性的增加，神经网络（NN）控制器因其对复杂非线性策略的逼近能力而表现出色，但其灵活性通常缺乏对闭环行为的正式保证。近期，基于内模控制（IMC）和非线性Youla参数化的方法（如Furieri等人，2024）提出了稳定-by-design的神经参数化，用于性能提升（PB）：控制器参数化为稳定神经算子，从而保证闭环稳定性，并通过离线训练优化性能。但该方法未显式处理约束，仅通过损失函数中的软惩罚项（如障碍启发惩罚）来促进约束满足，这种处理缺乏系统性，且惩罚权重调优困难。现有约束处理方法分为在线（如参考调节器、预测安全滤波器，增加实现复杂度）和离线（如基于Lyapunov或障碍函数的设计，需已知证书且可能保守）两类。本文旨在扩展PB的学习过程，在不改变稳定-by-design控制器架构的前提下，系统性地处理凸状态和输入约束，从而弥补这一空白。

**研究内容与结论**
研究人员提出了ADMM-PB，一种基于交替方向乘子法（ADMM）的离线训练程序，用于解决PB中出现的约束非线性最优控制（NOC）问题。通过引入辅助状态和输入轨迹变量，将原始问题重新表述为两个解耦的块：参数更新（保持与原无约束PB相同的闭环滚动生成结构，通过梯度下降法优化）和可行性投影（将辅助轨迹投影到凸约束集上）。迭代过程中，ADMM协调两个块，使控制器参数更新与约束满足分离。数值验证在两个基准上进行：点质量机器人（避障与速度约束）和三水箱系统（输入与变化率约束）。结果表明，与基于软惩罚的PB基线相比，ADMM-PB在更保守的闭环行为代价下实现了更低的约束违反，且训练更平滑；同时，ADMM-PB可作为后训练细化策略，从软惩罚训练的PB控制器热启动，进一步减少约束违反而不修改控制器架构。该工作发表在《Engineering Applications of Artificial Intelligence》。

**关键技术方法**
为开展研究，作者使用了以下主要关键技术方法：
1. **稳定-by-design神经参数化**：采用循环均衡网络（REN）作为稳定神经算子，保证闭环?_p稳定性（通过内模控制IMC架构）。
2. **交替方向乘子法（ADMM）**：用于处理约束优化，通过引入辅助轨迹变量将问题分解为参数更新与投影步骤。
3. **梯度下降法**：用于参数更新（Adam优化器，带衰减学习率）。
4. **欧几里得投影**：将辅助状态和输入轨迹投影到凸约束集（如箱形约束）。
样本队列来源：点质量机器人的初始状态和扰动采样自高斯分布；三水箱系统的初始状态和扰动采样自均匀分布。

**研究结果**

**5.1 点质量机器人的约束控制**
通过一个点质量机器人基准（避障与速度约束），展示了ADMM-PB相对于软惩罚基线的优势。
**5.1.1 与惩罚基线的比较**
在50个测试场景中，ADMM-PB与基于障碍启发软惩罚的PB基线（使用不同惩罚权重ω）比较。ADMM-PB实现了更低的约束违反指标（V），但代价是更保守的LQ损失（L?LQ）和更慢的收敛速度；而基线在低ω时性能激进但违反严重，高ω时保守。乘积V·L?LQ表明ADMM-PB在性能与约束违反之间取得更优权衡。速度轨迹图显示ADMM-PB的机器人速度更接近约束边界内侧，违反较少。由于扰动无界，两者均未实现完全无违反。
**5.1.2 超参数敏感性分析**
使用Optuna进行贝叶斯优化，以第100次ADMM迭代的原始和对偶残差和为指标。分析表明，τ_inc（ADMM步长增大因子）对残差影响最大，而μ（原始-对偶平衡参数）影响可忽略；初始步长、学习率、τ_dec和γ需合理设置。

**5.2 三水箱系统的约束控制**
以三水箱系统（液位控制、输入与变化率约束）为例，展示了ADMM-PB作为后训练细化策略的能力。首先，用软惩罚训练PB控制器（选择最佳惩罚权重500），然后以该控制器参数热启动ADMM-PB。在20个测试场景中，ADMM-PB使约束相关惩罚项（L_B）降低约20%，输入约束（51a）完全满足，变化率约束（51b）违反减少，同时性能（LQ损失）略微改善约0.27%。这表明ADMM-PB可有效增强基线PB的约束满足能力。

**讨论与结论**
**讨论部分总结**：本文提出的ADMM-PB框架在保留稳定-by-design控制器架构的前提下，通过辅助轨迹变量和投影步骤系统性地处理约束，避免了软惩罚的权重调优问题。数值结果验证了其在约束违反与性能之间的有效权衡，且可作为后训练细化策略。但需注意，ADMM-PB的收敛性尚未严格证明，且稳定性保证独立于ADMM收敛，但约束满足依赖于ADMM收敛。未来工作包括发展收敛理论、处理更复杂约束及在线扩展。

**研究结论翻译**：基于Furieri等人（2024）提出的性能提升方法，本文考虑了在存在规定状态和输入约束的情况下离线训练稳定-by-design神经控制器。为了解决这个问题，研究人员提出了ADMM-PB，一种受ADMM启发的训练程序，通过辅助轨迹变量和投影步骤处理这些约束，而不改变Furieri等人（2024）中使用的控制器结构。因此，得到的控制器仍然属于相同的稳定参数化类，而训练程序提供了一种结构化的机制来促进约束满足。在两个互补基准上的数值验证突出了所提出策略的可能优势，与基于惩罚的约束训练相比，它导致更平滑的训练和更好的约束违反减少与性能提升之间的权衡。测试还表明，ADMM-PB可用于从使用软惩罚训练的PB控制器开始减少约束违反，而不修改底层架构。这一结果开启了将ADMM-PB用作后训练细化策略以增强基线性能提升器的可能性。