基于影响函数与预测安全滤波器校正反馈的LPV系统Q学习控制

《Actuators》：Q-Learning Control for LPV Systems Based on Influence Function and Predictive Safety Filter Correction Feedback

　　

针对实际LPV安全控制中数据质量不佳及PSF后校正过度的问题，本文提出一种融合影响函数与PSF校正反馈的安全Q学习控制方法。首先，引入影响函数（IF）量化单个样本对Q函数更新的影响。通过评估移除每个样本前后损失函数的变化，识别并剔除对策略更新产生不利影响的样本，从而缓解低质量数据对Q函数估计与控制器更新的负面影响。其次，将PSF校正项作为惩罚项纳入代价函数，以引导标称控制动作的学习，降低对PSF干预的依赖。综上所述，所提方法从学习数据清洗与安全校正反馈两个角度改进标称控制策略。在优化LPV系统性能并减少PSF校正次数的同时，仍保证系统安全约束的满足。仿真结果表明，所提方法能够有效提升学习数据质量、减少PSF校正次数，并确保闭环系统的安全性与稳定性。涡轮发动机算例进一步表明，所提方法能够在满足预定安全约束的同时实现稳定调节，验证了其在实际LPV系统中的适用性。

一、研究背景与问题

复杂工程系统的动态特性随运行工况变化而显著变化，传统线性时不变模型难以准确描述系统。线性参数变化（LPV）模型通过调度变量刻画参数变化，能够描述不同工作点处的系统动态，已广泛应用于航空航天、汽车、能源与过程控制系统。然而，现有LPV增益调度控制方法通常依赖精确的系统模型，在存在模型失配、参数不确定性或模型信息不完整时，控制性能可能退化。除传统增益调度方法外，研究人员还探索了多种先进控制策略以增强复杂工程系统的鲁棒性与稳定性。Ullah等针对多源混合动力电动汽车储能系统设计了双积分滑模控制器，并通过Lyapunov分析与仿真评估其稳定性与控制性能；Mansouri等针对受不确定性与变时延影响的非线性LPV系统开发了滑模容错控制策略。这些研究表明复杂系统先进控制策略的持续发展。然而，当精确系统模型难以获取时，为LPV系统开发有效的数据驱动最优控制方法仍是一个重要研究方向。

在数据驱动控制方法中，Q学习因能够利用系统数据优化控制策略而受到广泛关注。针对离散时间线性系统，Kiumarsi、Lewis等提出一种Q学习算法，通过在线学习求解增广代数Riccati方程以实现无模型最优跟踪控制；随后，Rizvi与Lin将该方法推广至输出反馈情形，开发了基于输入输出数据的Q学习算法以求解线性二次调节器问题，即使全状态测量不可用该算法仍能收敛至最优解。Al-Tamimi等提出基于Q学习的H∞控制方法以求解受预定增益约束的复杂优化问题；Kim与Lewis通过最小化增益进一步改进了该方法。这些关于线性系统的研究为LPV系统Q学习控制器设计提供了重要理论基础与有益启示。

然而，Q学习依赖采集数据估计Q函数并更新控制策略，数据质量直接影响学习性能。实际运行中，测量数据不可避免受到测量噪声、传感器异常与工况扰动影响，部分样本可能对Q函数参数估计产生不利影响。因此，有必要量化单个样本对参数估计的影响。影响函数（IF）提供了刻画单样本对参数估计影响的手段，为识别对策略学习不利的数据提供了可行工具。现有面向Q学习的数据清洗方法旨在缓解有害样本对Q函数估计的不利影响，但仅靠数据清洗无法保证闭环运行过程中安全约束的满足。因此，Q学习控制中必须联合考虑学习数据质量与闭环安全性。

对于安全约束控制，Ames等利用控制屏障函数（CBF）以集合的前向不变性表述安全条件，并通过在线优化协调性能目标与安全约束。针对基于学习的控制中的安全问题，Fisac等提出一种可与学习算法集成的安全控制框架，独立安全模块监督基于学习的控制输入并在必要时干预以确保约束满足。在此基础上，Wabersich与Zeilinger提出预测安全滤波器（PSF），利用有限时域预测进行在线评估以判断标称控制输入是否安全，并在无法保证约束满足时施加最小必要校正，从而在确保系统安全运行的同时尽可能保持原控制性能。随后，该类安全保障方法进一步扩展至概率安全认证与预测控制屏障函数。

然而，在LPV系统的Q学习控制中，现有PSF主要通过执行过程中校正控制输入来确保系统安全。如何将PSF引起的校正幅度纳入性能指标以指导后续策略评估与更新，仍是一个开放的研究问题。此外，当控制输入反复需要安全校正时，频繁的PSF干预可能损害控制输入平滑性并增加执行机构负担。据此，本文解决的关键问题是如何利用在线PSF校正信息改进基于清洗后学习数据的Q学习策略评估，使后续策略更新能够考虑实际安全校正需求，在确保LPV系统安全约束满足的同时减少安全干预频率。

为此，本文提出一种基于影响函数与PSF校正反馈的安全Q学习控制方法。主要贡献如下：（1）引入影响函数以减少学习数据中有害样本对策略更新的影响。通过量化单个样本对Q函数参数估计的影响，识别并剔除有害样本，保留的有效数据用于融合PSF校正反馈的策略评估与更新。（2）开发了一种融合PSF安全校正反馈的基于线性矩阵不等式（LMI）的Q学习策略评估方法。将PSF在闭环运行中产生的实际校正项作为惩罚项纳入性能指标，使安全校正信息反馈至后续策略评估与更新，从而逐步降低标称控制策略对PSF校正的依赖。此外，利用系统可用安全裕度使标称控制输入按性能要求逼近约束边界，从而平衡控制性能与安全约束。

二、关键技术方法

研究人员针对离散时间LPV系统开展研究，主要采用以下关键技术方法：构建含PSF校正反馈惩罚项的无限时域二次性能指标，并基于Lyapunov函数推导性能上界；定义与Q函数二次结构一致的Q函数并将损失函数表示为关于未知参数的线性形式；引入影响函数量化单样本对Q函数参数估计的影响，通过一阶Taylor展开建立影响值与单样本移除的关系以识别并剔除有害样本；将控制器设计问题转化为基于LMI的可处理半定规划（SDP）问题求解参数矩阵并导出标称控制策略；采用PSF通过有限时域预测在线评估标称控制输入并在必要时施加最小校正，同时保留备用轨迹；最后通过数值仿真与三输入七输出涡轮发动机算例验证方法有效性（系统状态、控制输入与输出均归一化，调度变量定义为）。

三、研究结果

（1）Q学习数据清洗：通过影响函数评估各学习样本对Q函数估计的影响，识别并剔除有害样本，保留样本用于Q函数参数矩阵估计与策略更新。结果表明影响函数能够有效评估单样本影响、剔除有害学习样本，从而提升学习数据质量。

（2）基于PSF校正反馈的Q学习控制器设计：通过将PSF校正项纳入性能指标并基于LMI构建SDP问题求解参数矩阵，导出标称控制策略，标称输入仍由PSF校正。结果表明安全校正信息可参与后续策略更新。

（3）算法流程：通过迭代执行数据采集、PSF校正、影响函数清洗、策略评估与改进直至收敛准则满足，结果表明算法能够稳定收敛。

（4）渐近稳定性分析：通过Lyapunov稳定性定理与策略迭代分析，在初始策略稳定、SDP可行且存在对称正定矩阵满足条件的假设下，证明更新策略仍能稳定LPV闭环系统。结果表明约束满足本身不足以保证闭环稳定性，仍需满足稳定性条件与相关假设。

（5）数值仿真：通过四种方法对比与消融研究，结果表明常规Q学习无法严格保证控制输入始终满足安全约束，仅IF方法仍存在输入约束违反，PSF方法与所提方法均能将输入保持在安全范围内，且所提方法瞬态响应更平滑；影响函数清洗后各迭代保留样本数变化（仅IF方法依次保留33、29、34个样本，IF-PSF方法依次保留27、24、35、35个样本）；所提方法PSF校正次数由30降至21，减少约30%；与CBF对比表明PSF能更充分利用安全裕度使控制输入逼近约束边界；性能上界快速下降并收敛至。

（6）涡轮发动机算例：通过闭环响应分析，结果表明低压与高压转子转速逐渐收敛至稳态值，三个控制输入在瞬态调整后逐渐逼近稳态值并始终处于允许范围内，发动机输出满足温度约束且各变量在暂时逼近安全边界后逐渐回归稳态值，验证了PSF在满足安全约束的同时充分利用可用安全裕度。

四、讨论与结论

研究结果表明，将基于影响函数的数据清洗与PSF校正反馈集成到Q学习控制框架中，为解决LPV系统中有害学习样本与频繁安全干预问题提供了有效途径。结果表明，所提方法能够在提高Q函数估计可靠性的同时减少PSF校正次数，且不损害闭环稳定性或预定的状态、输入与输出约束。数值仿真进一步表明，所提方法能够有效利用可用安全裕度并减少不必要的PSF干预。涡轮发动机算例证实该方法具有实际适用性，能够在代表性LPV系统中实现稳定调节与约束满足。这些结果表明，将学习数据清洗与安全校正反馈相结合，为提升数据驱动LPV控制系统的安全性与控制性能提供了一种可行途径。