具有不对称输入约束的连续时间非线性系统的事件触发无模型控制：一种Q学习方法

《Journal of the Franklin Institute》：Event-Triggered Model-Free Control for Continuous-Time Nonlinear Systems With Asymmetric Input Constraints: A Q-Learning Approach

　　摘要
本文研究受非对称输入约束和不匹配干扰影响的连续时间非线性系统的最优控制问题。为严格满足非对称约束，文中构建了非二次型价值函数，确保控制输入始终处于规定的非对称范围内。同时引入事件触发机制以减少冗余数据传输、降低网络负载，从而实现仅在事件触发时更新控制策略。基于贝尔曼最优性原理，在该机制框架下建立了哈密顿-雅可比-艾萨克斯方程。与现有方法不同，本文通过自适应迭代将Q学习算法应用于连续时间非线性系统，无需完整的系统模型。借助梯度下降法通过自适应权重更新训练单个评价神经网络。理论分析表明闭环系统中所有信号均具有均匀最终有界性。仿真结果验证了所提方法的有效性。

引言
随着人工智能、大型模型及物联网等智能技术的快速发展，网络控制系统因其便捷性、高效性和易操作性，已成为现代控制领域的重要研究方向[1][2][3]。这类系统现已广泛应用于交通网络、汽车工业、电力设备以及无人机等领域[4][5]。在实际应用中，由于系统本身的复杂性以及易受意外干扰的影响，这些系统往往表现出强烈的非线性特征。在此背景下，自适应动态规划作为一种新的智能控制方法，近年来受到了学术界和工业界的广泛关注。它通过结合最优性原理与自学习机制，能够有效应对复杂挑战。自适应动态规划框架通常以价值迭代或策略迭代作为计算基础，已被用于解决最优跟踪控制[6]、博弈论应用[7]等多种控制问题。值得注意的是，研究兴趣已从离散时间系统扩展到连续时间系统。

然而，连续时间系统的控制问题依赖于精确的系统模型，而这类模型在复杂的实际应用中往往难以获得。虽然基于自适应动态规划的最优控制方法可将问题转化为求解哈密顿-雅可比-艾萨克斯方程，但该偏微分方程的固有非线性和高维性给求解带来了巨大挑战。强化学习则提供了一种强大的替代方案，它允许智能体通过试错交互直接学习最优策略。传统监督学习是在预标记数据集上训练模型，而无监督学习则侧重于从未标记数据集中挖掘隐藏模式。作为一种独特的范式，强化学习突破了监督学习和无监督学习的局限，通过与环境进行试错交互以最大化累积奖励，从而成为机器学习三大支柱之一，尤其适用于未知环境中的自适应优化。

作为强化学习中经典的模型自由时差算法[8]，Q学习通过与环境交互直接学习最优策略。此外，Q学习还支持持续在线适配，即使在高度动态的环境中也能保持稳定的控制性能。近期研究展示了Q学习的广泛应用，例如开发了增强型系统框架以解决非仿射非线性离散时间系统中的最优跟踪问题[9]，以及基于确定性原理的动态逆Q学习框架用于离散时间非线性系统的最优控制[10]。此外，Q学习还被应用于离散时间多智能体系统，通过解决未知耦合增益矩阵的问题来实现一致性[11]。尽管这些研究在离散时间框架下取得了显著进展，但由于求解微分方程的难度以及稳定性分析的复杂性，将Q学习扩展到连续时间非线性系统仍具有巨大潜力[12][13][14]。这正是我们研究连续时间非线性系统的动机。

由于意识到网络控制系统中通信资源有限，人们开始研究通信效率优化方法。为提升资源利用效率和信息利用率，事件触发机制被提出用于调控数据传输[15][16]。该机制仅在满足预定触发条件时才允许信号传输，从而大幅减轻网络的通信负担。因此，事件触发机制在控制领域得到了广泛应用。例如，有用于稳定非线性系统的新型事件触发区间脉冲控制策略[17]，有用于处理非线性系统执行器故障的事件驱动广义成本控制方法[18]，还有针对特定类型纯反馈非线性系统的自适应事件触发控制方案[19]。虽然这些研究证明了事件触发机制在稳定任务中的有效性，但它们大多集中在传统控制框架上，尚未与强化学习算法相结合。这一不足促使我们开展本研究，探索Q学习与事件触发机制的协同作用，以实现更优异的控制性能。

在实际工程应用中，设备约束和外部干扰是影响系统性能的关键因素，也是许多学者研究的重点[20][21][22]。其中，非对称约束和不匹配干扰尤为特殊。非对称约束的特点是正负方向上的变量界限不同，这使得包括饱和函数和对称惩罚项在内的传统对称约束处理方法几乎无效。为此，戴等人提出了非对称约束映射函数，可在不违反延迟全状态非对称约束的前提下解决性能问题[23]。王等人则采用障碍李雅普诺夫函数加误差变换的方法，实现了对非对称时变输出约束的处理[24]。与匹配干扰不同，不匹配干扰是通过与控制输入不同的通道进入系统的，因此无法通过控制律直接抵消，这大大增加了控制器设计的难度。已有大量研究致力于在不同领域抑制不匹配干扰，常用的控制策略包括干扰观测器设计、补偿控制、反馈控制等[25][26]。在这种情况下，最优控制问题可转化为约束输入空间内的零和博弈。为严格满足非对称边界约束，非二次型性能指标至关重要。由此衍生的哈密顿-雅可比-艾萨克斯方程在数学结构上具有高度非线性和非对称性，难以通过解析或传统方法求解。

尽管取得了上述进展，但在网络控制系统框架下，同时考虑非对称输入约束和不匹配干扰并实现模型自由最优控制，仍然是一个充满挑战的开放性问题。尽管基于强化学习的控制方法已取得显著进展，但在连续时间非线性系统中，如何同时应对通信效率、执行器饱和以及未建模干扰，依然是一项艰巨任务。现有的Q学习框架通常假设输入边界是对称的或干扰是匹配的，这限制了其在具有非对称约束和不匹配干扰的复杂工程场景中的应用。基于以上分析，本文提出了一种结合事件触发机制的Q学习框架，旨在在严格的资源和物理约束条件下实现系统稳定性。本研究的主要贡献如下：
1）尽管Q学习在离散时间系统中已较为成熟，但其应用于连续时间非线性系统时往往受到求解微分方程复杂性的阻碍[9][10]。本文提出了一种连续时间Q学习算法，有效避免了了对系统动态特性的先验知识依赖。我们设计了分离结构的单评价神经网络架构来近似Q函数，相比传统的多网络设计，该结构能够在简化训练流程的同时处理多组分效用函数。
2）为降低通信负载并优化资源利用，本文将事件触发机制整合到Q学习迭代过程中。虽然传统的实时Q学习更新方案[14][27]能够实现稳定的控制性能，但会带来冗余的数据传输。本方法使系统在网络环境中既能保持最优性能，又能显著降低通信负荷。
3）与以往研究[12][13]不同，本文充分考虑了非对称输入约束和不匹配干扰的影响。通过特定的非二次型函数，我们严格保证了控制指令始终处于规定的非对称范围内。通过将Q函数分解为具有明确意义的子项，可近似得到非对称控制增益和不匹配干扰增益，进而解决未知模型的输入和干扰问题。

后续章节安排如下：第二节阐述系统动力学，详细说明非对称输入约束和不匹配干扰，并介绍事件触发机制及其稳定性分析；第三节构建Q学习迭代算法，推导最优控制对，并建立算法稳定性保障；第四节通过数值仿真和性能评估验证理论框架；最后，第五节总结全文并提出未来研究方向。

系统描述
我们研究的连续时间非线性网络控制系统定义为：
x˙(t)=?(x(t))+?(x(t))u(t)+h(x(t))w(t)，
其中x(t)∈Rn表示系统的状态向量，u(t)∈Rm为控制输入，属于集合U={(u1,u2,u3,...,um)?∈Rm∣ua≤ui≤ubi=1,2,3,?,m,|ua|≠|ub|}，ua和ub分别表示ui的下限和上限；w(t)∈Rp为不确定的外部干扰，属于L2[0, ∞)空间；?(x)∈Rn、?(x)∈Rn×m和h(x)∈Rn×p则是网络控制系统中的未知连续非线性项。

事件触发连续时间Q学习
在实际情况中，获取全面的系统模型面临巨大挑战，因此能够适应动态不确定性的模型自由方法至关重要。本研究基于Q学习框架开发了一种适用于连续时间非线性系统的自适应模型自由控制器，无需明确了解系统或干扰的动态特性。尽管Q学习避免了了对精确系统动力学模型的需求，但该方法本身也存在一定局限性。

仿真示例
我们通过一个数值示例来验证该方法的有效性。考虑以下具有非线性函数的连续时间非线性系统：
?(x)=[?x1+x2?0.5x1?0.5x2(3?cos2(x1))2]，
?(x)=[0sin(2x1)]，
h(x)=[cos(4x1)0]，
其中x=[x1,x2]?∈R2，初始状态为x0=[0.5,?0.3]?。控制输入受非对称饱和约束，即?2?≤?u?≤?3（ua=?2，ub=3）。在仿真中，设定P=I，σ=1。评价神经网络的学习率设为λc=0.1，激活函数选为[x12, x1x2, x22, x1u, x2]。

结论
本文提出了一种适用于具有非对称输入约束和不匹配干扰的连续时间非线性系统的事件触发模型自由Q学习控制方法。所提出的事件触发机制有效降低了通信资源消耗。同时，通过新的非线性饱和函数，可严格保证控制输入满足规定的非对称约束。此外，本文还提出了一种新颖的分解式单评价神经网络架构，用于近似Q函数。

CRediT作者贡献声明
胡冰：写作——审阅与编辑，写作——初稿，监督，资源提供。范达：写作——审阅与编辑，写作——初稿，验证，方法设计。赵丽娟：写作——初稿，方法设计，研究实施，概念构建。刘健：写作——审阅与编辑，监督，资源提供。刘金良：监督。

利益冲突声明
作者声明不存在任何可能影响本文工作的已知财务利益或个人关系。

胡冰 | 范达 | 赵丽娟 | 刘健 | 刘金良