具有闭环耗散特性的神经网络控制器综合方法

《Automatica》：Synthesizing neural network controllers with closed-loop dissipativity guarantees

　　摘要：本文提出了一种合成神经网络控制器的方法，旨在在反馈系统具有耗散性的严格约束下最大化奖励，同时确保系统的稳定性及L2增益界限等特性。该方法适用于非线性且存在不确定性的被控对象，这类系统可表示为线性时不变系统与包含非线性项的不确定性模块的互连结构。被控对象的不确定性以及神经网络的激活函数均通过积分二次约束来描述。首先为不确定的线性时不变系统推导出耗散性条件，进而利用该条件构建线性矩阵不等式，用于合成神经网络控制器。最后，将该凸优化条件结合基于投影的训练方法，用于合成具有耗散性保证的神经网络控制器。文中通过倒立摆和滑车上的柔性杆等数值示例，验证了该方法的有效性。

引言：由于能够表现复杂的非线性行为，神经网络在控制领域取得了显著进展，尤其在强化学习应用中表现突出。神经网络控制器已被应用于诸如摆杆摆动控制、行走控制以及多自由度机械臂控制等任务（Lillicrap等人，2016年）。然而，通过传统强化学习技术训练得到的神经网络控制器对输入敏感，且可能表现出意外行为。在安全至关重要的应用中，这一问题更为突出，因此人们开始研究安全的神经网络控制方法，这类方法旨在在充分利用神经网络表达能力的同时，为其提供形式化的性能保证。现有研究方法主要分为两类：一类侧重于验证包含神经网络的闭环系统的特性，这类方法不对神经网络的合成方式做任何假设；Yin等人（2022年）、Hashemi等人（2021年）以及Pauli等人（2021年）提出了验证神经网络反馈系统渐近稳定性或寻找其吸引域内点的方法。另有研究则分析由神经网络建模的动态系统本身的特性：Barabanov和Prokhorov（2002年）利用线性矩阵不等式技术分析循环神经网络平衡点的稳定性，而Sontag（1998年）则研究了循环神经网络的逼近能力、可控性及可观测性。这些研究成果可通过将控制器与被控对象的互连关系建模为神经网络，从而用于验证神经网络控制器的闭环特性。不过，由于固定被控对象参数所带来的结构限制，这类用于验证闭环特性的方法并不一定适用于神经网络控制器的合成。另一类方法则致力于同时合成神经网络控制器并证明其闭环特性，常用技术包括通过投影方法强制满足线性矩阵不等式约束（Gu等人，2022年；Junnarkar等人，2022年），以及利用Youla-Kucera参数化方法在基础控制器基础上添加神经网络控制器（Wang等人，2023年；Barbara等人，2023年；Lawrence等人，2024年）。此外还有Jin和Lavaei（2020年）通过限制神经网络输出对其输入的偏导数大小，以及Zhou等人（2024年）运用可满足性模块理论来保证闭环稳定性。上述合成方法在控制器模型和被控对象类型上存在差异：控制器模型从循环神经网络（Gu等人，2022年；D’Amico等人，2023年）到无记忆前馈神经网络（Jin和Lavaei，2020年；Lawrence等人，2024年；Zhou等人，2024年），再到利用隐式神经网络模型的控制器（Junnarkar等人，2022年；Wang等人，2023年；Barbara等人，2023年，后者涵盖了前两类模型）。有些方法仅适用于线性时不变被控对象（Wang等人，2023年；Lawrence等人，2024年），而另一些方法则能处理非线性或存在不确定性的被控对象（Barbara等人，2023年；Zhou等人，2024年），其中常见的处理方法是将被控对象分解为线性时不变部分，以及用积分二次约束或利普希茨界限来抽象表示的非线性部分（Gu等人，2022年；Junnarkar等人，2022年；Jin和Lavaei，2020年）。在安全的神经网络控制研究中，控制器合成方法的计算可行性是一个重要考量因素。Gu等人（2022年）和Junnarkar等人（2022年）采用的方法是在每次强化学习参数更新后，通过求解半定规划将控制器参数投影到安全集合中。Pauli等人（2022年）指出，可以利用屏障函数方法将受半定规划约束的训练问题转化为无约束训练问题。Wang等人（2023年）和Barbara等人（2023年）则采用无约束梯度下降法。本文提出了一种方法，用于为特定类型的非线性且存在不确定性的被控对象合成神经网络控制器，从而保证闭环系统的耗散性并最大化奖励。闭环耗散性要求有助于确保系统的稳定性、抗干扰能力的L2增益界限，以及用于互联系统时的被动性等特性。奖励函数则可用于体现其他辅助性能指标或调节控制器行为。其中，保证闭环耗散性是硬性要求，而最大化奖励则是软性目标。我们将被控对象建模为线性时不变系统与不确定性和非线性因素的互连结构，其中的不确定性可用于描述因使用降阶模型而产生的未建模动态效应。由于我们用积分二次约束来同时描述非线性和不确定性（Megretski和Rantzer，1997年），因此这里用“不确定性”一词来涵盖“非线性”概念。长期以来，人们一直致力于利用积分二次约束描述不确定性，并通过线性矩阵不等式优化来实现对由线性时不变系统与不确定性构成的被控对象的控制（Boyd，1994年）。例如，Veenman和Scherer（2014年）研究了不确定线性时不变系统的H∞控制问题，而Wang等人（2016年）则进一步探讨了具有线性时变参数的不确定系统的H∞控制问题，这两项研究均采用了线性时不变控制器。Veenman等人（2016年）全面总结了利用积分二次约束和线性矩阵不等式分析不确定线性时不变系统的方法，并以H∞控制为例进行了说明。在建模神经网络控制器时，我们采用了隐式神经网络模型——这种模型涵盖了多种常见的神经网络架构，包括全连接前馈网络（El Ghaoui等人，2021年）。为便于分析，基于隐式神经网络的带记忆控制器可被建模为不确定线性时不变系统，其中的“不确定性”部分由激活函数构成。本文给出了当不确定性由积分二次约束描述时，不确定线性时不变系统具备耗散性的充分条件。我们利用这些条件推导出了神经网络控制器与其对应的不确定线性时不变系统反馈系统具备耗散性的充分凸优化条件。此外，我们还提出了一种训练神经网络控制器的方法，该方法能在保证耗散性条件的同时最大化奖励函数。通过倒立摆和滑车上的柔性杆等仿真示例，我们展示了所提控制器的优势。我们的主要贡献在于，通过耗散性这一统一框架，同时保证了控制器对外部干扰的抵抗能力以及对模型不确定性的抵抗能力。与Gu等人（2022年）仅考虑被控对象的不确定性和稳定性不同，我们的方法能够处理更广泛的动态系统类型，并且还能通过耗散性框架实现抗干扰能力保障。与Jin和Lavaei（2020年）仅通过带记忆的无记忆神经网络控制器实现状态反馈来处理被控对象的不确定性和稳定性不同，我们的方法采用了更具动态性、支持输出反馈、具备更强抗干扰能力，且对神经网络结构要求更宽松的控制器模型。与Junnarkar等人（2022年）仅研究具有分段界定非线性特性的被控对象的稳定性不同，我们的方法对非线性和不确定性采用了更灵活的描述方式，同时也具备了更好的抗干扰能力。与Wang等人（2023年）和Barbara等人（2023年）仅研究线性时不变或非线性被控对象的抗干扰能力不同，我们的方法能够处理更广泛的被控对象和不确定性类型，而且与Barbara等人（2023年）的不同之处在于，我们不假设存在稳定的基础控制器。本文的其余结构如下：第2节介绍被控对象和控制器模型，以及不确定性的表征和性能要求；第3节给出验证耗散性的条件；第4节推导出与第3节条件等价的凸优化条件，并介绍一种结合强化学习与线性矩阵不等式来合成控制器的方法；第5节通过倒立摆和滑车上的柔性杆的仿真示例，展示控制器合成方法的实际效果。我们用符号R≥0表示非负实数集，L2n表示从R≥0到Rn的所有平方可积函数构成的空间，L2en则表示对于所有T>0，其在区间[0,T]上均为平方可积的从R≥0到Rn的函数构成的空间。如果上下文已经明确，我们就省略表示函数定义域维数的上标。我们用粗体符号表示信号，用普通字体表示点，例如xp表示L2enp中的元素，而xp则表示Rnp中的元素。为简洁起见，当y后面的表达式较为复杂时，我们用(?)?Xy来表示y?Xy。