基于物理信息神经网络的具控制相关噪声的稀疏遍历控制

《Electronics》：Sparse Ergodic Control with Control-Dependent Noise via Physics-Informed Neural Networks

　　

稀疏遍历控制在资源受限的情况下为长期随机决策提供了一个自然的框架。然而，现有的模型通常局限于具有控制无关扩散的控制仿射系统。当扩散系数显式依赖于控制输入时，相关的遍历哈密顿-雅可比-贝尔曼 (HJB) 方程由于 t?r?[???(??, ??)?²??] 项而变得不可分离，因此基于控制仿射可分性的经典论证不再直接适用。在这项工作中，研究人员在粘性解和基于学习的框架内，研究了具有控制相关扩散和非线性动力学的随机系统的稀疏遍历控制。为了处理不连续的 ??₀ 型稀疏惩罚，研究人员引入了平滑的非凸稀疏逼近，该方法在保持可微性的同时保留了稀疏阈值行为。在粘性解框架内，研究人员分析了相关遍历对的适定性，并建立了平滑逼近的局部近似误差估计。研究人员进一步表征了在具有控制相关噪声的非仿射随机系统中，所得最优反馈策略的准阈值稀疏结构。在计算方面，研究人员开发了一种基于物理信息神经网络 (PINN) 的求解器，采用自适应残差驱动采样来处理高维稀疏遍历 HJB 方程，并针对弱耦合多智能体系统提出了一种分布式单调启发式迭代方案。在多机器人集群导航和可再生能源集成智能电网控制上的数值实验表明，所提出的方法能够生成稀疏控制策略，同时在随机干扰下保持稳定的长期性能。

稀疏遍历控制为资源约束下的长期随机决策提供了一种自然的理论框架。然而，现有的理论模型通常局限于控制无关扩散的仿射系统。当随机系统的扩散系数显式依赖于控制输入时，相关的遍历哈密顿-雅可比-贝尔曼 (HJB) 方程会因为 t?r?[???(??, ??)?²??] 项的出现而变得不可分离，导致基于仿射可分性的经典论证方法失效。针对具有控制相关扩散和非线性动力学的随机系统，开展稀疏遍历控制的研究对于拓展随机最优决策理论的适用边界具有重要意义。在此背景下，研究人员开展了相关理论与算法研究，提出了一种在粘性解和基于学习的统一框架下解决该问题的方案，并证实了所提出的方法能够在随机干扰下生成稀疏控制策略且保持长期稳定性能。该成果发表在《Electronics》期刊上，为解决非线性非仿射随机系统的长期决策问题提供了新思路。

在关键技术方法方面，研究人员主要采用了以下几种方法：首先，针对不连续的 ??₀ 型稀疏惩罚，引入了平滑的非凸稀疏逼近方法；其次，在粘性解理论框架下对遍历对的适定性进行理论分析；计算层面，开发了结合自适应残差驱动采样的基于物理信息神经网络 (PINN) 的求解器；针对弱耦合多智能体系统，设计了分布式单调启发式迭代方案；并通过多机器人集群导航与可再生能源集成智能电网控制的数值实验验证了算法有效性。

在研究结果部分，研究得出了以下几项重要结论：

平滑稀疏逼近与粘性解分析：通过引入平滑非凸稀疏逼近来处理原有的不连续惩罚项，研究人员在粘性解框架内进行了深入分析。研究得出结论，该方法不仅保留了所需的稀疏阈值行为，还证明了相应遍历对的存在性与唯一性，并成功建立了平滑逼近的局部近似误差估计，为后续的数值计算奠定了坚实的理论基础。

最优反馈策略的稀疏结构表征：针对具有控制相关噪声的非仿射随机系统，研究人员对导出的最优反馈策略进行了理论推导。结果表明，在此类复杂系统中，最优反馈策略表现出一种准阈值稀疏结构。这一发现揭示了控制相关噪声如何本质地影响最优决策的稀疏性特征。

基于PINN的求解器与迭代方案开发：为了求解高维稀疏遍历 HJB 方程，研究人员开发了一种基于物理信息神经网络 (PINN) 的计算求解器，该求解器集成了自适应残差驱动采样技术。在此基础上，针对弱耦合多智能体系统，进一步提出了分布式单调启发式迭代方案。研究表明，这些计算方法能够有效应对高维和非仿射带来的计算瓶颈。

数值实验验证：为了评估所提方法的实际效能，研究人员在多机器人集群导航和可再生能源集成智能电网控制两个场景下进行了数值实验。结果证实，所提出的计算方法不仅能够成功生成稀疏控制策略，而且在持续遭受随机干扰的环境下，依然能够维持系统长期运行的稳定性能。

在总结讨论与研究结论部分，研究人员指出，本研究成功突破了传统稀疏遍历控制局限于控制仿射系统的假设，在具有控制相关扩散的更广泛随机系统中实现了有效控制。研究结论表明，通过结合平滑非凸稀疏逼近与基于 PINN 的计算架构，能够有效求解由于控制相关噪声导致不可分离的高维遍历 HJB 方程。所提出的准阈值稀疏结构和相关计算方案，为多机器人系统与智能电网等复杂领域的资源约束随机决策提供了理论与计算工具。