《Communications in Nonlinear Science and Numerical Simulation》:Ensemble based Closed-Loop Optimal Control using Physics-Informed Neural Networks
编辑推荐:
本文提出基于集合的闭环物理信息神经网络框架,通过复合损失平衡HJB残差约束与边界条件,直接从价值梯度恢复反馈策略。实验表明该方法在非线性高维系统(如单摆)中价值函数误差最低,策略恢复更准确,且无需额外惩罚项。与约束嵌入、动态规划基线对比,在多数非线性场景表现最优,部分线性问题与约束嵌入方法竞争。
Jostein Barry-Straume|Adwait D. Verulkar|Arash Sarshar|Andrey A. Popov|Adrian Sandu
美国弗吉尼亚理工大学计算机科学系,布莱克斯堡,VA 24060
摘要
基于物理的神经网络为求解哈密顿-雅可比-贝尔曼(HJB)方程提供了一种可扩展的替代方案,但对于非线性系统和无限视界目标来说,稳定训练和准确恢复反馈策略仍然具有挑战性。本文提出了一种集成闭环物理感知框架,该框架通过最小化HJB残差损失来学习成本函数的可微近似值,并从价值梯度中恢复反馈策略。参考解决方案——对于线性-二次调节器使用解析方法,对于其他情况使用数值方法——用于启动训练并定量评估价值和策略误差。研究范围涵盖了线性-二次调节、高维立方动力学以及小车-杆和摆系统,并与通过功能连接理论实现的硬约束嵌入、贝尔曼一致性演员-评论家神经基线和价值迭代方法进行了比较。消融实验分离了启动训练和边界条件的影响,残差权重调度则表征了价值学习和策略恢复之间的权衡。在各种基准测试中,所提出的方法在非线性摆系统上表现最为出色,相对于动态规划基线实现了最低的价值函数误差和更高的策略准确性,而约束嵌入方法在某些线性-二次情况下仍然更有效。
引言
最优控制旨在寻找在最小化预定性能指标的同时引导动态系统的反馈律[1],[2]。对于非线性系统,哈密顿-雅可比-贝尔曼(HJB)偏微分方程提供了最优成本函数和相关最优反馈策略的原则性描述。实际上,只有有限问题类别才能得到HJB的封闭形式解[3],而数值方法通常需要离散化状态空间。这种离散化会导致随着维度的增加而呈指数级增长(维度的诅咒),使得高维最优控制问题在计算上变得非常困难[4],[5],[6]。
知识引导的机器学习方法,特别是基于物理的神经网络(PINNs),通过使用神经代理表示价值函数并通过自动微分来强制执行控制方程[7],[8],[9],提供了一种替代方案。当应用于HJB问题时,PINN风格的训练可以避免使用固定网格,并利用现代的批量处理和优化技术。然而,对于非线性动力学和无限视界目标来说,稳定执行HJB残差以及从价值梯度中可靠地恢复反馈策略仍然具有挑战性。先前的工作已经探索了稳定惩罚项[10],[11],[12]以及减少对显式边界损失依赖的约束嵌入公式[13]。
本工作的重点在于,并不是声称HJB/PINN训练通常不需要额外的“稳定器”或正则化项。相反,所报告的实验使用科学机器学习中常见的实用机制(基于参考的启动初始化、边界/锚点条件以及计划的残差加权)获得了稳定的优化结果,而没有引入额外的特殊惩罚项。这种定位使该方法与之前的稳定策略保持一致,同时也明确了此处提出的主张的范围。
本文开发了一种用于静态(时不变)无限视界最优控制的闭环集成物理感知框架。通过最小化一个综合损失来学习最优成本函数的可微近似值,该损失平衡了边界条件和HJB残差的执行,同时直接从价值梯度中恢复反馈策略。通过训练多个价值网络并聚合它们的控制信号来提高鲁棒性;除了简单的集成平均值外,还引入了一种排除极端控制建议的异常值鲁棒聚合规则,当这些控制信号在分布中回归时允许重新整合。该方法直接针对静态无限视界HJB方程,而不需要使用有限视界的替代目标,并通过消融实验和基准测试比较来表征启动、边界条件和残差权重调度的影响。
本文的其余部分组织如下:第2节概述了机器学习在最优控制中的应用;第3节回顾了最优控制和HJB的背景;第4节介绍了用于静态HJB方程的集成PINN公式及相关闭环控制策略;第5节报告了计算实验、消融分析和基准测试比较;第6节进行了总结并概述了未来的研究方向。
机器学习与最优控制
机器学习越来越多地被用于近似最优控制的价值函数、策略和模型组件,特别是在经典动态规划变得不切实际的情况下。本节简要回顾了激发所提出的基于物理感知和集成的方法的代表性方向。
最优闭环控制
为了说明所提出的方法,简要回顾了闭环最优控制问题的表述(第3.1节)、动态规划和哈密顿-雅可比-贝尔曼(HJB)方程(第3.2节)以及庞特里亚金最大原理和哈密顿量(第3.3节)。对于希望深入了解非线性最优控制的读者,可以在[4,第3章,第75页]和[3,第12章,第469页]找到全面的介绍。
具有二次成本的时间不变仿射控制问题
以下内容关注具有控制仿射系统动力学的自主系统:
其中
f1(
x) 表示状态依赖的动力学,
f2(
x) 表示控制对动力学的影响。
f1 和
f2 都是非线性函数。
对于控制目标,考虑了二次运行成本:
其中
Q 和
R 是分别惩罚状态和控制信号的正定矩阵。二次成本是控制领域中广泛使用的一种选择。
计算实验
为了评估所提出的方法,对一系列基准最优控制问题进行了计算实验,包括:(i) 具有封闭形式解的非线性系统;(ii) 中等维度的连续时间线性二次调节器(LQR);(iii) 标准机械基准(小车-杆和摆系统)。具体来说,基准测试包括:
Nonlinear2D:Dierks等人[11]中提出的两状态非线性分析基准,详见方程(36)。
LQR:
结论
本文提出了一种用于无限视界最优控制的集成闭环物理感知神经控制框架。该方法通过最小化静态哈密顿-雅可比-贝尔曼(HJB)残差来学习成本函数的可微近似值,并直接从价值梯度中恢复反馈策略。通过训练多个网络并聚合它们的控制信号来提高鲁棒性;特别是考虑了一种异常值鲁棒的集成平均值,以避免某些极端控制建议。
未引用的引用
缺少图4和图5的引用
CRediT作者贡献声明
Jostein Barry-Straume:形式分析、研究、方法论、软件、验证、撰写——原始草稿、审阅与编辑。
Adwait D. Verulkar:数据整理、方法论、软件、验证、撰写——原始草稿。
Arash Sarshar:概念化、形式分析、方法论、监督、撰写——审阅与编辑。
Andrey A. Popov:概念化、方法论、监督、撰写——审阅与编辑。
Adrian Sandu:概念化、资金获取
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。
在准备这项工作时,作者使用了OpenAI的ChatGPT来帮助制定所提出方法的形式化符号及其基本概念。使用该工具/服务后,作者根据需要审查和编辑了内容,并对内容负全责。