基于稳定性约束的增量学习方法，结合可行性引导的数据选择，以实现鲁棒的遥控水下机器人控制

《ISA Transactions》：Stability-constrained incremental learning for robust ROV control with feasibility-guided data selection

　　包石|欧永生|赵国亮|王德刚•稳定性约束的强化学习能够在有限示范下实现高级ROV控制。•行为可行性预测器能够利用稀疏的人类反馈在干扰环境下选择可行的状态-动作对。•稳定性约束强化学习在仿真及真实的BlueROV2实验中提升了跟踪的鲁棒性及数据效率。

引言
遥控潜水器在海洋开发、边境监视和环境监测等任务中发挥着越来越重要的作用，而稳定性则是确保任务执行精度和系统安全的核心技术[1]、[2]。出色的稳定性使ROV能够抵抗水流干扰并保持稳定姿态，从而实现高效的自主操作。尤其是在深海资源勘探中，控制系统的稳定性决定了ROV是否能在极端条件下长期安全运行。因此，ROV的稳定性控制具有重要的研究价值。

目前的研究表明，基于示范学习的方法在机器人技能获取方面展现出良好的性能[3]、[4]、[5]。特别是在水下机器人运动控制领域，由于不需要复杂的动态模型，这类方法受到了广泛关注[6]、[7]、[8]。然而，现有研究大多侧重于其在技能学习方面的优势，往往忽视了示范学习的固有局限性，比如它严重依赖高质量的专家示范，且在动态环境中存在自我修正和持续优化的难题。更确切地说，示范学习方法主要致力于在给定示范范围内拟合策略，其训练数据分布具有高度的局部重复性。这一特性对于在未知环境中实现ROV的稳定学习来说是个问题，因为它从根本上限制了策略对环境变化的适应性。

如图1所示，仅通过三个示范“S”训练得到的策略在跟踪轨迹“β”时准确度较低。相反，仅通过三个示范“β”训练得到的策略也难以准确再现轨迹“S”。这一问题源于任务的固有多样性和复杂性，这些往往难以通过有限的示范完全捕捉，从而导致训练数据分布不足以支持有效的策略泛化。虽然从理论上可以在新环境中重新创建这些示范，但在实际操作中获取此类数据往往成本更高且更具挑战性。

增量学习作为一种机器学习方法，使得机器人能够不断从现实经验中学习，优化神经网络，而无需过度依赖专家示范。这项技术也常被称为持续学习或终身学习，彼此之间没有严格的区分[14]。在本文中，这些术语将可以互换使用。尽管在增量学习方法的研究上已经取得了显著进展，但大多数方法都是为物体识别而开发的，虽然这很重要，却不足以适应动态环境。尤其是在动态干扰下，传统的定量评估方法对波动极为敏感，容易将短期抖动误认为是执行错误，从而扭曲误差评估结果。这无疑给新知识的选择和增量学习过程带来了挑战。

因此，本文提出了一种用于ROV控制的稳定性约束增量学习框架，旨在通过结构化的增量学习和基于可行性的数据选择，在有限示范下实现稳定性约束下的策略改进。其贡献在于解决在需要从有限示范中更新和扩展策略的同时保持预定稳定性约束结构的稳定策略优化问题。与固定结构的稳定估计器或基于李雅普诺夫/CLF正则化的神经控制器不同，所提出的框架将稳定性保持关系嵌入到策略参数化中，并通过竞争式点/块增量增长来调整模型容量。结合基于可行性的数据选择，这使得在干扰条件下进行策略优化时能够更有选择地重用历史交互数据。主要贡献总结如下：
•一种用于在有限示范下实现高级ROV控制的稳定性约束增量学习策略——稳定性约束强化学习。该策略结合了受李雅普诺夫理论启发的策略参数化以及混合式点/块更新机制，实现了在预定稳定性约束策略类别内的结构保持型策略优化与扩展，从而逐步提升性能。
•一种用于在干扰环境下高效优化策略的行为可行性预测器。该预测器通过稀疏的人类反馈学习，识别出行为上可行的状态-动作对，重塑有效的训练数据分布，减少不可行样本的影响，同时无需施加额外的严格安全约束。
•一种将稳定性约束下的策略发展与基于可行性的数据选择相结合的集成式稳定优化框架。该框架在仿真及真实的BlueROV2平台上进行了测试，与典型的稳定学习方法及最新的基于学习的控制方法进行了比较，结果显示在所考虑的干扰场景下具有出色的跟踪性能和更高的数据效率。

本文的其余部分安排如下：第2节回顾相关研究；第3节阐述问题定义和基础理论；第4节介绍方法，第5节分析性能；第6节报告用于评估所提策略的仿真和实验结果；最后，第7节对全文进行总结。

相关研究
根据控制时对绳索的需求，水下航行器可分为两类：遥控潜水器和自主水下航行器。尽管它们的结构配置和操作模式有所不同，但其运动控制的核心策略却有很强的共性。因此，本文将它们统称为水下航行器，第2.1节将对相关研究成果进行全面综述，而最近的……

系统描述
ROV的控制系统由两部分组成。第一部分是低级系统，负责处理机体的基本运动控制。其设计已确定，不属于本研究的重点。第二部分是高级系统，通过主机计算机生成参考指令。本研究的核心目标是用学习到的控制策略替代手动遥控器指令，以实现ROV的高级运动控制。

在高级层面，ROV……

方法
稳定性约束增量学习的整体结构如图2所示。基线策略学习阶段在4.1节中描述，发展性学习阶段则在4.2节中介绍。

性能分析
假设1：低级控制器能够以足够快的速度跟踪所需的高级速度指令，以便在外环更新的时间尺度上，外环动态能够被公式(4)很好地近似。

仿真与实验
本节介绍了旨在从多个角度评估所提框架的一系列实验。6.1节对仿真结果进行了对比分析。6.2节详细介绍了行为可行性预测器的训练过程。6.3节通过消融实验来检验各个关键组件的作用。6.4节对实验结果进行了统计分析。最后，6.5节将所提方法与几种现代方法进行了比较。

结论
本研究通过整合和重用实际任务流中获得的数据，提高了ROV在未知环境中的稳定性。实验结果表明，所提策略提升了ROV在外部干扰下的稳定性，同时在跨任务轨迹跟踪方面也具备了更好的泛化能力。对比实验进一步验证了稳定性约束强化学习相比点增量学习和块增量学习的优势，其中SCIL - 3在整体跟踪性能上表现最佳。基于行为可行性预测器的优化过程也起到了重要作用。

CRediT作者贡献声明
包石：撰写——初稿、方法论、研究工作。欧永生：撰写——审阅与编辑、方法论、资金获取。赵国亮：撰写——审阅与编辑、指导、资金获取。王德刚：指导、研究工作。

利益冲突声明
作者声明没有已知的可能影响本文所述工作的财务利益或个人关系。

致谢
本研究得到了中国教育部基础学科拔尖计划（项目编号JYB2025XDXM117）、辽宁省国际科技合作计划（项目编号2024JH2/101900001）、大连市领军人才技术攻关计划（项目编号2025JB11GX001）以及内蒙古自治区自然科学基金（项目编号2026MS0236）的部分支持。

原创性声明与投稿状态声明
作者声明没有类似的论文发表。