《Drones》：Method for Controlling the Movement of an AUV Follower Based on Visual Information About the Position of the AUV Leader Using Reinforcement Learning Methods
Evgenii Norenko,
Vadim Kramar and
Aleksey Kabanov
编辑推荐：
为解决AUV编队控制中水声通信受限、模型不确定性强及观测噪声大等难题，本研究提出了一种基于PPO强化学习的视觉leader–follower控制框架。通过Bayesian optimization优化奖励函数，显著降低了RMS跟踪误差，验证了仅依赖视觉信息的无通信编队可行性，为水下多智能体系统提供了可扩展的RL解决方案。
当AUV学会“看灯”飞行：强化学习如何解决水下编队“失联”难题
在广袤而黑暗的深海中，自主水下机器人（AUV）如同现代海洋探索的“侦察兵”。无论是海底测绘、管道巡检还是环境监测，单台AUV的能力总归有限，科学家们一直梦想着让多台AUV像大雁一样排成队形协同作业。然而，水下环境给这种“雁阵”带来了三大天敌：GPS信号屏蔽、水声通信的严重延迟与噪声、以及难以精确建模的复杂流体动力学。
传统的AUV编队控制严重依赖水声通信来交换位置信息，或者需要工程师事先写出极其复杂的动力学方程。这就像在漆黑的房间里让几个人只靠互相喊话（且声音传播极慢）来保持队形，一旦“听”错或模型算不准，就容易发生碰撞或走散。有没有一种方法，能让跟随者AUV只靠“眼睛”（视觉）就能锁定领航者，完全不需要“说话”（通信），也不需要事先背下厚厚的物理公式呢？
来自国外的研究团队Evgenii Norenko, Vadim Kramar and Aleksey Kabanov在《Drones》上发表的研究，给出了肯定的答案。他们利用强化学习（Reinforcement Learning, RL），特别是近端策略优化（Proximal Policy Optimization, PPO）算法，训练出了一个仅靠视觉就能“盲跟”的智能控制器，成功实现了无通信、无精确模型依赖的水下leader–follower编队控制。
关键技术方法
本研究在Webots R2019a仿真环境中构建了AUV动力学模型，并引入观测噪声以逼近真实水下条件。研究核心采用了PPO算法进行控制策略学习，其状态空间基于视觉估计的相对位姿，动作空间为AUV的推进力与力矩。为解决奖励函数超参数调优难题，研究引入了Bayesian optimization以自动优化权重，显著提升了跟踪精度。最终，训练好的策略在MiddleAUV级实物平台上进行了验证。
研究结果
1. 问题建模与视觉相对定位
结论： 通过已知几何构型的灯标系统，跟随者AUV可在无通信条件下仅凭单目视觉估算与领航者的相对位姿。
依据： 研究假设领航者AUV携带已知几何结构的光学灯标（Light Markers），跟随者通过机载摄像头捕获图像，利用几何关系解算出领航者在其本体坐标系下的相对位置（X, Y）与偏航角（ψ）。该设计摒弃了传统的水声定位与通信模块，将问题转化为纯视觉伺服（Visual Servoing）控制问题。
2. PPO控制器设计与Bayesian奖励优化
结论： Bayesian优化将RMS跟踪误差从0.24 m降至0.09 m，并证明航向角惩罚项对系统稳定性的贡献远大于位置误差项。
依据： 状态空间设计为相对位姿误差（ΔX, ΔY, Δψ）及其导数，动作空间为水平面的推力与力矩。奖励函数为误差的二次型。通过Bayesian优化对奖励权重进行超参数寻优，发现航向角权重占比显著更高，表明在视觉跟踪中“对准方向”比“对准绝对位置”对维持队形稳定更为关键。
3. 抗噪性能与策略泛化验证
结论： 训练出的随机策略（Stochastic Policy）对观测噪声具有鲁棒性，且单一策略无需重新训练即可泛化至不同数量的跟随者编队。
依据： 在仿真与Webots测试中，即使加入模拟水下光散射和图像噪声，PPO策略仍能保持稳定跟踪。当初始条件改变或增加跟随AUV数量时（如1领航者 vs. 多跟随者），原控制器仍能维持队形，证明了该RL方法的强泛化能力（Generalization）。
结论与意义
这项研究证实了基于PPO的端到端强化学习能够有效替代传统的模型预测控制（MPC）或反步法（Backstepping），解决水下视觉编队问题。其重要意义在于：
- 1.
通信解放：摆脱了对高延迟、低带宽水声通信的依赖，仅靠视觉实现闭环控制，降低了系统复杂度和成本。
- 2.
模型无关：RL控制器无需显式知晓AUV复杂的流体动力学参数（如阻尼系数、附加质量），通过与环境交互自主学习最优策略，解决了模型不确定性难题。
- 3.
强鲁棒性：Bayesian优化后的奖励函数使控制器对视觉观测噪声不敏感，且具备良好的泛化性能，为大规模AUV集群控制提供了可扩展的解决方案。
未来，该技术有望应用于水下考古、珊瑚礁普查等需要近距离精确编队但又无法部署声学基站的场景，让AUV真正具备“沉默而精准”的协同智慧。
