用于水下机器人跨领域操作的多目标检测与跟踪技术

《Ocean Engineering》：Multi-object detection and tracking for cross-domain operations of underwater robots

水下多目标检测跟踪系统针对机器人计算资源受限、目标尺度变化大、跨海域环境差异等问题，提出基于可变形感知的轻量检测模型DPLNet、融合置信度与运动估计的CMETracker跟踪算法，以及多级特征对抗学习域适应方法MDOL。实验验证其高效性与稳定性，支持水下机器人实际部署。

　　

陈刘|丁忠军|李德伟

哈尔滨工程大学船舶工程学院，哈尔滨，150001，中国

摘要

水下对象的高精度检测和跟踪是水下机器人自主感知的基础。尽管现有的深度学习方法已经取得了一些进展，但它们仍然受到机器人平台上计算能力有限、导航和操作过程中对象规模发生剧烈变化以及跨海域对象差异显著的制约。因此，这些方法存在复杂性高和泛化性能差的问题。为了解决这些挑战，本文提出了一种适用于水下机器人跨领域操作的多对象检测和跟踪方法。首先，开发了一种基于可变形感知的轻量级对象检测模型（DPLNet），以适应复杂环境中的规模和形状变化，实现高效的对象定位。其次，设计了一种通过置信度和运动估计进行优化的跟踪器（CMETracker），它将置信度集成到卡尔曼滤波的不确定性建模中，并结合运动估计来增强关联匹配的鲁棒性，从而提高跟踪轨迹的连续性和稳定性。最后，提出了一种基于多级特征对抗学习（MDOL）的高效领域适应方法。通过关注高效的不变特征提取，MDOL在不同的计算资源条件下提高了跨领域的泛化能力。实验结果表明，该方法在复杂和动态的水下环境中实现了高效稳定的对象检测和跟踪，支持实际的机器人应用。代码可在以下链接获取：https://github.com/liuc23755/DPLNet_CMETracker。

引言

自主水下航行器（AUV）是深海科学探索、资源勘探和环境监测的重要平台。AUV的一个关键能力是能够准确检测和可靠地跟踪静止和移动的对象。这一能力显著影响了AUV在非结构化水下环境中的自主运动规划和控制，从而促进了环境感知和对象获取等任务（Masmitja等人，2023年）。因此，开发一种强大且高效的水下多对象检测和跟踪方法对于提升AUV的自主性和智能性至关重要。

现有的水下对象检测和跟踪方法主要依赖于声学和光学成像技术（Sun等人，2021年）。声学技术具有广泛的感知范围，但分辨率有限，难以捕捉到细粒度的外观细节。近年来，由于计算机视觉和图像处理的快速发展，基于视觉的水下检测和跟踪成为主要的研究方向，因为它具有高效性、非破坏性和低成本。传统的视觉方法通常依赖于手动特征提取和过滤技术，但在复杂环境中的鲁棒性有限（Zhang和Fan，2023年）。相比之下，基于深度学习的方法通过神经网络学习自适应表示，在准确性和鲁棒性方面取得了显著改进（Xu等人，2024年）。这些进展为水下多对象检测和跟踪提供了有希望的解决方案。

然而，如图1所示，复杂且动态的水下环境仍然对视觉感知提出了重大挑战。首先，水下机器人的机载空间和计算资源受到严重限制，而许多深度学习模型在计算上仍然非常耗能，难以在嵌入式平台上高效部署。其次，在导航过程中，对象规模会随着观察距离和平台运动而快速变化，目标经常被未知对象部分遮挡或干扰，导致检测不稳定和跟踪轨迹碎片化。第三，水下机器人经常在光学条件和目标外观差异较大的不同海洋环境中操作。这种海域间的分布变化会削弱检测的置信度和跟踪关联的可靠性，从而导致身份混淆和轨迹碎片化，从而影响算法在现实场景中的实用性和鲁棒性。

为了解决这些挑战，本文提出了一种适用于水下机器人跨领域操作的多对象检测和跟踪方法。在检测阶段，构建了一种基于可变形感知的轻量级对象检测模型，以增强多尺度对象的特征提取并减少计算开销。在跟踪阶段，设计了一种通过置信度和运动估计进行优化的跟踪器，以实现复杂环境中的稳定跟踪。在学习策略方面，提出了一种基于多级特征对抗学习的高效领域适应方法，以减轻跨海洋环境和对象变化对模型泛化的影响。

主要贡献如下：

(1)

提出了一种基于可变形感知的轻量级对象检测模型（DPLNet）。通过将自适应感受野机制引入轻量级架构，该模型在保持检测准确性的同时降低了计算开销，实现了水下对象的高精度实时检测。

(2)

提出了一种通过置信度和运动估计进行优化的跟踪器（CMETracker）。它将卡尔曼滤波与置信度建模相结合，并结合运动估计来补偿相机运动干扰，从而提高轨迹连续性和跟踪稳定性。

(3)

设计了一种基于多级特征对抗学习（MDOL）的高效领域适应方法。通过进行多级对抗对齐来学习领域不变特征，它减轻了跨海域变化引起的分布变化，提高了检测和跟踪模型的实时泛化能力。

(4)

在水下数据集上的实验表明，与代表性基线方法相比，所提出的框架在准确率、效率和鲁棒性方面表现更优，证明了其适用于实际的水下机器人操作。

本文的其余部分组织如下：第2节回顾相关工作；第3节介绍水下机器人跨领域操作的多对象检测和跟踪方法；第4节报告实验结果；第5节对本文进行总结。

部分摘录

水下对象检测

近年来，全球范围内开展了大量关于水下对象检测的研究。现有方法大致可以分为两类：基于机器学习和基于深度学习的方法。

基于机器学习的方法通常使用滑动窗口选择感兴趣区域（ROI），然后应用如尺度不变特征变换等算法进行特征提取。最后，使用分类算法对提取的特征进行分类

方法的总体框架

总体框架如图2所示。首先，构建了一种基于可变形感知的轻量级对象检测模型，以实现水下机器人在巡航和操作过程中的高效对象定位。其次，设计了一种通过置信度和运动估计进行优化的跟踪器，以提高动态场景中的实时跟踪稳定性。最后，引入了一种基于多级特征对抗学习的高效领域适应方法，适用于异构环境

实验与结果

为了验证所提出方法的有效性，在多个层面进行了实验。首先，在非跨领域条件下对对象检测模型和多对象跟踪器进行了实验，以验证模型在基础场景下的检测准确性和跟踪性能。其次，在跨领域场景中评估了基于多级特征对抗学习的高效领域适应方法及其在提高跟踪性能方面的有效性

结论

为了解决水下机器人机载计算资源有限、导航和操作过程中对象外观的大规模变化以及不同海域条件下特征差异显著的问题，这些问题共同导致了检测准确率低和检测与跟踪的泛化能力受限的问题，本文开发了一种适用于水下机器人跨领域操作的多对象检测和跟踪方法。主要结论如下：

(1)

提出了一种基于

CRediT作者贡献声明

陈刘：软件、方法论、调查、数据管理、概念化。丁忠军：资源、调查、资金获取、概念化。李德伟：形式分析、数据管理。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。

致谢

本工作得到了国家重点研发计划（项目编号：2021YFC2802100）、山东省重点研发计划（项目编号：2020JMRH0101）、青岛市自然科学基金（项目编号：24-4-4-zrij-127-jch）和国家重点研发计划（项目编号：2017YFC0306600）的支持。