基于无人机（UAV）的海事监视中，考虑方向信息的多动态视觉（Dynamic Vision）与自动识别系统（AIS）的关联技术

《Ocean Engineering》：Orientation-aware dynamic vision-AIS association for UAV-based maritime surveillance

　　

方翱 | 元海文 | 郑宽磊 | 张布林 | 肖长石 | 李启亮

武汉理工大学电气与信息工程学院，中国武汉，430205

摘要

随着海上交通的持续加剧，传统的监控系统越来越难以同时实现实时响应和高检测精度。异构传感器融合为这一挑战提供了有前景的解决方案，但仍受到一些技术障碍的限制，包括跨模态数据关联和特征级融合。本文提出了一种基于无人机的（UAV）海上监控的定向感知动态视觉-AIS关联方法。为实现这一目标，开发了一种定向感知的对象检测网络，可以从无人机视觉中同时提取水面船舶的位置和航向，并应用多阶段角度编码-解码策略来解决角度不连续性问题。然后可以通过相机投影模型和坐标变换从视觉数据中估计全局方向。提出了一种基于方向的动态关联方法，其中相似性矩阵同时建模位置和航向的一致性，并根据不同的交通场景进行自适应加权。为了进一步提高鲁棒性和计算效率，采用了空间哈希来消除不合理的关联候选项，同时结合了多假设跟踪（MHT）来解决由遮挡、噪声和时间同步性问题引起的歧义。构建了一个名为360MariDrone的特殊数据集，其中包含了在多种天气条件下由无人机收集的数千个同步的视觉和AIS样本。在个人和公共数据集上进行了定量实验，总体关联准确率达到85.35%，证明了异构数据融合在海上监控中的有效性。

引言

全球海上交通密度的增加和复杂性的提高对传统监控系统构成了重大挑战，这些系统往往难以同时保持高精度和实时性能。传统的海上监控主要依赖于雷达、自动识别系统（AIS）和闭路电视（CCTV）系统（Nikoli?等人，2023年；Moltsen和Pielmeier，2022年）。虽然这些技术分别为海上安全做出了贡献，但它们各自都有固有的局限性。雷达系统对海面杂波和恶劣天气条件非常敏感，经常无法可靠地检测到小型或反射率低的船舶。AIS提供了关键的导航数据，如船舶的身份、位置和航向，但其时间分辨率较低，且在信号被有意关闭时可能会出现数据丢失。视觉技术提供了直观的场景理解能力，但容易受到光照、遮挡和能见度不良条件的影响。为了缓解这些局限性，开发了集成监控系统，例如结合雷达和AIS的船舶交通服务（VTS），以实现互补优势。然而，即使是这样的雷达-AIS融合系统，在复杂海上条件下也存在对象级感知、细粒度定位和持续跟踪方面的挑战。同时，最近关于海上交通监控的研究（Xin等人，2024年；Xin等人，2025年）是从更高层次的交通角度进行的，严重依赖于AIS、视觉和异构数据。这些挑战引发了对将视觉感知与AIS数据相结合的兴趣增加，利用基于外观的感知和导航信息的互补优势来实现更准确和可靠的海上监控。

大多数现有的视觉-AIS关联方法（Gülsoylu等人，2024年；Guo等人，2023年）都是使用基于岸上的固定摄像机开发的，主要依赖于几何投影。由于侧视角度，基于几何投影的方法在岸基应用中面临显著挑战，例如深度信息的丢失、频繁的遮挡等。与基于岸上的固定摄像机不同，无人机搭载的摄像机具有很好的鸟瞰视图，这有助于将视觉图像转换为真实世界坐标。然而，在港口、水道和锚区，交通密集，多艘船舶可能位于相似的空间距离内，基于地理位置或距离的关联变得难以区分且容易出错。AIS数据的低更新率和传输延迟（Qu等人，2023年；Lu等人，2021年）进一步加剧了这种模糊性。

随着无人机在海上交通监控中的使用日益增多，视觉-AIS关联面临着新的挑战和机遇。借助空中视角，可以提取船舶的位置和航向信息用于关联，尤其是在交通密集的场景中。因此，航向信息除了地理位置外，还可以提供额外的区分能力，从而在动态交通条件下更可靠地区分附近的船舶。然而，定向感知的无人机视觉-AIS关联也引入了非平凡的挑战。一方面，视觉航向检测对角度周期性敏感；另一方面，如何在关联设置中调整位置和航向的重要性仍有待解决。为了克服这些限制，本文研究了基于定向感知的无人机海上监控的动态视觉-AIS关联方法。检测并利用船舶的位置和航向信息来自适应地构建相似性矩阵以进行关联。本研究的目标是在动态海上场景中实现可靠的无人机视觉-AIS关联。具体来说，本研究的主要贡献可以总结如下：

●

定向感知的对象检测网络：从无人机视觉中同时提取船舶的位置和航向信息，为后续的视觉-AIS关联提供可靠的方向线索。

●

基于方向的动态关联：与传统基于位置的方法不同，该方法同时使用航向和位置来构建方向相似性矩阵，并引入了动态加权机制来根据交通场景调整位置和航向的重要性。

●

使用包含数千张标注有船舶位置和航向的360MariDrone数据集来训练和评估定向感知的对象检测网络。结果表明，该方法达到了83.02%的准确率和5.86°的平均绝对误差（MAE），特别是在边界角度不连续性下的表现尤为突出。因此，实现了85.35%的关联准确率，超过了其他现有技术。

章节摘录

相关工作

在我们的工作中，视觉对象检测和数据关联作为关键技术已被研究。因此，总结了近年来的相关研究成果。

方法论

本节详细介绍了无人机视觉和AIS数据的定向感知动态关联方法，并强调了其中的关键组成部分，包括定向感知的对象检测、全局方向估计和基于方向的动态关联。

实验与讨论

本节评估了定向感知的对象检测网络或动态视觉-AIS关联方法。首先介绍了实验数据和评估指标，随后与其他最新技术和消融研究进行了性能比较。最后提供了可视化结果。

结论

本研究提出了一种用于基于无人机的海上交通监控的定向感知动态视觉和AIS关联方法。首先开发了一种定向感知的对象检测网络，从航拍图像中同时提取船舶的位置和航向。然后可以通过相机投影模型和坐标变换从视觉数据中估计出世界坐标系中的全局方向。提出了一种基于方向的动态关联方法，该方法能够自适应地整合

CRediT作者贡献声明

方翱：写作 – 审稿与编辑，原创草稿撰写，可视化，验证，监督，软件，资源管理，项目管理和方法论研究。元海文：写作 – 审稿与编辑，监督，资源管理，项目管理和方法论研究，形式分析，概念化。郑宽磊：写作 – 审稿与编辑，方法论研究，资金获取，形式分析，数据整理，概念化。张布林：写作 – 审稿与编辑，软件开发，数据处理

作者声明他们没有已知的可能会影响本文报道工作的竞争性财务利益或个人关系。

本工作部分得到了国家自然科学基金的支持，项目编号为52001235。