USFnet：一种面向内河航运交叉口的无人机-岸基融合视觉感知框架

《Information Fusion》：USFnet: A UAV-Shore fusion visual perception framework for inland river shipping intersections

　　

• •
  为内河航运提出了一种新型无人机 - 岸基空地融合范式。
• •
  我们开发了 USFnet，一个端到端的 3D 船舶检测和运动感知网络。
• •
  CASG 模块过滤无人机视图中冗余的水面背景噪声。
• •
  CDF 模块对齐地面和空中视图的异构特征。
• •
  USFnet 在定制的 3Dship 内河数据集上取得了最优 (SOTA) 性能。

引言

内河水道交叉口是内河航运网络的关键瓶颈和高风险区域，其特征是交通密度高、船舶交互频繁以及操纵行为突变。因此，实时且准确的船舶检测以及对瞬时运动状态（包括速度和航向）的感知对于航行安全至关重要。现有的船舶检测和感知研究可以大致分为两种范式。第一种是观测关联范式，其中视觉、AIS 和雷达等功能传感器独立进行目标检测、位置获取和运动状态感知，然后通过关联算法实现跨源匹配 [[1], [2], [3]]。然而，这种范式依赖于每个传感器生成的独立观测。在内河水道交叉口的高密度交通场景中，岸基视觉容易受到遮挡和盲区的影响 [[4], [5], [6], [7]]，AIS 易受通信拥塞和丢包的影响 [8,9]，雷达也容易受多目标回波混叠的影响，难以区分附近的船舶 [10,11]。一旦一个观测源失效，跨源关联就缺乏可靠的匹配对象或状态参考，从而降低全局感知能力。因此，此类方法在复杂的内河水道交叉口场景中适应性有限。第二种是先验轨迹范式，主要基于历史航道数据和轨迹模式预测船舶轨迹。当交叉口的观测被遮挡或中断时，此类方法通常从历史先验中推断缺失的位置和轨迹信息 [[12], [13], [14], [15], [16]]。然而，内河水道交叉口船舶密度高且交互频繁。在临时避碰等动态行为下，小型船舶往往表现出较强的运动随机性，导致基于历史轨迹先验的运动假设偏离实际状态。

为了克服上述两种范式的局限性，本文提出了 USFnet，一种受 BEV 基多视图融合感知中统一空间表示思想启发的无人机 - 岸基融合感知方法。与依赖于每个传感器生成的独立观测可靠性的观测关联范式不同，BEV 融合感知范式可以将多源传感器特征集成到统一的感知模型中。这样，船舶检测和运动状态感知受到多种类型观测的联合约束，减少了对任何单一观测源完整性的依赖。同时，与先验轨迹范式不同，USFnet 基于当前帧和相邻帧的观测进行端到端的检测和瞬时状态估计，无需预定义的历史轨迹模式。具体而言，USFnet 在 BEV 框架下融合无人机俯视观测 [[17], [18]] 与多角度岸基视觉特征，以补充岸基视图中被遮挡或位于盲区中的目标。然后，它从 BEV 检测结果中获得船舶空间位置和航向角，并根据相邻帧之间的中心位置变化计算瞬时速度。

然而，将岸基视觉特征和无人机视觉特征整合到统一的 BEV 空间中仍面临两大挑战。首先，在无人机俯视图中，大面积水域、反射和波纹占据了较高的空间比例，并在特征提取过程中引入大量与目标无关的响应。在投影到 BEV 空间后，高比例的水面背景响应使得船舶特征相对稀疏，削弱了无人机分支为跨域 BEV 特征融合提供的表示支持。其次，异构的无人机 - 岸基视图对目标视觉线索的反应不同。岸基分支倾向于提取船舶侧面外观、边缘轮廓和局部结构特征，而无人机分支强调顶视轮廓、空间分布和全局场景响应。这种视觉线索的差异导致同一目标在无人机域和岸基域的 BEV 特征中表现出不同的特征响应。直接融合这些异构特征可能会引入响应偏差并降低无人机 - 岸基 BEV 特征融合的效果。

为了解决这些挑战，USFnet 中引入了两个针对性模块。对于无人机俯视分支，由于水面背景区域占据大比例且目标响应稀疏，我们设计了一个上下文感知语义门控 (CASG) 模块，在 BEV 投影之前重新校准无人机视图特征，从而减少后续无人机 - 岸基 BEV 特征融合中背景冗余的干扰。为了解决异构无人机 - 岸基 BEV 特征之间的表示差异，我们进一步提出了一个跨域融合 (CDF) 模块。CDF 在无人机域和岸基域的 BEV 特征之间执行基于相关性的对齐，以提高跨域表示一致性并缓解异构视图特征融合引起的响应偏差。在此基础上，CDF 进一步以互补的方式聚合两个域的 BEV 特征，从而提高异构无人机 - 岸基 BEV 特征的融合效果。

我们的贡献总结如下：

• 1.
  我们提出了一种新型无人机 - 岸基跨空地融合感知范式，以实现内河交叉口区域的船舶感知。据我们所知，USFnet 是第一个专为内河交通场景设计的无人机 - 岸基融合感知框架。
• 2.
  我们提出了一个上下文感知语义门控 (CASG) 模块，以削弱冗余水面背景特征传播到 BEV 空间，并提高无人机域表示的船舶目标相关性。
• 3.
  我们提出了一个跨域融合 (CDF) 模块，以缓解无人机俯视域与岸基透视域之间的表示差异，从而提高异构无人机 - 岸基 BEV 特征融合。
• 4.
  考虑到内河航道的拓扑异质性，我们设计了涵盖 T 型、Y 型和十字型交叉口结构的虚拟仿真场景。基于此，我们构建了 3Dship 数据集，一个无人机 - 岸基融合感知数据集。

章节摘要

观测关联方法

现有研究专注于多源数据融合以弥补单一传感器的局限性。Qu 等人 [19] 提出了一种“岸基视觉-AIS"方案，使用 DeepSORT 进行视觉轨迹稳定，并通过基于匈牙利算法的匹配将 AIS 身份与视频检测框关联，以减轻拥挤水域中的漏检。对于空中视角，Zhao 等人 [20] 提出了 MSF-VIT 方法，通过空间对齐模型解决了无人机 -AIS 时空不对齐问题，以及

无人机 - 岸基融合感知中的自我 - BEV 运动状态建模

在提出的无人机 - 岸基融合视觉感知范式中，岸基摄像机提供船舶的横向纹理和局部结构信息，而无人机摄像机提供宽区域鸟瞰观测，以减轻岸基视图中遮挡区域和盲区的影响，如图 1(A) 所示。在此范式下，USFnet 将异构的无人机 - 岸基视觉特征映射到统一的 BEV 空间，并执行 3D 船舶检测和瞬时运动状态估计。其

实验

在本节中，我们简要介绍了多无人机融合感知领域的实验细节和实验数据集。然后，我们将 USFnet 与最优 (SOTA) 方法进行了比较。为了深入探讨所提出的方法，进行了各种消融实验。最后，我们进行了鲁棒性实验以全面了解 USFnet。

结论

在本文中，我们提出了 USFnet，一个用于复杂内河交叉口船舶 3D 检测和瞬时运动状态估计的无人机 - 岸基融合感知框架。USFnet 将岸基水平视图和无人机俯视图集成到统一的 BEV 表示中，其中 CASG 抑制了冗余的无人机视图水面背景响应，而 CDF 增强了跨域 BEV 特征对齐和融合。在 3Dship 数据集上的实验表明，USFnet 实现了 0.546 的 mAP 和

资金资助

本工作由 广西关键研发计划 资助 (项目编号：Guike FN2600640224)。

CRediT 作者贡献声明

李森：写作 - 审阅与编辑，写作 - 初稿，可视化，验证，监督指导，软件，资源，项目管理，方法论，调查，资金获取，正式分析，数据整理，概念化。 曹晓华：写作 - 审阅与编辑，验证，监督指导，资金获取。 周华：写作 - 审阅与编辑，资金获取。

李森|曹晓华|周华