视觉损坏下基于AIS-视觉融合的稳健海事船只实例分割

《Information Fusion》：AIS-Vision Fusion for Robust Maritime Vessel Instance Segmentation under Visual Corruptions

　　•即插即用、模型无关的AIS-视觉融合技术，用于稳健的水上感知。
•利用空间AIS线索作为图像退化不变先验，融入学习过程。
•首次提出AIS对齐的实例分割数据集与基准。
•展示与纯视觉基线相比一致的鲁棒性提升。
•证明稀疏且含噪的AIS信号能够在图像退化条件下引导视觉特征学习。引言海事运输支撑着全球约90%的贸易，被誉为“世界经济的命脉”[1]。然而，对高效和可持续运输日益增长的需求正在重塑水上领域的期望。水上运输为公路或铁路运输提供了极具吸引力的替代方案：其能效显著更高，且更加环保，每吨公里的排放量更低[2]。然而，其全部潜力受到劳动力短缺、高昂运营成本以及人为错误（据估计导致超过90%的海事事故）的制约[3]、[4]。应对这些挑战需要提升感知和理解复杂海事环境的能力，这对于在开阔海域和内河航道场景中实现有效的海上态势感知至关重要。因此，人工智能和自动化领域的最新进展正在推动智能水上系统的发展，其中自主水面航行器（ASV）代表了一个关键且快速发展的应用。ASV的概念由欧洲水上技术平台正式提出[5]，引发了诸如MUNIN和ReVolt等项目长达十年的研发[6]、[7]、[8]、[9]。这些举措表明，只要解决关键挑战，全自主航行船舶在技术上是可行的。其中，包括基于视觉的感知在内的稳健感知系统，仍然是安全可靠自主航行的基础，因为它们支撑着船舶在多样且往往恶劣的条件下解读复杂水上环境的能力[10]。虽然基于测距的传感器如激光雷达、雷达和声纳通过捕捉环境的几何结构来辅助态势感知，但视觉相机提供互补的语义线索，提供丰富的颜色、纹理和上下文信息。这实现了高层场景理解，包括物体分类、识别和边界描绘，这对于导航决策和遵守《国际海上避碰规则》（COLREGs）至关重要。更广泛地说，这种感知能力构成了海上态势感知的核心组成部分，不仅支持自主导航，也支持海事监视和交通监控等其他应用。然而，基于机器学习的视觉感知模型对多种退化非常敏感[10]、[11]、[12]、[13]、[14]。自然发生的劣化，如噪声、模糊或恶劣天气，会显著损害识别精度，并在如自主导航等安全关键场景中可能导致包括碰撞在内的操作危险[10]。因此，确保在如此退化条件下可靠的感知，对于安全可靠的海上作业至关重要。为缓解这些限制，多模态融合已成为增强鲁棒性的有前景的策略，其中互补的传感器模态提供了针对单传感器故障的冗余性和韧性。现有方法已探索这一路线，主要关注将视觉数据与其他传感器模态如雷达[15]、[16]、[17]和激光雷达[18]、[19]集成。这些方法已被证明能有效提供互补的深度、距离和反射率线索，从而缓解纯视觉系统的局限性。然而，它们应用于视觉学习流程通常依赖相对高成本的传感模态，常涉及高分辨率或研究级传感器（激光雷达和船用毫米波雷达），这带来了不小的成本、功率和部署开销，且在典型水上环境中很少可用，尤其是在内河航道等资源受限的作业中[20]。然而，自动识别系统（AIS）的潜力在特征级融合视角下仍基本未被探索。与其与这些已确立的融合范式竞争，AIS代表了一种互补模态，已在国际海事法规下标准化并广泛部署。AIS向其他船舶广播自身信号并接收来自它们的信号，包括船舶身份和航行状态信息，如海事移动服务标识（MMSI）、纬度、经度、速度、航向和船艏向[20]。与光学信号不同，AIS传输对损害视觉感知的退化因素（如恶劣天气、噪声、模糊或数字失真）具有显著更强的不变性。然而，AIS数据本身存在复杂性：信号在时间上可能异步，在空间上稀疏，且在不同船舶间异构，因为一些船舶传输频率较低或完全不传输。尽管如此，它们与视觉信号的独立性仍使它们能够作为上下文线索，在视觉信号退化时告知模型可能的空间和运动学上下文（例如，附近船舶的存在）。特别地，每条AIS消息内在包含地理参考位置信息，可投影到图像平面上，形成与视觉场景对齐的空间线索。这些投影线索可能作为提示，在退化条件下引导视觉特征学习。然而，这一潜力在很大程度上尚未被探索。现有的AIS-视觉融合研究很少，且主要采用后感知融合范式，即先通过基于深度学习的方法获得视觉检测结果，随后与AIS数据关联以进行船舶识别、轨迹匹配或态势感知[20]、[21]、[22]、[23]。在这些研究中，AIS作为下游关联线索，而非参与视觉表示学习。其研究目标是多模态对应关系，而非改进视觉感知本身。尽管AIS在水上作业中无处不在，但据我们所知，尚无研究调查异构、不完整且含噪的AIS数据（其本质上对图像退化不变）能否在特征学习阶段集成，以提高视觉模型对退化的鲁棒性。这一空白引出了两个关键研究问题：（i）这类AIS数据能否增强视觉感知模型的鲁棒性？（ii）是否可能设计一个即插即用的多模态框架，能够轻松集成到现有视觉模型中而无需重新设计其底层架构，同时在训练或微调期间进行联合优化？为解决这些问题，我们引入了对AIS-视觉融合用于稳健水上感知的综合研究。我们将AIS信号视为空间锚定的点线索，可与视觉特征一同投影和编码，从而启用一种新型的点引导多模态融合（见图1和图2）。具体而言，我们在FVessel数据集[24]的基础上开发了一个具有对齐AIS和视觉注释的多模态数据集，并设计了一个保留基础模型原始架构的即插即用融合框架。该融合框架通过位置投影、AIS点编码和门控融合机制引入AIS线索，使模型能够将AIS用作空间锚定的、对图像退化不变先验。虽然该框架适用于包括目标检测和实例分割在内的多种视觉感知任务，但我们重点关注后者，将其作为多模态鲁棒性的更严格且更具信息量的基准。此外，本研究聚焦于图像级感知，这为未来工作将多模态鲁棒性分析扩展到基于时间和视频的水上感知奠定了基本步骤。本文的主要贡献如下：•一个即插即用的AIS-视觉融合框架。我们通过三个组件实现该融合框架：AIS位置投影层、AIS点编码器和混合门控融合模块。该设计是模型无关的，能够无缝集成到多种基础模型和任务中。•一个用于AIS-视觉学习和鲁棒性分析的新型多模态数据集套件。从带有视频级AIS数据的FVessel数据集出发，我们通过筛选多样化图像集、将每个船舶实例与对应AIS消息（如果可用）关联，并利用混合人机流水线生成实例级分割标注，构建了FVessel-InstAIS。这形成了首个支持特征级AIS-视觉融合用于实例分割系统性研究的水上数据集。我们进一步开发了FVessel-InstAIS-C，一个包含来自ImageNet-C[25]的15种退化类型和5种严重程度的退化增强基准，为鲁棒性评估提供了测试平台。•全面的鲁棒性评估。我们在干净和退化数据集上进行定量分析和详细消融研究，以评估AIS集成在图像退化下如何影响模型鲁棒性。•更广泛的方法论见解。我们证明，即使像AIS这样不完整、含噪且稀疏的模态（其可靠性可能在不同船舶间显著变化），当与图像内容空间对齐时，仍能规范视觉表示，这为多模态鲁棒性研究指明了一个有前景的方向。本文其余部分组织如下：第2节介绍相关工作。第3节详细阐述准备的多模态数据、用于构建FVessel-InstAIS数据集的数据引擎，以及FVessel-InstAIS-C的构建。第4节描述我们用于AIS-视觉融合的模型无关、即插即用设计的三个关键组件。随后，第5节使用所提出的模型架构进行实验评估，呈现结果和讨论。相应地，第6节提供详细消融研究和讨论。第7节给出结论并提及几个未来研究方向。附录A对FVessel-InstAIS中AIS观测缺陷进行详细分析，附录B提供补充实验细节和结果。章节片段点引导实例分割早期点引导交互式分割方法允许人类输入如前景或背景点击来指导分割掩码生成过程[26]、[27]、[28]。最近，可提示分割[29]通过给定提示（如点、框、掩码、文本）无论歧义如何始终预测有效掩码，重新表述了问题，旨在构建视觉感知的基础模型。由此产生的框架，称为分割任意模型（SAM），进一步……数据准备与数据集构建我们的研究依赖于同步且关联的AIS和图像数据以及实例分割标注。由于现有数据集不提供此类多模态标注数据，我们开发了一个新的数据集套件，包括FVessel-InstAIS及其退化变体FVessel-InstAIS-C，以支持AIS-视觉学习和鲁棒性基准测试。在本节中，我们介绍这些数据集的构建以及为实例分割标注开发的半自动数据引擎……模型架构我们即插即用设计的架构包含三个关键组件：AIS位置投影层、AIS点编码器和混合门控融合模块。该设计产生的融合特征可直接替代现有实例分割模型中的骨干网络输出。实验评估在本节中，我们展示了所提出的即插即用AIS-视觉融合架构的主要实验评估，特别关注由FVessel-InstAIS-C数据集基准测试的常见视觉退化下的鲁棒性。我们首先介绍整个评估中使用的评估指标，包括量化性能退化和在不同退化严重程度下相对性能保持的鲁棒性导向指标。然后详细说明实验……消融研究与讨论前一部分在默认数据预处理和训练配置下报告了主要实验结果，本部分使用FastInst与原始ResNet-50vd骨干网络作为固定参考架构进行详细消融研究。该配置在整个消融研究中保留，以确保一致的架构基础。我们首先检查运动补偿的影响，这直接影响AIS投影与……之间的空间对齐。结论与未来工作我们介绍了一个即插即用、模型无关的AIS引导视觉感知框架。它将图像平面投影的、空间对齐的AIS线索作为图像退化不变先验融入实例分割模型的特征学习过程。该设计由AIS位置投影层、AIS点编码器和混合门控融合模块组成，可与现成模型集成而无需改变其自身设计。为实现本研究，我们提出了FVessel-InstAIS，……CRediT作者贡献声明Yunjia Wang：写作 – 审阅与编辑、写作 – 初稿、软件、方法学、调查、数据管理、概念化。Zhongbi Luo：写作 – 审阅与编辑、软件、方法学、调查、数据管理。Zhenyi Wang：写作 – 审阅与编辑、软件、方法学、调查。Kaizheng Wang：写作 – 审阅与编辑、概念化。Holger Caesar：写作 – 审阅与编辑、方法学。Jeroen Boydens：写作 – 审阅与编辑、监督、方法学。利益冲突声明作者声明，他们没有已知的竞争经济利益或个人关系，可能影响本论文中报告的工作。Yunjia Wang|Zhongbi Luo|Zhenyi Wang|Kaizheng Wang|Holger Caesar|Jeroen Boydens|Davy Pissoort|Mathias Verbeke