基于相似度引导的掩码融合与环境感知的高效水下视频语义分割

《Neurocomputing》:Efficient underwater video semantic segmentation via similarity-guided mask fusion and environment perception

【字体: 大 中 小 】 时间:2026年09月02日 来源:Neurocomputing 6.7

编辑推荐:

   摘要水下视频语义分割在海洋环境监测和自主水下航行器感知系统中发挥着至关重要的作用。尽管视频语义分割(VSS)近年来取得了显著进展,但其在复杂水下场景中的应用仍然受限。水下场景严重的蓝绿色偏色和极低对比度大大降低了传统 VSS 方法的有效性。边缘设备上严格的计算约束进一步限制了

  

摘要

水下视频语义分割在海洋环境监测和自主水下航行器感知系统中发挥着至关重要的作用。尽管视频语义分割(VSS)近年来取得了显著进展,但其在复杂水下场景中的应用仍然受限。水下场景严重的蓝绿色偏色和极低对比度大大降低了传统 VSS 方法的有效性。边缘设备上严格的计算约束进一步限制了重型模型的部署。此外,基于关键帧的轻量级架构通常受限于非关键帧的感受野,导致分割空洞和破碎边界。我们提出了一种专为水下场景设计的高效轻量级 VSS 框架,包含两个核心组件:(1) 相似度引导掩码融合(SGMF)策略,自适应地引导非关键帧继承关键帧的高精度预测以修正分割缺陷;和 (2) 环境感知特征调制(EAFM)模块,旨在抑制背景干扰并有效放大细微目标的特征响应。这些模块共同缓解了非关键帧的精度下降,并减轻了低对比度条件下的漏分和误分。在 UVMulti 和 CoralVOS 数据集上的大量实验表明,该方法在挑战性的水下条件下具有优越的性能,在准确性和效率的综合权衡上优于现有方法。

引言

作为计算机视觉的一项基本任务,图像语义分割旨在为图像中的每个像素分配一个语义类别标签。虽然基于深度学习的技术取得了显著进展,但实际应用通常涉及处理连续的视频流,而不是孤立的图像。直接将静态分割模型以逐帧方式应用于视频帧不仅会丢弃宝贵的时空上下文——导致时间闪烁和预测不一致——还会产生大量的计算冗余。为了解决这些局限性,视频语义分割(VSS)作为一种专门的范式出现,旨在实现更稳定和高效的连续像素级感知 [1], [2]。随着深海探索的快速发展,受海洋生态保护、生物多样性监测和自主水下航行器(AUV)检查等实际需求驱动 [3], [4], [5], [6],在复杂水下环境中对可靠视觉感知的需求日益迫切。因此,水下视频分割引起了显著的研究关注。然而,与陆地场景不同,水下环境的特点是严重的光学退化 [7]。此外,为了在车载计算资源严格受限的 AUV 上进行实际部署,同时满足高精度分割和严格的推理速度(FPS)目标,使得水下 VSS 具有特别的挑战性。
现有的 VSS 方法主要利用时间相关性来提升分割性能。大多数最先进的方法采用复杂的空间 - 时间注意力机制 [8], [9], [10], [11] 来对齐和聚合相邻帧的上下文信息。虽然这些方法显著提高了分割准确性,但其大量的计算开销往往超出了水下边缘设备有限的资源预算。为了平衡准确性和效率,基于关键帧策略的轻量级架构逐渐成为一种实用的替代方案 [12], [13]。例如,最先进的深度公共特征挖掘(DCFM)框架 [14] 通过明确解耦公共和独立表示来改善 VSS 效率,这使得非关键帧可以直接重用关键帧的高层语义,而无需昂贵的特征重新校准。然而,当将现有高效 VSS 框架适应于复杂水下场景时,几个局限性变得明显,这严重限制了它们的实用价值。
第一个挑战涉及非关键帧分割准确性的显著下降。在基于关键帧的模型中,非关键帧通常采用浅层网络进行特征提取以最小化推理延迟 [14], [15]。然而,此类浅层主干严重受限的感受野阻碍了其全局语义建模能力,特别是对于大规模同质目标。当这些缺乏全局上下文意识的浅层特征与源自关键帧的深层特征融合时,可能会产生特征响应不一致。这种不匹配导致最终预测中的语义不连贯和结构碎片化,在视觉上表现为目标内部的分割空洞和边界不完整,如图 1(a) 中同一场景内关键帧和非关键帧分割结果比较所示。虽然基于光流的对齐 [16], [17], [18] 可以修正帧间空间不对齐,但相关的计算负担与轻量级非关键帧设计的初衷相矛盾。
第二个挑战是水下退化导致的低对比度目标抑制。非线性光衰减和强散射效应导致无处不在的视觉退化。这些现象表现为严重的蓝绿色偏色、朦胧和低对比度 [19], [20], [21], [22]。在陆地数据集(如 ImageNet)上预训练的现有模型在水生环境中部署时会遇到显著的特征偏移。此外,当前的 VSS 框架缺乏有效的环境感知机制来动态感知和适应水下特定特征。因此,低对比度区域的前景特征激活不足,使得在严重退化和低能见度条件下进行精确分割具有特别的挑战性。如图 1(b) 所示,在这种视觉退化下,微弱的前景目标很容易融入浑浊的水下背景中,这导致现有的视频分割基线在关键帧和非关键帧上都存在漏分。
为了解决上述挑战,我们提出了一种专为水下环境设计的高效视频语义分割网络,旨在在分割准确性和推理效率之间取得良好的平衡。我们的方法引入了两个关键组件:相似度引导掩码融合(SGMF)策略,以最小的计算开销提高非关键帧的分割准确性;以及环境感知特征调制(EAFM)模块,该模块动态感知水下环境并执行逐通道自适应特征校准,从而增强模型对水下退化的鲁棒性。
本工作的主要贡献总结如下:
  • •
    我们设计了一种 SGMF 策略,以可忽略的计算成本执行关键帧和非关键帧预测的自适应加权融合,有效缓解了由非关键帧感受野有限引起的预测空洞和边界不完整。
  • •
    我们开发了一种 EAFM 模块,动态感知水下环境并进行逐通道自适应特征校准,从而抑制背景干扰,提高低对比度和高度退化的水下场景中的分割准确性。
  • •
    在 UVMulti 和 CoralVOS 数据集上的实验结果表明,我们提出的方法在保持高推理帧率(FPS)的同时,实现了 mIoU 的显著改善。

章节摘要

图像语义分割

图像语义分割长期以来一直是计算机视觉社区的一个基本研究课题。自从 FCN [23] 引入开创性的端到端像素级分类以来,该领域经历了快速演变,分支为两种主要范式:卷积神经网络(CNNs)和 Transformers。早期的基于 CNN 的方法主要关注多尺度上下文聚合和高分辨率特征保留。具体来说,PSPNet [24] 利用了一种

整体架构

为了在资源受限的水下平台上实现高效准确的连续场景感知,我们提出了一种专为水下环境设计的轻量级视频语义分割网络。整体架构如图 2 所示。我们引入了两个轻量级核心组件。相似度引导掩码融合(SGMF)策略作用于非关键帧,以最小的额外成本缓解不完整预测。环境感知特征调制(EAFM)模块

实验

在本节中,我们首先介绍了用于评估的两个具有挑战性的水下视频数据集,以及评估指标和实现细节。随后,我们提供了所提出方法与其他最先进(SOTA)方法的比较分析。最后,我们进行了一系列消融实验,以全面分析我们框架中每个组件的贡献。

结论

这项工作解决了连续水下视觉感知中的极端光学退化和计算资源有限的双重挑战。我们提出了一种专为水下场景设计的高效轻量级视频语义分割网络。我们引入了两个核心模块。相似度引导掩码融合(SGMF)策略通过计算语义相似度权重,引导非关键帧自适应地继承关键帧的可靠预测,从而修正

CRediT 作者贡献声明

吴迪:写作 – 原稿,软件,方法论,概念化。刘峰扬:可视化,数据管理。赵明坤:可视化,数据管理。吴一帆:调查,数据管理。于智斌:写作 – 审阅与编辑,资源,资金获取,概念化。郑冰:资源,资金获取,概念化。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文中报道的工作。

致谢

这项工作得到了国家重点研发计划(批准号 2022YFD2401304)和国家自然科学基金(批准号 62171419)的支持。
吴迪于 2024 年获得山东科技大学信息工程学士学位。她目前正在中国海洋大学信息科学与工程学院攻读工程硕士学位。她的研究兴趣包括计算机视觉和深度学习。
吴迪 | 刘峰扬 | 赵明坤 | 吴一帆 | 于智斌 | 郑冰
中国海洋大学信息科学与工程学部,中国青岛,266000
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号