作为计算机视觉的一项基本任务,图像语义分割旨在为图像中的每个像素分配一个语义类别标签。虽然基于深度学习的技术取得了显著进展,但实际应用通常涉及处理连续的视频流,而不是孤立的图像。直接将静态分割模型以逐帧方式应用于视频帧不仅会丢弃宝贵的时空上下文——导致时间闪烁和预测不一致——还会产生大量的计算冗余。为了解决这些局限性,视频语义分割(VSS)作为一种专门的范式出现,旨在实现更稳定和高效的连续像素级感知 [1], [2]。随着深海探索的快速发展,受海洋生态保护、生物多样性监测和自主水下航行器(AUV)检查等实际需求驱动 [3], [4], [5], [6],在复杂水下环境中对可靠视觉感知的需求日益迫切。因此,水下视频分割引起了显著的研究关注。然而,与陆地场景不同,水下环境的特点是严重的光学退化 [7]。此外,为了在车载计算资源严格受限的 AUV 上进行实际部署,同时满足高精度分割和严格的推理速度(FPS)目标,使得水下 VSS 具有特别的挑战性。
现有的 VSS 方法主要利用时间相关性来提升分割性能。大多数最先进的方法采用复杂的空间 - 时间注意力机制 [8], [9], [10], [11] 来对齐和聚合相邻帧的上下文信息。虽然这些方法显著提高了分割准确性,但其大量的计算开销往往超出了水下边缘设备有限的资源预算。为了平衡准确性和效率,基于关键帧策略的轻量级架构逐渐成为一种实用的替代方案 [12], [13]。例如,最先进的深度公共特征挖掘(DCFM)框架 [14] 通过明确解耦公共和独立表示来改善 VSS 效率,这使得非关键帧可以直接重用关键帧的高层语义,而无需昂贵的特征重新校准。然而,当将现有高效 VSS 框架适应于复杂水下场景时,几个局限性变得明显,这严重限制了它们的实用价值。
第一个挑战涉及非关键帧分割准确性的显著下降。在基于关键帧的模型中,非关键帧通常采用浅层网络进行特征提取以最小化推理延迟 [14], [15]。然而,此类浅层主干严重受限的感受野阻碍了其全局语义建模能力,特别是对于大规模同质目标。当这些缺乏全局上下文意识的浅层特征与源自关键帧的深层特征融合时,可能会产生特征响应不一致。这种不匹配导致最终预测中的语义不连贯和结构碎片化,在视觉上表现为目标内部的分割空洞和边界不完整,如图 1(a) 中同一场景内关键帧和非关键帧分割结果比较所示。虽然基于光流的对齐 [16], [17], [18] 可以修正帧间空间不对齐,但相关的计算负担与轻量级非关键帧设计的初衷相矛盾。
第二个挑战是水下退化导致的低对比度目标抑制。非线性光衰减和强散射效应导致无处不在的视觉退化。这些现象表现为严重的蓝绿色偏色、朦胧和低对比度 [19], [20], [21], [22]。在陆地数据集(如 ImageNet)上预训练的现有模型在水生环境中部署时会遇到显著的特征偏移。此外,当前的 VSS 框架缺乏有效的环境感知机制来动态感知和适应水下特定特征。因此,低对比度区域的前景特征激活不足,使得在严重退化和低能见度条件下进行精确分割具有特别的挑战性。如图 1(b) 所示,在这种视觉退化下,微弱的前景目标很容易融入浑浊的水下背景中,这导致现有的视频分割基线在关键帧和非关键帧上都存在漏分。
为了解决上述挑战,我们提出了一种专为水下环境设计的高效视频语义分割网络,旨在在分割准确性和推理效率之间取得良好的平衡。我们的方法引入了两个关键组件:相似度引导掩码融合(SGMF)策略,以最小的计算开销提高非关键帧的分割准确性;以及环境感知特征调制(EAFM)模块,该模块动态感知水下环境并执行逐通道自适应特征校准,从而增强模型对水下退化的鲁棒性。
本工作的主要贡献总结如下:
- •
我们设计了一种 SGMF 策略,以可忽略的计算成本执行关键帧和非关键帧预测的自适应加权融合,有效缓解了由非关键帧感受野有限引起的预测空洞和边界不完整。
- •
我们开发了一种 EAFM 模块,动态感知水下环境并进行逐通道自适应特征校准,从而抑制背景干扰,提高低对比度和高度退化的水下场景中的分割准确性。
- •
在 UVMulti 和 CoralVOS 数据集上的实验结果表明,我们提出的方法在保持高推理帧率(FPS)的同时,实现了 mIoU 的显著改善。