水下领域偏移下的视频目标分割：一个诊断基准与恢复适配器

《Pattern Recognition》：Video object segmentation under aquatic domain shift: A diagnostic benchmark and restoration adapter

　　- 我们从外观、定位和身份三个方面诊断水下VOS（视频目标分割）的失败原因。- UW-VOS提供1431个视频、307,267个掩码标注以及16个细粒度属性。- ARA利用水下成像先验恢复水生特征。**引言**水下视频目标分割（VOS）研究的是在水生领域偏移下的时间密集分割问题，其目标是在给定初始掩码的情况下，对整个水下视频中的目标实例进行分割和跟踪。该任务对海洋生物多样性评估[1]、动物行为分析[2]以及自主水下航行器导航[3]、[4]具有重要意义。除上述应用外，水下VOS还提出了一个核心科学问题：水生成像效应如何从退化的视觉观测传播到密集掩码定位和时序身份保持？与陆地场景不同，水下视频通过参与型光学介质捕获，波长相关的吸收、散射、浑浊度和焦散光照会改变目标的外观、边界证据和特征对应关系。因此，水下VOS不仅仅是将开放环境VOS应用于新的场景类别，而是一个图像形成直接影响密集定位和时序关联的场景。我们将水下VOS的失败视为三个可测量因素的相互作用。**水生外观退化**通过波长相关的衰减、雾化光、光照变化、低可视度和水色偏差改变目标的外观。**空间定位模糊**削弱了密集分割所需的掩码级证据，尤其是当目标较小、运动模糊、伪装的或被视觉相似的干扰物包围时。**时序身份不连续**在生物体不可预测地移动、被遮挡、消失并重新进入视野时破坏长期关联。这些因素是相互耦合的：可见度退化可能放大伪装效果，小目标更容易与相似实例混淆，而遮挡往往导致重新进入后出现身份切换。因此，一个有用的水下VOS基准应当诊断出哪种因素导致失败，而不仅仅是报告总体排名。现有的数据集和方法不足以系统地研究这一问题。通用VOS方法[5]、[6]、[7]、[8]、[9]在DAVIS [10]、[11]、YouTube-VOS [12]和MOSE [13]、[14]等开放环境基准上取得了优异性能，但其评估协议并未隔离水生外观退化、定位模糊或时序身份不连续。在水下视频领域，研究主要沿视觉目标跟踪（VOT）方向推进，从UOT100 [15]和UTB180 [16]发展到百万规模的WebUOT-1M [17]，而像素级视频分割的研究仍然较少。现有的水下VOS资源如CoralVOS [18]在类别多样性和诊断属性方面存在局限。因此，目前尚不清楚哪些水下因素主导VOS失败，不同模型家族如何应对这些因素，以及实际需要哪种形式的领域适应。为实现上述诊断，我们引入了**UW-VOS**，一个用于水下视频目标分割的大规模诊断基准。如图1所示，UW-VOS涵盖复杂的多目标交互、密集簇中的小物体、浑浊水域条件、伪装目标、目标退出和重新进入、复杂光照以及视角变化。该数据集包含1431个视频序列，覆盖411个语义类别，共有307,267个掩码标注和16个细粒度属性。其标注通过人机协作流程产生，包含显式质量审核，其属性支持对外观、定位和时序关联失败的分解评估。在此意义上，UW-VOS不仅是训练和评估资源，也是理解时间密集分割中水生领域偏移的诊断工具。作为该基准的补充，我们提出了**水生恢复适配器**（ARA），一种基于物理的水下VOS参数高效适配器。ARA并未将水下适应视为无约束的特征调优问题，而是将水下成像的闭式逆运算迁移到瓶颈特征空间中。它估计内容相关的逆传输增益和逐通道雾化光项，从而生成受限的特征恢复算子，可插入到不同的VOS骨干网络中。在本文中，我们在SAM2 [9]和XMem [7]上都实例化了ARA，同时保持其时序记忆机制不变。这种受控设计使我们能够探究仅通过空间特征恢复能在多大程度上提升水下VOS性能，以及哪些剩余失败需要超越特征适应的时序身份建模。在UW-VOS上的实验提供了水下VOS难度的分解视角。代表性开放环境VOS方法迁移到水下视频后性能大幅下降，证实了专用诊断基准的必要性。域内实验表明，ARA在SAM2 [9]和XMem [7]上均达到或超过全量微调的性能，表明所提出的适配器不依赖于特定骨干网络家族。属性级分析揭示，ARA主要改善水生外观退化和空间定位模糊，而时序身份不连续仍然是未来水下VOS研究的互补挑战。总之，我们的主要贡献如下：- 我们将水下VOS公式化为水生领域偏移下的时间密集分割问题，并将其失败分解为水生外观退化、空间定位模糊和时序身份不连续。- 我们提出了UW-VOS，一个包含1431个视频、411个类别、307,267个掩码标注和16个细粒度属性的大规模诊断基准，配套质量审核标注和分解评估协议。- 我们提出了ARA，一种基于物理的参数高效适配器，在瓶颈特征空间中实现水下成像逆运算，可实例化于Transformer和CNN两种VOS骨干网络中。- 我们建立了涵盖跨域迁移、域内训练、全量微调与PEFT对比、响应可视化和基于属性的诊断的全面评估套件，量化水下领域差距并验证ARA作为参数高效特征空间恢复基线的有效性。**视频目标分割**半监督视频目标分割旨在根据首帧掩码对整个视频中的目标实例进行分割和跟踪。早期方法依赖在线适应或循环传播，但往往存在推理速度慢或误差累积的问题[19]、[20]、[21]、[22]。时空记忆网络建立了基于匹配的框架，将历史帧作为记忆存储[5]，后续方法通过改进记忆管理进一步完善了这一范式[6]、[7]、[23]、[24]。**视频采集与标注**为构建具有高度多样性且标注精确的水下视频目标分割基准，我们设计了一个融合图像恢复与基础模型辅助的半自动数据引擎，如图2所示。该流程包含三个阶段：**视频采集与数据挖掘。** UW-VOS包含1032个源自WebUOT-1M [17]的视频和399个新挖掘的免费版权互联网视频。该来源划分仅涉及视频获取：源自WebUOT-1M的**概述**我们提出了**水生恢复适配器**（ARA），一种基于物理的水下特征适应参数高效模块，如图9所示。ARA不绑定于特定的VOS架构：给定来自Transformer或CNN骨干网络的空间特征图，它在低维瓶颈空间中施加受限的恢复操作，并向原始特征流返回残差更新。其核心思想是将水下成像的代数结构迁移**实现细节**所提出的UW-VOS数据集采用与YouTube-VOS [12]相同的数据格式，便于与现有VOS框架无缝集成。遵循标准做法，我们将数据集划分为1001个训练视频、215个验证视频和215个测试视频，分别用于模型训练、日常评估和竞赛期评估。**评估协议。** 遵循DAVIS协议 [10]、[11]，我们在UW-VOS验证集上使用标准指标评估模型性能：**结论**本文研究水下VOS作为水生领域偏移下的时间密集分割问题。我们引入了UW-VOS，一个包含1431个视频、411个类别、307,267个掩码标注和16个细粒度属性的大规模诊断基准，支持标准VOS评估以及对水生外观退化、空间定位模糊和时序身份不连续的分解分析。我们进一步提出了ARA，一种基于物理的参数高效适配器，它将**CRediT作者贡献声明****洪深赵：** 撰写——初稿，方法论，调查，数据管理，概念化。**景康太：** 验证，数据管理。**宇航吴：** 验证，数据管理。**文康张：** 撰写——审阅与编辑，形式分析。**习蓝：** 验证，数据管理。**尚炎王：** 验证，数据管理。**天雨张：** 验证，数据管理。**万康杨：** 撰写——审阅与编辑，监督，经费获取。**利益冲突声明**作者声明他们不存在已知的相互竞争的财务利益或个人关系，这些关系可能被视为对本文所报告的工作产生影响。**致谢**本工作得到**国家自然科学基金**（编号：62276061和62436002）资助。本工作还得到**东南大学先进海洋研究院研究基金**（重大项目MP202404）支持。洪深赵 | 景康太 | 宇航吴 | 文康张 | 习蓝 | 尚炎王 | 天雨张 | 万康杨