提示何者移动：用于视频显著性检测的对比多尺度提示蒸馏学习

《Pattern Recognition》：Prompting what moves: Contrastive multi-scale prompt distillation learning for video saliency detection

　　

• •
  提出了一种轻量级对比多尺度提示学习网络（CMPNet），用于高效的视频显著性检测。
• •
  动态外观和运动提示在多个特征尺度上自适应集成，以实现鲁棒的时空表示学习。
• •
  多尺度对比提示蒸馏学习（MCPDL）算法增强了前景与背景的可分性和时间一致性。
• •
  所提出的框架在保持低计算复杂度的同时保留了细粒度的显著性结构。
• •
  在基准数据集上的大量实验表明，该方法在准确性和效率方面均优于当前最优方法。

引言

视频显著性检测（VSD）旨在通过联合利用空间外观和时间运动信息来识别和分割视觉上最显著的目标。作为视频理解中的基本任务，它支持众多应用，包括视频对象分割[1]、自动驾驶[2]、机器人感知[3]、视频压缩[4]和智能监控[5]。与基于图像的显著目标检测[6]、[7]、[8]相比，VSD要困难得多，因为动态背景、相机运动、目标形变、遮挡、运动模糊和光照变化会不断改变目标外观和时间连贯性。因此，准确的显著性检测需要鲁棒的时空建模，能够有效捕捉互补的外观和运动线索，同时对抗复杂场景动态保持韧性。

早期基于深度学习的VSD方法[9]、[10]、[11]通过引入光流[12]、[13]、[14]、3D卷积[8]、[15]和循环网络[16]、[17]来捕捉时间动态，扩展了图像显著性模型[6]、[7]、[8]。虽然这些方法显著提高了显著性估计，但其对计算密集型架构的依赖限制了在资源受限环境中的部署，如物联网（IoT）[18]和万维物（WoT）[19]系统。最近，基于Transformer的模型[11]、[20]、[21]通过自注意力推动了全局上下文建模。尽管取得了这些进展，学习判别性跨尺度时空表示并准确刻画显著性预测的时间贡献仍然具有挑战性。与此同时，提示学习[7]、[22]、[23]、[24]、对比学习[6]、[25]、[26]及其统一公式[23]、[27]展示了强大的表示学习能力，通常在集成外观和运动线索的编码器-解码器框架内，如图1所示。然而，这些方法主要作为独立的学习策略使用，而非在统一框架内联合优化。因此，它们没有明确利用提示条件下的前景-背景判别并结合多尺度时间监督。此外，建模短期和长期时间依赖仍然困难，因为固定提示和不稳定的蒸馏策略[27]、[28]、[29]经常导致过度平滑的特征表示，降低了显著目标与模糊背景之间的分离度。因此，这种退化削弱了跨尺度特征交互，模糊了目标边界，并在无约束场景下产生不一致的显著性定位。

在本文中，我们提出了一种新颖的轻量级对比（contrastive）多尺度（multi-scale）提示学习（prompt learning）网络（network，CMPNet），其中提示被构建为从外观线索（例如纹理、颜色和物体性）和运动信息（即时序一致性）中导出的动态特征条件先验，而非显式的可学习提示令牌。这些先验作为自适应条件信号，根据当前时空上下文引导多尺度特征提取和跨模态融合。此外，我们提出了一种多尺度（multi-scale）对比（contrastive）提示（prompt）蒸馏（distillation）学习（learning，MCPDL）算法，通过在对比嵌入空间中学习多尺度目标表示来区分困难区域和软区域。具体而言，它拉近连续帧之间语义一致区域的距离，同时推远背景和模糊区域。通过联合集成动态提示和对比蒸馏，所提出的框架学习了更具判别力的外观和运动表示，为VSD提供了传统时空融合模型的高效替代方案。本工作的主要贡献总结如下：

• •
  我们提出了一种新颖的轻量级CMPNet用于VSD，通过可学习提示显式建模外观和运动线索，采用三个核心组件：动态提示自适应模块（DPAM）、动态提示融合模块（DPFM）和多模态解码单元（MDU）。
• •
  提出了一种多尺度提示自适应和融合策略，在特征分辨率上动态集成外观和运动提示，实现有效的全局-局部上下文交互，同时减少计算开销。
• •
  MDU解码基于提示的外观和运动表示，同时保留空间结构并维持语义一致性，以实现准确的显著性预测。
• •
  提出了一种新颖的MCPDL算法，将动态特征条件提示、稠密令牌级对比学习和提示引导的多尺度蒸馏统一到一个优化框架中，用于运动显著表示学习。
• •
  在标准基准数据集上的大量实验表明，所提出的模型在性能和效率方面始终优于现有方法。

章节摘要

基于外观和运动的VSD方法

VSD方法旨在利用手工设计或基于深度学习的技术识别视频序列中视觉上最显著的目标区域。传统的手工设计方法[16]、[21]、[30]、[31]主要依赖于运动描述符和光流，随后采用启发式融合策略。随着深度学习的出现，卷积神经网络[21]、[22]、[29]成为主流范式，采用双流架构、3D卷积和循环单元来学习

对比多尺度提示学习网络

所提出的对比多尺度提示学习网络（CMPNet）的总体架构如图2所示。给定一个包含$N$个连续帧的视频序列，$A_k$、$M_k$和$G{T}_k$分别表示第$k$帧的外观帧、运动帧和对应的真实标注，其中$k=1,\dots ,N$。运动图$M_k$是使用BSCNet[49]从连续RGB帧离线生成的，在训练和推理过程中保持不变。然后外观和运动输入被

实验与结果

所有实验均在配备64 GB RAM、1 TB存储和具有16 GB内存的NVIDIA GeForce RTX 50系列GPU的64位Ubuntu 18.04工作站上进行。软件环境使用Anaconda（Python 3.10）、PyTorch 1.12.0、OpenCV和CUDA 11.4进行配置。在训练和推理过程中，所有输入帧都被调整为352 × 352 × 3，并通过自蒸馏MobileViT骨干网络[18]进行处理。网络使用Adam优化器进行优化，

结论

本文提出了一种用于视频显著性检测的轻量级对比多尺度提示学习网络，该网络明确增强外观和运动线索，在平衡准确性和计算成本的同时提供鲁棒且高效的时空建模。此外，所提出的多尺度对比提示蒸馏学习算法实现了自适应的短期局部交互和长期全局时间一致性，跨越混合尺度特征表示以及

CRediT作者贡献声明

Hemraj Singh：写作——审阅与编辑、写作——原始草稿、可视化、验证、资源、项目管理、方法论、形式化分析、数据管理、概念化。Sung-Bae Cho：监督、调查、资金获取。

利益冲突声明

作者声明他们没有任何已知的竞争性财务利益或个人关系可能影响本文中报道的工作。

致谢

本工作由韩国政府（MSIT）资助的IITP拨款（编号：RS-2022-II220113，开发可持续协作多模态终身学习框架）以及美国空军办公室科学研究所资助的空军国防研究科学项目支持。

Hemraj Singh | Sung-Bae Cho