《Pattern Recognition Letters》：CAGE-Net: Cross-modal Alignment and Gated Enhancement Network for RGB-D Video Salient Object Detection
编辑推荐：
•我们提出了一种基于可靠性的三模态框架，用于RGB-D视频显著对象检测（VSOD）。•CAGE通过置信度引导的 gating机制，将深度和光流与RGB信息对齐。•实验表明，与传统的RGB-D VSOD基线方法相比，该框架具有稳定的性能提升。引言视频显著对象检测（VSOD）旨在从视
- •
我们提出了一种基于可靠性的三模态框架，用于RGB-D视频显著对象检测（VSOD）。
- •
CAGE通过置信度引导的 gating机制，将深度和光流与RGB信息对齐。
- •
实验表明，与传统的RGB-D VSOD基线方法相比，该框架具有稳定的性能提升。
引言
视频显著对象检测（VSOD）旨在从视频序列中分割出视觉上独特的对象，支持视频对象分割、视觉跟踪、视频编辑和机器人感知等应用[1]、[2]。与基于图像的显著对象检测相比，VSOD需要处理对象变形、遮挡、快速运动、运动模糊、相机移动和背景干扰等问题[1]、[3]，因此需要同时实现精确的空间定位和时间连贯的显著性预测[4]、[5]。
最近的VSOD方法利用RGB外观和运动信息，通过全双工交互、动态过滤、基于transformer的时空建模以及解耦的时间表示学习来实现[3]、[4]、[5]、[6]。然而，在背景复杂、前景与背景对比度低、边界不明显或运动不稳定的情况下，仅依赖外观-运动建模可能不够。深度信息提供了额外的几何线索，有助于区分前景和背景以及感知边界，从而形成了一个结合外观、几何和运动的三模态RGB-D VSOD系统[7]、[8]、[9]、[10]。
尽管如此，有效的三模态融合仍然具有挑战性，因为RGB、深度和光流在表示方式和可靠性方面存在差异[8]、[10]。RGB主要提供外观语义信息，而深度和光流分别提供几何结构和运动线索。此外，深度图可能存在噪声、不完整或错位的情况，而在快速运动、遮挡、运动模糊或无纹理区域，光流也可能不可靠[3]、[10]。因此，直接聚合可能会将不可靠的辅助信息传递到RGB语义中，这就需要针对不同模态进行适应性调整、以RGB为中心的跨模态对齐以及基于可靠性的辅助信息整合。
为了解决这些问题，我们提出了CAGE-Net，这是一种基于可靠性的RGB-D视频显著对象检测框架。CAGE-Net保留了DCTNet+中的RGB主导的三模态编码器-解码器架构[10]，同时重新设计了每个特征阶段的融合过程。所提出的跨模态对齐和门控增强（CAGE）模块能够进行针对特定模态的感知适应，分别将深度和光流线索与RGB语义对齐，并通过置信度引导的融合整合辅助信息。这种结构化的设计在减少不可靠的几何和运动线索干扰的同时，保持了以RGB为中心的语义导向。
本研究的主要贡献如下：
•我们提出了CAGE-Net，这是一种基于可靠性的三模态RGB-D VSOD框架，它保留了DCTNet+中的RGB主导编码器-解码器架构，同时重新设计了多个特征阶段的融合过程。
•我们开发了一个统一的CAGE模块，该模块逐步完成针对特定模态的感知适应、以RGB为中心的跨模态对齐、基于置信度的辅助信息调节以及动态分支和平面分支之间的门控融合。
•在五个传统VSOD基准测试集和真实深度的RDVS数据集上的广泛实验表明，与直接基线方法相比，CAGE-Net取得了适度但一致的改进，这一结果得到了定量比较、消融分析、定性可视化和相同硬件条件下的效率比较的支持。
章节片段
视频和RGB-D视频显著对象检测
视频显著对象检测（VSOD）结合了空间外观和时间运动线索，以定位视频序列中的显著对象。最新方法通过全双工融合、动态过滤和基于transformer的时空建模来增强外观-运动交互[3]、[4]、[5]。然而，仅依赖RGB外观和光流可能在背景复杂、边界不明显或运动不稳定的情况下表现不稳定，因为它们缺乏明确的几何指引。
概述
图1展示了CAGE-Net的整体框架。CAGE-Net保留了DCTNet+中的RGB主导的三模态编码器-解码器架构[10]，每个流都使用ResNet-34[12]编码器，并在最深层次添加了ASPP模块，以提取五级的RGB、深度和光流特征。与DCTNet+类似，每个编码器阶段的特征都被投影到统一的64通道维度。主要的架构变化在于用提出的CAGE模块替换了原有的每阶段细化/融合模块。
数据集和指标
遵循常见的VSOD协议，我们在DAVIS[15]、DAVSOD[1]、FBMS[16]和DUTS[22]的训练数据集上训练CAGE-Net。由于传统的VSOD基准测试集不提供深度图，我们遵循DCTNet+ [10]的方法，使用相同的预处理合成深度和光流输入，以确保评估协议的一致性。还包括静态图像DUTS数据集，以丰富训练过程中的空间显著性模式。
我们在DAVIS、FBMS、SegTrack-V2[17]、DAVSOD等数据集上评估了该模型。
结论
本文提出了CAGE-Net，这是一个基于可靠性的三模态框架，它将融合过程组织为针对特定模态的适应、以RGB为中心的对齐和基于置信度的增强。在五个传统基准测试集和RDVS数据集上的实验表明，CAGE-Net的性能优于DCTNet+，这一结果得到了消融分析和可视化的支持。CAGE-Net减少了参数数量和GPU内存占用，但降低了推理速度。由于RGB始终是一个固定的语义锚点，严重的RGB质量下降是一个限制；未来的工作将致力于对此进行改进。
手稿准备过程中生成式AI和AI辅助技术的声明
在准备这项工作时，作者使用了OpenAI的ChatGPT来润色语言，并提高手稿的清晰度和可读性。作者根据需要进行审核和编辑，并对发表文章的内容负全责。
CRediT作者贡献声明
刘浩民：撰写——原始稿件、可视化、验证、形式分析、数据整理、概念构思。张璐：形式分析。朱云志：撰写——审稿与编辑、监督。卢沪川：资源提供。
利益冲突声明
作者声明他们没有已知的可能导致本文研究结果受到影响的财务利益或个人关系。
刘浩民|张璐|朱云志|卢沪川
