基于记忆空间Mamba的细微运动感知视频伪装目标检测（SMP-Mamba）

《Neurocomputing》：Subtle motion perception via memory spatial mamba for video camouflaged object detection

　　

面向视频伪装目标检测（video camouflaged object detection，VCOD）的细微运动感知通过记忆空间Mamba（Memory Spatial Mamba，MSM）实现。记忆引导更新将历史信息注入循环空间状态演化。相似性引导写入在有界记忆内保留非冗余描述符。空间Mamba（Spatial Mamba）在不使用稠密时间标记（dense temporal tokens）的情况下建模当前帧长程上下文。多尺度编码与渐进解码恢复微弱伪装边界。

研究背景方面，视频伪装目标检测（video camouflaged object detection，VCOD）旨在分割外观纹理和颜色与背景高度相似的前景目标，其轮廓弱、边界模糊且前景—背景可分性极低。该问题除学术意义外，还关联生态监测、医学视频分析、视频监控与目标监测、自主导航等应用；实际场景要求模型在弱运动线索和杂乱背景下保持可靠分割，并控制计算开销与长视频序列中的有界内存占用。早期方法依赖纹理直方图、区域/边缘一致性等手工低层描述子，在动态视频中存在表示能力有限和脆弱性问题。随后深度学习方法引入时间建模，但许多视频分割方法仍依赖光流或其他显式运动估计；在伪装视频中，该做法计算开销大，且弱运动线索下光流估计不可靠，背景噪声可扭曲流场并逐步放大误差，导致时间漂移。SLT-Net、IMEX和TSP-SAM等隐式运动建模框架避免了显式光流估计，但其效果仍依赖足够有信息量的帧间变化；当伪装目标近静止或仅微运动时，连续帧提供的时间线索弱且噪声大，易产生不准确或不稳定的掩码。同时，实际VCOD视频高度冗余，无差别累积历史观测会增加计算成本而未必带来成比例判别信息增益。因此，该研究的关键问题不是单纯扩展时间上下文，而是选择性保留紧凑、非冗余且可支持当前帧空间推断的历史线索。为此，研究人员提出SMP-Mamba，一个无光流时空框架，选择性保留有信息量、非冗余的历史描述子用于VCOD。

研究人员开展的研究包括：构建多尺度三联编码器（Multi-Scale Triplet Encoder），在三个互补空间分辨率提取层次特征并实现跨尺度交互，以改善对不同尺寸、形状和结构模糊伪装目标的感知；提出记忆空间Mamba（Memory Spatial Mamba，MSM）进行记忆引导的循环空间状态演化，其中Spatial Mamba仅在当前帧内捕获长程空间依赖，相似性引导记忆库（Similarity-Guided Memory Bank）存储来自前帧的紧凑全局记忆状态描述子，检索到的记忆读出引导当前帧循环空间更新，而非后编码特征融合；该描述子来自空间演化后的当前帧状态，不是阈值化预测掩码、ROI特征、候选特征或保证纯前景的表示；记忆更新抑制不必要写入并保留非冗余历史描述子，以支持有界内存和资源权衡；放大解码器（Amplify Decoder）渐进融合多级特征以恢复细结构并锐化模糊边界。该研究在CAD与MoCA-Mask-TE上提供主要证据，SMP-Mamba在CAD全部五项指标上排名第一，在MoCA-Mask-TE五项指标中四项取得最佳或并列最佳；零样本VSOD评估仅作为辅助迁移性探针。其意义在于提供统一时空框架，在不依赖显式光流的条件下保留稀疏有信息历史描述子。

关键技术方法可概括为：采用多尺度三联编码器（Multi-Scale Triplet Encoder）以PVTv2为骨干提取三尺度特征，并通过跨尺度注意力对齐与融合；构建MSM，以Spatial Mamba在当前帧进行空间状态演化，并由记忆编码器以查询—键—值方式检索历史描述子注入循环状态更新；设计相似性引导记忆库，按余弦相似度选择性写入并以FIFO约束容量；采用放大解码器（Amplify Decoder）中的多粒度细化单元（Multi-Granularity Refinement Unit，MGRU）与跨尺度增强（Cross-Scale Enhancement，CSE）进行渐进细化；以二元交叉熵（binary cross-entropy，BCE）损失和IoU损失进行五级深监督。样本来源为：先在COD10K与CAMO图像伪装数据集预训练，在MoCA-Mask视频伪装数据集微调，主要评估CAD与MoCA-Mask-TE，并在VSOD基准上做零样本辅助迁移评估。

研究结果方面，4.4 与其他方法比较：研究人员在VCOD基准开展定量与定性比较，并对比MLSMAnet、ZoomNeXt、EMIP、CQF、SAM-PM、TSP-SAM、IMEX、SLT-Net、MG、PNS-Net、RCRNet等代表性方法；CAD五项指标均第一，MoCA-Mask-TE四项最佳或并列最佳，但其中一项指标仍低于SLT-Net，故表述为多数指标领先而非全面最优。辅助零样本VSOD比较不作全监督等效排名。4.4.1 定量评估：通过CAD和MoCA-Mask-TE上的指标比较，CAD的增益表明前景定位、结构保持和区域一致性改善，说明SMP-Mamba可捕获细微运动线索并描绘弱目标边界；VSOD直接迁移结果显示学习表示在若干数据集上保留有用时空线索，但仅为辅助。4.4.2 定性评估：通过弱对比小目标、细长结构、快速运动与遮挡、姿态变形及复杂边界等案例比较，SMP-Mamba产生更紧凑完整的前景、更清晰轮廓、更连续结构及更好的跨帧连贯性。5 消融研究：在CAD上按机制角色开展。5.1 记忆引导循环状态更新效果：通过比较后编码融合与状态引导，状态引导除E_ξ略低0.001外改善M、S_α、F_β和IoU；移除记忆引导使M上升0.014、S_α下降0.163，并伴随F_β与IoU下降，说明历史记忆在伪装视频中重要。5.2 相似性引导记忆维护效果：通过不同阈值与逐帧写入比较，τ=0.9时精度与逐帧写入相近，同时吞吐量提高、峰值GPU内存降低；τ降低则吞吐提高、内存降低但精度逐渐下降，体现资源—精度经验权衡。5.3 放大解码器效果：移除MGRU或CSE均使细化质量下降，说明二者是记忆引导空间演化后的互补细化器。5.4 支撑空间与多尺度组件效果：以VMamba替换Spatial Mamba使IoU下降0.105、F_β下降0.058；单尺度编码器使IoU和S_α分别下降0.161和0.129；去掉对齐与融合使IoU下降0.137、M上升0.003，表明空间结构化状态更新、多尺度表示及自适应跨尺度重加权均必要。6 局限性：模型在极小伪装目标、低照强噪声、多个前景样区域或显著干扰物下仍不可靠；全局记忆状态描述子经GAP和投影获得，并非掩码裁剪或候选对齐的前景描述子；相似性写入衡量新颖性而非语义可靠性；效率研究尚未报告写入比例、实际内存占用和随视频长度缩放；训练片段仅暴露至多4个前序描述子而推理可检索至多K个，历史视界差异未评估；机制比较非严格参数匹配，也未包含输入级条件、替代融合算子或替代查询构造。

讨论部分总结：该研究将VCOD时间建模重点置于选择性维护历史描述子而非无差别累积过去观测，并以记忆引导循环状态更新和相似性引导记忆维护分别控制历史证据的使用与保留；多尺度编码器和放大解码器支撑弱线索准备与边界细化。研究结论翻译如下：该研究通过选择性维护历史描述符而非无差别累积过去观察，处理VCOD中的时间冗余。Memory Spatial Mamba使用检索到的记忆读出引导当前帧的循环空间更新，而Similarity-Guided Memory Bank决定哪些描述符可供后续更新。多尺度编码器和Amplify Decoder支持弱线索特征准备与边界细化。CAD和MoCA-Mask-TE实验为所提时间建模设计提供主要证据。额外零样本VSOD评估仅作为学习表示可能迁移至VCOD之外场景的辅助指示。未来工作将聚焦干扰物与遮挡下的描述符可靠性、长视频缩放、内存占用分析及更广泛的机制导向消融。