《INTERNATIONAL JOURNAL OF COMPUTER VISION》：Domain Generalization for Multiple Video Object Segmentation and Tracking Using Transformers and Smart Memory
编辑推荐：
视频对象分割（Video Object Segmentation, VOS）是计算机视觉中用于监控、自动驾驶及机器人感知的核心任务。现有VOS模型在处理复杂拓扑变化的可变形对象、退化环境及长视频序列时，常出现跟踪漂移、低召回率及内存饱和等问题。研究人员提出了M
视频对象分割（Video Object Segmentation, VOS）是计算机视觉中用于监控、自动驾驶及机器人感知的核心任务。现有VOS模型在处理复杂拓扑变化的可变形对象、退化环境及长视频序列时，常出现跟踪漂移、低召回率及内存饱和等问题。研究人员提出了Multiple object VOS and tracking Smart Memory架构（MuSMem），通过三项创新实现泛化性能提升：（i）融合Segment Anything Model（SAM）与高质量掩码（High-Quality masks），结合外观候选选择优化粗分割结果，显著提升对象边界精度；（ii）动态智能内存管理策略，基于新颖的信息保持增益（information preserving gain），并结合时空相关性（relevance）与时新性（freshness）准则，自适应维护关键帧历史；（iii）引入单目深度图增强遮挡鲁棒性。MuSMem显著降低内存占用与漂移，支持复杂对象拓扑变化追踪，并提升长期预测性能。该架构可与视觉语言模型（Vision-Language Models, VLMs）集成，实现未见视觉领域的零样本泛化。在VOS基准数据集上的实验表明，MuSMem在VOTSt-2024、Long Video Dataset及LVOS上排名第一，在VOTS-2024上排名第二，在单目标、多目标及复杂VOS任务中均实现了最佳泛化能力与当前最优性能。
论文解读
研究背景与意义
视频对象分割（VOS）旨在对视频中的多目标进行像素级掩码预测与跨帧关联，是自动驾驶、视频监控、生物医学量化等应用的基础技术。传统方法从背景减除、光流法逐步演进至深度学习模型，但在处理长视频、复杂拓扑变化（如物体切割、组装）及多目标交互时仍面临显著挑战。基于Transformer的端到端模型（如AOT系列）虽提升了时序一致性，却因内存线性增长、掩码质量不足及泛化能力受限，难以适应真实场景的动态变化。针对上述问题，研究人员提出了MuSMem架构，通过解耦掩码质量优化与长期时序一致性维护，突破现有方法的性能瓶颈，相关成果发表于《International Journal of Computer Vision》。
关键技术方法
研究人员采用多阶段技术路线：1）以DeAOT/AOT/DMAOT为基础VOS模型，结合Segment Anything Model（SAM）与自监督掩码蒸馏（Self-Supervised Mask Distillation, SMD）优化掩码边界；2）设计智能内存（Smart Memory, SMem）管理机制，基于信息保持增益（information preserving gain）、相关性及时新性准则动态更新关键帧嵌入；3）引入单目深度估计（Depth Anything v2）与Transformer融合的深度感知分割模块（Depth-Aware Segmentation with Transformer-Based Prior Fusion, DAST-PF）提升遮挡鲁棒性；4）集成视觉语言模型（如Grounding DINO）实现文本提示初始化与零样本泛化。实验在VOTS、LVOS、Long Video Dataset等6个基准数据集上验证性能，涵盖长视频、多目标交互及拓扑变化场景。
研究结果
4.1 VOS基准数据集评估
研究人员在6个基准数据集上测试MuSMem性能：在长视频任务（Long Video Dataset、LVOS）中，MuSMem的??&?指标分别达到92.3与65.0，超越RMem、XMem等方法；在复杂多目标场景（MOSE数据集）中，??&?为68.24，优于DeAOT、XMem等基线；在拓扑变化挑战（VOTSt数据集）中，质量（Q）与准确率（Acc）达0.554与0.535，较RMEM提升7.6%。
4.3 定性分析与消融实验
定性结果显示，MuSMem在松鼠伪装、溜溜球高速运动、双虎身份区分及多机器人追踪等场景中，均保持精准边界与稳定ID关联，显著优于DeAOT。消融实验证实：智能内存（SMem）单独提升Q至0.652；自监督掩码蒸馏（SMD）结合SMem进一步提升至0.680；加入深度感知分割（DAST-PF）后，最终Q达0.696，各组件贡献明确且互补。
4.7 内存与可扩展性分析
MuSMem内存占用仅为3.2 GB，较AOT（78 GB）降低95.9%，且随视频长度增长呈恒定复杂度，支持万帧级长视频处理。其内存效率源于SMem的选择性更新机制，避免冗余嵌入存储。
4.8 计算成本与性能权衡
MuSMem单GPU处理速度略低于DeAOT，但通过多GPU并行分配对象计算，可实现近线性加速，速度与精度达到平衡。其在VOTS开发集上Q值达0.741，较DeAOT提升8.7%，验证了计算资源投入的有效性。
5. 零样本泛化实验
通过视觉语言模型（VLM）文本提示，MuSMem可在细胞显微视频（Fluo-N2DH-GOWT1）与航拍视频中实现无训练初始化。详细属性提示（如“穿白衬衫黑裤子的奔跑者”）比类别提示更稳定，结合Grounding DINO的重初始化机制，可有效应对长时遮挡与视角变化。
讨论与结论
研究人员指出，MuSMem通过解耦掩码优化与内存管理，解决了现有VOS模型的误差传播与内存爆炸问题。其核心创新在于：1）利用基础模型（SAM、DINO）的先验知识提升掩码质量；2）基于信息论的内存更新策略实现O(1)空间复杂度；3）深度与语义融合增强复杂场景鲁棒性。尽管在极端拓扑变化与小目标混淆场景仍有局限，MuSMem已为长视频、多目标及零样本VOS提供了通用框架。未来工作将探索分层内存结构与实时优化，进一步扩展至更多模态与大规模应用。
