《Image and Vision Computing》：Efficient query-guided video instance segmentation via knowledge distillation and vision–language fusion
编辑推荐：
•异构蒸馏将参数量减少98.7%，GFLOPs减少95.6%。•层次化查询融合将几何过滤与选择性CLIP评分相结合。•自适应视觉-语言激活将查询成功率提升了12.2%。•LiteQVIS实现了50.0%的J&F，超过了所有基于ResNet-50的RVOS方法。•首个在Jets
- •
异构蒸馏将参数量减少98.7%，GFLOPs减少95.6%。
- •
层次化查询融合将几何过滤与选择性CLIP评分相结合。
- •
自适应视觉-语言激活将查询成功率提升了12.2%。
- •
LiteQVIS实现了50.0%的J&F，超过了所有基于ResNet-50的RVOS方法。
- •
首个在Jetson Orin和Raspberry Pi 5上验证的查询引导VIS框架。
引言
将来自多个数据源的协同整合以获得比任何单一数据源更准确、更可靠的场景理解，已成为在复杂环境中运行的智能系统不可或缺的能力[1]、[2]。其中最具挑战性的融合问题之一是将视觉感知与自然语言理解相结合以实现视频实例分割，在该任务中用户通过语言查询而非预定义类别来指定目标对象[3]、[4]。这一多模态融合挑战跨越多个抽象层次：在特征级别，视觉和文本表示必须在本质上不同的空间中实现对齐；在时间级别，实例身份必须在遮挡和运动的情况下保持持久性；在决策级别，几何约束必须与语义属性相结合以解决模糊引用[5]。
现有的指代视频对象分割（RVOS）方法通过采用拥有数十亿参数的视觉-语言模型的重量级Transformer架构实现了惊人的准确率[6]、[7]。然而，这些计算需求阻碍了其在资源受限的边缘平台上的部署，而这些平台恰恰最需要此类能力——移动机器人、无人机和嵌入式工业系统无法承受现有方法的内存占用和能耗。这种融合表达力与计算效率之间的矛盾促使我们研究在边缘部署约束下保留复杂信息融合的轻量级架构。
开发高效的查询引导视频实例分割需要解决相互关联的挑战[4]、[8]。首先，将知识从基于Transformer的教师模型迁移到轻量级基于CNN的学生模型，需要弥合根本性的表示差异，同时利用时间上下文化监督来改进帧级表示和掩码预测[9]。其次，视觉-语言模型提供了强大的跨模态对齐能力，但与实时推理需求相冲突，需要自适应融合策略根据查询复杂度选择性激活计算密集型模块[10]、[11]。第三，查询表示必须在结构化几何约束的精确性与语义嵌入的灵活性之间取得平衡，以实现高效且富有表达力的评估。
为解决这些挑战，我们提出了LiteQVIS，一个用于高效查询引导视频实例分割的两阶段信息融合框架。第一阶段采用多级知识蒸馏，包括特征级对齐、响应级软掩码迁移和基于注意力的显著性保持——将能力从GenVIS-Swin-L教师模型迁移到经过修改的YOLOv8n-seg学生模型，实现了98.7%的参数减少、95.6%的计算减少和90.4%的延迟减少，同时保留了教师模型帧级分割性能的66.5%。第二阶段引入层次化查询融合，将自然语言分解为通过确定性过滤评估的几何约束，随后仅当几何推理不足以解决问题时才激活基于CLIP的选择性语义融合，将查询成功率提升了12.2%。LiteQVIS的主要贡献是将轻量级帧级实例分割模型适配并协调地应用于高效查询引导视频实例分割框架中。与将语言特征密集集成到计算密集的视频级Transformer架构中的传统RVOS方法不同，LiteQVIS将候选掩码生成与查询条件化目标解析分离开来。
为使这种异构设计有效，具有时间上下文的GenVIS预测为学生模型提供特征级、响应级、注意力级和掩码级的监督。基于真值介导的预测配对和多尺度特征适配器弥合了教师模型视频级查询预测与学生模型无序帧级检测之间的差异。这种监督在无需学生模型复现教师模型时间关联机制的情况下，改进了学生模型的帧级表示和掩码预测。候选掩码随后通过由粗到细的级联进行解析：低成本的类别、空间、尺寸和选择约束首先排除不兼容的实例，仅当确定性过滤无法确定唯一目标或查询包含语义属性时才激活基于CLIP的语义匹配。因此，方法论的创新在于协调的异构适配和条件查询解析策略，而非任何单独的组成技术。
本文的贡献如下：
- •
一个面向部署的框架，将轻量级帧级掩码生成与查询条件化目标解析分离开来。
- •
一种异构蒸馏策略，通过基于真值的匹配和多级监督将视频级GenVIS教师模型与帧级YOLOv8n-seg学生模型进行对齐。
- •
一个由粗到细的查询解析流水线，首先应用几何过滤，然后选择性激活CLIP进行语义消歧。
- •
在OVIS和Ref-YouTube-VOS上的全面准确率-效率评估，包括在PC、Jetson AGX Orin和Raspberry Pi 5上的部署。
本文其余部分组织如下：第2节回顾相关工作；第3节介绍所提出的方法；第4节提供实验验证和边缘部署分析；第5节总结并展望未来方向。
各节摘要
相关工作
本节探讨在指代视频分割、视觉-语言定位、模型压缩和高效实例分割的交叉领域中的高效查询引导视频实例分割，重点在于部署约束下的多模态融合。
方法
本节介绍LiteQVIS，一个高效的查询引导视频实例分割框架，该框架将异构知识蒸馏与条件视觉-语言融合相结合。我们首先描述数据集和预处理流程，随后介绍教师-学生适配策略、结构化查询解析、几何候选过滤以及选择性基于CLIP的语义匹配。完整的方法流程如图1所示。（见表1。）
LiteQVIS是
实验结果与分析
本节评估所提出的用于高效查询引导视频实例分割的两阶段框架。如图1所示，第一阶段使用多级知识蒸馏通过具有时间上下文的GenVIS预测的监督来改进轻量级帧级分割骨干网络。第二阶段结合结构化查询解析、几何候选过滤和条件激活的基于CLIP的语义匹配来进行查询引导的目标解析。我们评估了
结论
本文提出了LiteQVIS，一个用于高效查询引导视频实例分割的两阶段框架，该框架将知识蒸馏与自适应视觉-语言融合相结合。在第一阶段，多级知识蒸馏结合特征级对齐、响应级软掩码迁移和基于注意力的显著性保持，将教师引导的帧级表示、空间注意力和掩码监督从GenVIS-Swin-L教师模型迁移到经过修改的
数据集可用性
本研究使用的数据集可在线公开访问，数据来源已在参考文献中引用。
生成式AI和AI辅助技术声明
在准备本作品过程中，作者使用了Grammarly和LLM来检查语法和润色句子。使用这些工具后，作者根据需要审阅和编辑了内容，并对已发表文章的内容承担全部责任。
CRediT作者贡献声明
Hasnain Hyder：撰写——初稿、验证、软件、方法学、形式化分析、数据整理、概念构思。Yong-Woon Kim：撰写——审阅与编辑、验证、资源、数据整理、概念构思。Yung-Cheol Byun：撰写——审阅与编辑、验证、监督、项目管理、经费获取。
利益冲突声明
作者声明他们没有已知的可能影响本文所报告工作的竞争性经济利益或个人关系。
致谢
本研究得到ANCHOR项目通过济州ANCHOR中心的支持，由教育部（MOE）和大韩民国济州特别自治道资助。（2026-ANCHOR-17-001），本研究还得到韩国国家研究基金会（NRF）由韩国政府（MSIT）资助的拨款（RS-2026-25470261）。
Hasnain Hyder | Yong-Woon Kim | Yung-Ccheol Byun
