多粒度单目视频三维视觉语言跟踪:基准与模型
《Pattern Recognition》:Multi-granularity 3D Visual Language Tracking from monocular videos: A benchmark and model
【字体:
大
中
小
】
时间:2026年08月30日
来源:Pattern Recognition 9.1
编辑推荐:
•我们提出了一种单目视频的多粒度三维视觉语言跟踪(Mg3DVLT)方法。•我们构建了两个大规模基准数据集,包含超过10万个视频-语言对。•所构建的数据集涵盖了多样的场景、条件和语言风格。•我们开发了一个统一的跟踪器,用于语义对齐和长期记忆。•实验结果表明,在闭集和跨场景协议下
•我们提出了一种单目视频的多粒度三维视觉语言跟踪(Mg3DVLT)方法。•我们构建了两个大规模基准数据集,包含超过10万个视频-语言对。•所构建的数据集涵盖了多样的场景、条件和语言风格。•我们开发了一个统一的跟踪器,用于语义对齐和长期记忆。•实验结果表明,在闭集和跨场景协议下均有所提升。
引言
目标跟踪[1]长期以来一直是计算机视觉中的一个基本任务,旨在在时间上持续地对目标进行定位。近期,视觉语言模型[2]的进步进一步推动了视觉语言跟踪(VLT),该方法利用自然语言来引导单目视频中的对象跟踪[3]。VLT需要跨模态对齐和时序推理[4],然而大多数现有研究仍然局限于二维跟踪,未能充分对单目图像中的连续三维关系进行建模[5]。这限制了它们在语言引导的单目三维跟踪中的应用,而在这种应用中,深度推理、空间一致性和稳定的三维状态估计至关重要[6]。这些能力对于智能交通、机器人和交互式感知也具有重要意义[7]。
除了从二维向三维的转变之外,语言多样性仍未得到充分探索。现有的查询通常依赖于固定的模板和单一粒度[8],而评估通常局限于闭集或单一领域设置,这限制了其在跨场景泛化和风格迁移方面的洞察[9]。人类感知促使通过不确定性下的对象持续性[10]和跨模糊表达的泛化[11]来实现更具灵活性的跟踪。基于这些观察,我们提出了多粒度三维视觉语言跟踪(Mg3DVLT),这是一个受控的基准数据集,用于评估单目三维跟踪器是否能够以不同水平的语言细节和表达风格描述同一物理轨迹时维持稳定的目标定位,如图1所示。
Mg3DVLT任务的设计旨在模拟人类如何通过多样化语言在动态三维环境中跟踪目标物体,从而能够在多样化的语言表达下进行评估。它融合了多粒度语言表达、三维状态与语言属性之间的精确语义对齐,以及在复杂场景中持续跟踪所需的长期时序一致性。为了实现系统性评估,我们基于DAIR-V2X [12]和DAIR-RCooper [13]构建了多样化的数据集,支持跨场景的训练和测试,以评估真实环境中的泛化能力。总之,这些努力将Mg3DVLT确立为语言引导的三维对象跟踪研究的一个综合基准。
我们额外设计了一个端到端的三维VLT模型——Mg3DVLT-Net。该网络由多模态特征提取器、视觉-语言编码器、增强型基于记忆的跟踪解码器和预测头组成。我们采用RoBERTa [14]和Swin Transformer [15]来提取语言和视觉表示,并引入多头差分注意力(MHDA)[16]以及Mamba Token图灵机(MTTM)[17]来优化语言条件特征和时序记忆。作为核心的时序模块,MTTM利用Mamba的状态空间机制构建持久记忆结构,从而实现跨帧目标建模和长期语义一致性。最后,解码器重新组织融合后的上下文信息并维持状态表示,逐步生成稳定且准确的三维轨迹。
主要贡献总结为以下五点:
•我们提出了Mg3DVLT,一种新的单目三维视觉语言跟踪任务,目标是通过多粒度自然语言驱动三维对象跟踪。
•我们构建了两个大规模数据集——Mg3DVLT-V2X和Mg3DVLT-RCooper,涵盖了多样的场景、条件和语言风格,支持闭集和跨场景评估。
•我们设计了Mg3DVLT-Net,一个具有语言条件特征选择和时序记忆的端到端统一模型。
•我们所提出的方法针对Mg3DVLT的核心需求进行了设计,包括多粒度语言理解、多模态语义对齐和一致的长期跟踪。
•大量实验在闭集和跨场景评估中表明,Mg3DVLT-Net优于其他方法,并提供了基准基线。
这项工作基于我们之前的会议论文[18]。在[18]中,我们首次提出了单目三维视觉跟踪的自然语言引导方法,提出了Mono3DVLT-V2X数据集,并设计了Mono3DVLT-MT方法。在本工作中,我们从六个方面扩展了初步版本:1)我们引入了"多粒度语言引导"的概念来重新定义任务,覆盖不同词汇长度和语义层级,以更好地匹配真实的交互式语言。2)我们将数据集扩展为Mg3DVLT-V2X并引入了Mg3DVLT-RCooper,涵盖了多样的城市交通场景、天气条件和语言风格,以实现跨域泛化。3)我们引入了风格标签框架,包含六类人物(例如青年和老年等年龄组、工程师和警察等职业),每类对应不同的语言风格(例如陈述和模糊),以评估模型在多样化语言表达中的性能。4)我们引入了多头差分注意力(MHDA)机制来提高语言条件特征选择的能力。5)我们采用了Mamba Token图灵机(MTTM)以在复杂场景中维持跨帧的目标特定记忆。6)我们实施了跨场景训练以评估真实环境中的泛化能力,从而创建了一个具有挑战性的域泛化评估。
为进一步澄清与会议版本之间的实质差异,上述六个扩展可总结为任务、数据集和模型三个层面的独立贡献。在任务层面,Mono3DVLT研究单一粒度描述下的单目三维跟踪,而Mg3DVLT评估同一三维轨迹在受控的语言长度、风格、语义精确度和空间具体性变化下是否仍可被跟踪。在数据集层面,我们通过构建Mg3DVLT-V2X和Mg3DVLT-RCooper,将之前的Mono3DVLT-V2X基准从79,158扩展到102,839个视频语言对,增加了23,681个额外对和六种受控的语言风格。新基准进一步支持一种闭集协议和两种跨场景协议,能够评估域内精度和跨场景泛化能力。在模型层面,Mg3DVLT-Net针对多粒度语言对齐和三维轨迹一致性进行了重新设计。MHDA改进了语言条件特征选择,而MTTM维持了跨帧的目标特定时序记忆。在闭集和两种跨场景设置上的平均表现中,MHDA在SR@0.9、AOR和PR@1.0上分别提升了5.92%、4.58%和5.11%,而MTTM分别提升了7.42%、6.85%和7.55%。
章节片段
**背景**
本节提供了单目标跟踪(SOT)的全面概述,并对视觉语言跟踪(VLT)的最新进展进行了回顾。
**所构建的数据集**
我们提出了Mg3DVLT,这是一个新颖的多粒度三维视觉语言跟踪基准,旨在利用单目视频和自然语言数据推进三维对象跟踪。与依赖昂贵传感器的传统三维跟踪方法不同,Mg3DVLT专注于利用可获取的单目视频数据和自然语言描述,使三维对象跟踪更加普及,并更易于在真实场景中应用。为了支持三维视觉语言跟踪的训练和评估。
**概述**
我们提出了Mg3DVLT-Net,一个为Mg3DVLT任务定制的端到端基准模型。如图4所示,该网络由四个组件组成,包括多模态特征提取器、视觉-语言编码器、记忆增强型跟踪解码器和跟踪头。其设计遵循Mg3DVLT的核心需求,包括多粒度语言对齐、单目三维状态估计和长期轨迹稳定性。多模态特征提取器首先对语言进行编码。
**实验设置**
所提出的Mg3DVLT-V2X和Mg3DVLT-RCooper数据集包含71,987个视频-语言对用于训练,15,421个用于验证,15,431个用于测试。每个样本配备六种类型的自然语言标注,对应不同的语言风格和表达粒度。网络使用AdamW优化器进行训练,学习率和权重衰减均设为1×10??。为了全面评估模型的泛化能力,我们进行了两类实验:
**结论与局限性**
本工作提出了多粒度三维视觉语言跟踪(Mg3DVLT),这是一个用于语言引导的单目三维跟踪的统一基准和模型框架。所提出的Mg3DVLT-V2X和Mg3DVLT-RCooper数据集包含超过10万个视频-语言对,具有多样化的语言风格,支持跨场景和跨风格泛化的受控评估。端到端的Mg3DVLT-Net配备了MHDA和MTTM模块,使用MHDA进行特征选择,使用MTTM进行时序记忆。
**作者贡献声明**
魏宏凯:撰写原稿、软件、方法论、数据整理、概念构思。王荣:撰写原稿、验证、方法论、数据整理。郭科宇:可视化、软件、调查、数据整理。黄永乐:验证、调查、正式分析。孙世杰:监督、项目管理、资金获取、概念构思。宋向宇:撰写审阅与编辑、验证、方法论。冯明涛:撰写审阅与编辑。
**生成式AI和AI辅助技术在手稿准备过程中的使用声明**
在本工作准备过程中,作者使用了OpenAI ChatGPT API来协助生成多粒度自然语言描述以用于数据集构建。生成的描述由作者进行了审阅、筛选和精炼,以确保语义准确性和与视觉内容及标注要求的一致性。作者对手稿内容和数据集标注承担全部责任。
**利益冲突声明**
作者声明不存在已知的、可能影响本论文所报告工作的竞争性经济利益或个人关系。
**致谢**
本工作得到了国家重点研发计划(项目编号2023YFB4301800)的支持。本工作还得到了国家自然科学基金面上项目(项目编号62576050)和江西省科学基金(项目编号S2024QNJJL0062)的支持。
魏宏凯 | 王荣 | 郭科宇 | 黄永乐 | 孙世杰 | 宋向宇 | 冯明涛 | Naveed Akhtar
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号