ReVerSeg：无需训练的交通场景推理与验证视频分割方法

《Expert Systems with Applications》：ReVerSeg: Training-Free Reason-and-Verify Video Segmentation for Traffic Scenes

　　•ReVerSeg：一种无需训练的语言驱动交通视频分割框架。•语义感知的关键帧选择可确保目标初始化的可靠性。•对框和掩码进行两阶段验证，可抑制错误在帧间的传播。•Ref-Perceive：一个包含2000个视频片段及像素级标注的交通基准数据集。•在恶劣天气和复杂交通场景下仍能实现稳健的零样本分割。引言从视频流中理解交通场景是智能交通系统（ITS）的核心需求，这类系统可用于自动驾驶、交通监控以及高级驾驶辅助系统等关乎安全的重要应用（Boukerche & Hou，2022；Huang & Chen，2020；Liang, Bao, Pan, & Pan，2022；Zhang, Liu, Gao, Li, & Wang，2016）。与静态图像识别相比，基于视频的分割能够提供更丰富的时间信息，实现连续的目标跟踪与空间定位，这对于处理动态的交通参与者和复杂的道路环境至关重要。然而，现实中的交通视频往往存在物体分布密集、遮挡频繁、视角变化迅速，以及雨天、雾天、夜间照明和运动模糊等恶劣条件。这些因素大大增加了实现可靠实例级分割的难度，也凸显出需要能够在实际部署环境中正常工作的稳健视频分割框架。为应对交通场景识别挑战，相关研究逐渐从传统的图像处理流程转向基于深度学习的方法，其中卷积神经网络（CNN）已成为主流技术范式（Bach, Stumper, & Dietmayer，2018；Boukerche & Hou，2022；Fan, Wang, Cai, & Liu，2020；Jensen, Nasrollahi, & Moeslund，2017；Mylavarapu等人，2020）。尽管基于CNN的模型在特定任务基准测试中取得了显著的性能提升，但它们通常依赖于精心设计的架构和大规模的带标签数据集，且在跨领域或不同场景应用时往往表现出较差的泛化能力。近期，视觉基础模型和多模态大语言模型（MLLMs）的出现为视觉识别带来了新的思路（Huang等人，2023；Li, Li, Savarese, & Hoi，2023b；Li, Li, Xiong, & Hoi，2022；Radford等人，2021）。通过利用大规模预训练和统一的视觉-语言表示，这些模型实现了开放词汇理解与零样本泛化，为灵活且可扩展的交通场景识别提供了新可能，无需依赖针对特定任务的重新训练。尽管基础模型和语言驱动的分割系统发展迅速，但稳健的交通视频分割问题仍未得到彻底解决。大多数大规模分割框架，如SAM（Kirillov等人，2023）和SAM2（Ravi等人，2025），主要是在DAVIS和MeViS（Ding, Liu, He, Jiang, & Loy，2023；Pont-Tuset等人，2017）这类通用数据集上开发和评估的，这类数据集中的物体分布通常以中心区域为主，场景结构也相对简单。而现实中的交通视频则存在大量外观极为相似的物体、频繁的遮挡、极端的尺度不平衡，以及至关重要的小型目标，这些都给指令对齐和实例区分带来了极大困难。虽然指令微调和使用监督式微调策略，如InstructBLIP（Dai等人，2023）和Visual Instruction Tuning（Liu, Li, Wu, & Lee，2023），可以提高特定领域的性能，但它们严重依赖大量的特定任务像素标注，且往往会削弱基础模型的泛化能力。这在将分割系统应用于真实交通环境时，引发了领域适配性与开放世界鲁棒性之间的根本权衡（Radford等人，2021）。针对这些挑战，我们从推理时序的角度重新审视交通视频分割问题，提出了一种无需训练的框架，该框架直接利用基础模型的零样本泛化能力，而无需修改其参数。我们的方法并非增加额外的训练步骤，而是通过结构化的推理和明确的验证来提升推理的可靠性。我们发现了语言驱动的交通视频分割中的两种主要故障模式：由于锚定帧选择不当导致的目标初始化不可靠，以及在视觉质量下降或场景模糊条件下由多模态幻觉引发的语义错误预测（Li等人，2023d；Zhang等人，2025）。为解决这些问题，我们提出了一种“推理-验证”型推理范式，通过对定位结果和分割结果进行语义感知的关键帧选择以及多阶段验证，有效抑制了错误在帧间的传播，提升了系统的稳健性，同时保留了基础模型的开放词汇和零样本特性（Zhu & Chen，2024）。在整篇论文中，我们会明确使用这两个术语的准确含义：“无需训练”指的是该方法的一个属性，即ReVerSeg不涉及额外的训练步骤，也不会修改其所依赖的基础模型的任何参数；而“零样本”则是指评估流程的属性，即该模型从未接触过用于评估的目标基准数据集中的任何有监督样本。无需训练的方法自然属于零样本评估，但这两个术语并非可以互换：一个方法可能在其他数据集上经过训练，但在保留的基准数据集上仍属于零样本评估；另一个方法虽无需训练，但仍可能依赖基于目标基准数据集生成的提示词。为在真实条件下系统地评估无需训练的语言驱动交通视频分割性能，我们进一步构建了Ref-Perceive基准数据集。如图1所示，Ref-Perceive围绕带有指代表达式的短交通视频片段以及逐帧的像素级标注设计，可实现对实例级分割、时间一致性以及组合式指令对齐的统一评估。尽管现有的通用RVOS数据集，如Refer-YouTube-VOS（Seo, Lee, & Han，2020）和MeViS（Ding等人，2023），提供了大规模的像素级标注，但它们并非为物体分布密集且存在关键小型目标的交通场景而设计。与此同时，以交通为场景的语言数据集，如Talk2Car（Deruyttere, Vandenhende, Grujicic, Van Gool, & Moens，2019）和Cityscapes-Ref（Vasudevan, Dai, & Van Gool，2018），虽然侧重于指令对齐，但缺乏像素级的视频分割监督。为填补这一空白，Ref-Perceive在数据集设计上充分考虑了实际部署需求，包括跨帧目标身份一致性、对视觉上相似实例的基于指令的区分，以及在视觉质量下降条件下的稳健性。此外，如图2所示，该数据集包含了来自多个城市和地理区域的交通场景，涵盖了多样的道路结构、环境及光照条件，从而为在复杂交通场景中评估零样本和无需训练的分割框架提供了真实的测试环境。本研究的主要贡献如下：•我们提出了ReVerSeg，这是一种无需训练的“推理-验证”型语言驱动交通视频分割框架，可通过结构化的推理时序决策与验证机制提升推理可靠性，且无需修改基础模型的参数。•我们设计了语义感知的关键帧选择策略和多阶段验证机制，专门用于解决初始化不可靠和幻觉引发的错误问题，从而降低视频分割中的时间漂移和错误传播风险。•我们构建了Ref-Perceive，这是一个面向交通场景的视频分割基准数据集，包含指代指令和逐帧的像素级标注，旨在评估在真实交通条件下的跨帧一致性和零样本分割性能。•通过在多种基准方法和不同交通场景及视觉质量下降条件下进行的广泛实验，证明了所提框架的有效性与稳健性。章节节选交通场景理解交通场景理解是智能交通系统（ITS）的核心组成部分，为自动驾驶、交通监控以及关键安全决策等应用提供支持（Boukerche & Hou，2022；Grigorescu, Trasnea, Cocias, & Macesanu，2020；Huang & Chen，2020；Liang等人，2022；Moayed, Griffin, & Klette，2017；Zhang等人，2016）。在更宏观的系统层面，人工智能驱动的情景规划也为建设智能且具备韧性的城市提供了可能。Ref-Perceive基准数据集为在真实条件下系统评估语言驱动的交通视频分割，我们构建了Ref-Perceive，这是一个大规模数据集，专为复杂交通场景中的短片段、基于指令的多帧物体分割而设计。Ref-Perceive注重组合式指代指令、跨帧身份一致性以及多样化的真实世界环境，可作为无需训练和零样本多模态分割框架的专用评估基准。提出的方法在本节中，我们介绍了ReVerSeg，这是一种无需训练的语言驱动视频分割框架，它通过结构化的推理时序决策与验证机制提升系统的稳健性。如图4所示，我们首先回顾了先前系统中常用的最基础的无需训练处理流程，随后介绍了我们提出的三阶段设计，该设计无需额外的模型训练即可逐步优化目标定位和分割精度。与现有方法的区别实验设置所有实验均在我们构建的Ref-Perceive数据集上进行，该数据集包含2000个短交通视频片段（共10000帧），每帧都有像素级标注以及组合式指代指令。每个视频片段由连续的五帧组成，所有方法都在相同的语言驱动短片段视频分割环境下进行评估。按照第4节所述的无需训练流程，无需在Ref-Perceive数据集上对模型参数进行微调。结论在本文中，我们提出了ReVerSeg，这是一种无需训练的“推理-验证”型语言驱动短片段交通视频分割框架。通过在定位和分割层面引入语义感知的关键帧选择以及两阶段验证机制，该方法无需额外模型训练即可有效抑制错误传播和身份漂移问题。此外，我们还构建了Ref-Perceive数据集，用于系统地评估零样本交通视频分割性能。CRediT作者贡献说明Kuang Senyun：概念设计、方法论、软件工具、数据整理、研究分析、验证、形式化分析、可视化处理、初稿撰写。Liu Yang：方法论、研究分析、验证、论文润色与编辑、资金筹集工作。Feng Shuo：数据整理、研究分析、论文润色与编辑。Wen Xiaoyu：资源协调、研究分析、论文润色与编辑。Tang Lv：概念设计、方法论、项目监督、项目管理工作、论文润色与编辑。CRediT作者贡献说明Kuang Senyun：概念设计、方法论、软件工具、数据整理、研究分析、验证、形式化分析、可视化处理、初稿撰写。Liu Yang：方法论、研究分析、验证、论文润色与编辑、资金筹集工作。Feng Shuo：数据整理、研究分析、论文润色与编辑。Wen Xiaoyu：资源协调、研究分析、论文润色与编辑。Tang Lv：概念设计、方法论、项目监督、项目管理工作、论文润色与编辑。利益冲突声明作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。Senyun Kuang|Yang Liu|Shuo Feng|Xiaoyu Wen|Lv Tang|Yintao Wei