编辑推荐：
视频流中的目标检测面临严重的时间冗余问题，这会增加训练成本并可能导致静态背景被过度表示。本文提出了一种基于对象状态的数据筛选框架，用于视频目标检测中的离线训练数据选择。该采样器利用真实标注框或教师模型生成的伪标注框来初始化活跃片段、保留对象出现事件，并在逐对象
视频流中的目标检测面临严重的时间冗余问题，这会增加训练成本并可能导致静态背景被过度表示。本文提出了一种基于对象状态的数据筛选框架，用于视频目标检测中的离线训练数据选择。该采样器利用真实标注框或教师模型生成的伪标注框来初始化活跃片段、保留对象出现事件，并在逐对象边界框状态根据交并比（Intersection-over-Union, IoU）触发器发生充分变化时选择额外帧。该选择规则提供了一种轻量级的几何代理，用于保留与定位监督相关的对象状态事件，同时抑制近似重复帧。在VisDrone-VID数据集上，使用IoU阈值??=0.2时，mAP@50-95达到0.130，而全量训练为0.122，且使用了更少的帧；在更严格的??=0.0等量帧预算设置下，该方法仍接近全量训练结果，并在压缩方法中取得了最高的平均mAP@50-95，与均匀采样和随机采样相比具有适度优势。KITTI和Kgalagadi诊断实验进一步刻画了该方法在目标密集和背景主导两种场景下的性能：在KITTI近似匹配步数设置下，所提采样器达到0.3673±0.0051的mAP@50-95，与全量训练的0.3657±0.0021相当，且高于均匀采样、随机采样和Motion_BBox；在高度冗余的Kgalagadi视频流中，该方法达到0.3878±0.0160，而均匀采样为0.3623±0.0279、随机采样为0.3491±0.0186。对象事件和检测器信号诊断表明，被选中的帧保留了对象出现事件和大尺度框变化事件，并且相比被丢弃或未选中的对照帧具有更高的平均梯度范数和损失值。专有的闭路电视（CCTV）案例研究进一步表明，与MS COCO和BDD100K进行类别对齐的跨域融合可以在保留CCTV域作为监督锚源的同时，通过添加跨共享类别的外部外观多样性来补充采样的CCTV帧。总体而言，该框架在减少冗余视频帧的同时保持了检测精度，跨域融合则单独增加了外观多样性。
**基于对象状态的视频目标检测高效帧采样框架——论文解读**
**一、研究背景与问题提出**
目标检测是计算机视觉领域的一项基础任务，广泛应用于自动驾驶、智能监控和人机交互等场景。尽管Faster R-CNN、YOLO和DETR等架构在静态图像检测中取得了显著进展，但将这些方法扩展到视频流中面临着额外的挑战。与独立图像不同，视频数据表现出强烈的时间冗余（temporal redundancy），相邻帧通常包含近乎相同的视觉内容，并以静态背景为主。不加区分地对每一帧进行检测器训练不仅会大幅增加计算成本，还会限制训练样本的多样性，从而降低检测器的泛化能力。
这一问题在真实世界的监控场景中尤为突出，长时间视频可能包含数千帧，而帧间变化极小。这种冗余会削弱训练信号的有效性，导致模型过度拟合静态背景特征，而非从对象级别的变化中学习。因此，选择具有信息量的帧子集而非使用全部帧来训练目标检测器，成为在训练效率和检测精度之间寻求更优平衡的关键策略。
现有研究主要通过两类途径解决该问题：一类聚焦于关键帧提取（key-frame extraction），基于运动边界、场景变化或固定时间间隔选择帧，但这些方法往往是启发式的，并未直接与目标检测的目标对齐；另一类强调检测中的时间一致性，如检测跟踪（tracking-by-detection）或时空特征聚合，但这些方法通常增加了推理复杂度，并未直接解决训练阶段的冗余问题。此外，现有研究较少关注训练数据的离线筛选这一数据集层面的问题。本研究正是定位于这一方向，提出了基于对象状态的数据筛选策略。
**二、研究内容与意义**
研究人员开展了基于对象状态的帧采样框架研究，旨在从视频序列中构建紧凑的有监督训练子集，同时保留与定位相关的对象状态变化。该框架设计用于离线数据集准备，在公开基准数据集中使用真实标注框（ground-truth boxes），在实际运营数据中使用教师模型生成的伪标注框（teacher-generated pseudo boxes）。筛选后的子集用于检测器训练，无需修改检测器架构或增加推理时的计算开销。
该研究的核心意义在于：第一，引入了一种基于对象状态的帧采样框架，通过逐对象锚点和IoU触发器优先保留活跃片段起始帧、对象出现事件和状态变化充分的帧；第二，通过等轮次效率扫描以及KITTI和Kgalagadi的匹配步数诊断实验，考察了对象状态保留和检测器信号对齐情况；第三，展示了实际监控工作流程中时间采样和类别对齐跨域融合（cross-domain fusion）分别发挥的不同作用——采样减少冗余，融合扩展多样性。
**三、关键技术方法**
该研究的核心技术路线包括以下几方面。（1）基于对象状态的帧采样器：利用真实标注框或教师模型生成的伪标注框，保留活跃片段起始帧和新出现对象，并通过IoU触发器判断逐对象边界框状态是否发生充分变化，从而决定是否保留当前帧。该规则仅依赖离线数据集准备阶段可用的框状态信息，在筛选过程中与检测器无关。（2）逐对象锚点机制：为每个可见对象维护一个参考框（reference box），当前帧中任一可见对象的边界框与其存储锚点的IoU小于等于预设阈值??时，该帧被选为关键帧，随后更新所有可见对象的参考框至新选中帧的状态。（3）时间填充（temporal padding）：在连续选中的关键帧之间插入??个中间帧，以恢复短程时间连续性。（4）跨域融合：在CCTV案例研究中，将MS COCO和BDD100K作为类别对齐的辅助图像池，在保留CCTV域作为监督锚源的前提下扩展外观多样性。公开基准数据集包括VisDrone-VID、UA-DETRAC、KITTI和Snapshot Kgalagadi；专有CCTV语料库包含2387个长固定摄像机序列、2,132,457帧提取图像和12,092,305个标注对象。
**四、主要研究结果**
（一）IoU阈值优化
IoU阈值??控制着对象级变化需达到何种程度才会将当前帧保留为新的关键帧。研究人员在VisDrone-VID上进行了等轮次阈值扫描实验。结果显示，??与检测精度之间呈非单调关系：全量训练mAP@50-95为0.122，??=0.0时为0.125（5432帧），??=0.2时为0.130（8916帧），??=0.5时为0.126（15823帧）。这表明存在连续性与冗余性之间的权衡——较低的??产生更强的压缩但牺牲时间信息连续性，较高的??保留更多中间状态但可能重新引入近似重复帧。??=0.2在该扫描中提供了一个经验性的操作平衡点。精度增益主要集中在中等和大尺寸目标上，小目标精度在不同??值间变化不大。
（二）等量帧预算诊断
在??=0.0对应的5432帧预算下，研究人员进行了三种子YOLOv5匹配预算实验。所提采样器mAP@50-95为0.1230±0.0014，接近全量训练的0.1233±0.0029，略高于均匀采样的0.1213±0.0017和随机采样的0.1210±0.0014，同时取得了最高的mAP@50（0.2587±0.0047）。以YOLO26n进行的检测器家族敏感性检查中，所提方法同样取得了最高的mAP@50-95（0.1147）。这些结果支持了精度保持型压缩而非在所有指标上一致占优的结论，与VisDrone-VID中多数采样帧仍包含有监督对象的特性一致。
（三）时间填充的影响
在??=0.0基础上插入??个中间帧的实验表明，轻度时间填充能改善纯关键帧子集的性能：??=1时mAP@50-95为0.130，??=2时为0.133，均超过全量训练的0.122。小目标的改善最为明显，从??=0时的0.046上升至??=2时的0.058，表明适度填充可以帮助弱目标或逐渐出现的目标变得更容易学习。但??=5和??=10时重新引入冗余、侵蚀增益，因此??应被理解为密度控制变量。
（四）训练效率提升
在等轮次VisDrone协议下，所提采样器通过减少训练过程中遍历的帧数提升了训练时间效率。在两块NVIDIA RTX 4080 Super GPU上，??=0.0训练速度约为全量训练的7.7倍，mAP@50-95仍更高；??=0.2训练速度约为4.7倍，mAP@50-95提升至0.130。
（五）UA-DETRAC目标密集场景诊断
在UA-DETRAC+YOLO26n的匹配预算实验（7443帧，三种子）中，所提方法取得了压缩方法中最高的平均mAP@50-95（0.4045±0.0046），均匀采样为0.3988±0.0020，随机采样为0.3986±0.0103，Motion_BBox为0.3895±0.0086。序列级可视化显示，Motion_BBox倾向于将帧集中在短暂的运动爆发段，而所提采样器基于对象出现和偏离锚点的累积变化，能够在序列全程分布选择帧。
（六）KITTI与Kgalagadi场景诊断
KITTI代表目标密集、背景稀疏的交通场景（4803帧中4628帧含伪正框）。在近似匹配步数设置下，所提方法mAP@50-95为0.3673±0.0051，与全量训练的0.3657±0.0021相当，均匀采样为0.3643±0.0040。对象状态事件覆盖分析表明，所提方法保留了100%的对象出现事件和98.8%的大尺度变化事件。
Kgalagadi代表背景主导、高度冗余的野生动物视频流。在等估计步数下，所提方法mAP@50-95为0.3878±0.0160，均匀采样降至0.3623±0.0279，随机采样降至0.3491±0.0186。Motion_BBox为0.3855±0.0305，表明在背景冗余占主导时，利用对象几何信息尤为重要。
（七）对象状态与检测器信号诊断
在VisDrone-VID、KITTI和Kgalagadi三个数据集上，被选中的帧一致地表现出比被丢弃帧或未选中对照帧更高的平均梯度范数（gradient norm）和总损失值。Kgalagadi的正帧对照进一步将对照集限制为含对象帧，仍显示选中帧的信号更强。这表明观察到的趋势并非仅因移除空背景帧所致，支持将对象状态变化作为选择具有更强检测器训练信号帧的实用几何代理。
（八）CCTV案例研究与跨域融合
在专有CCTV监控数据上的S-Case实验中，S-Case 2（??=1）在人、自行车、汽车、摩托车和公交车类别上取得最佳性能，S-Case 3（??=2）在卡车类别上取得最高分。跨域融合实验中，F-Case 4（CCTV+MS COCO+BDD100K）在报告类别上取得了最高的整体平均分，但融合收益呈类别依赖性——摩托车和卡车在CCTV+MS COCO组合下获益最多，自行车在CCTV+BDD100K组合下达到峰值。该流程中，YOLOv8-X仅用于预标注，采样后的CCTV帧经人工标注员验证和校正后用于微调部署用YOLOv5检测器。
**五、讨论与结论**
综合各数据集诊断结果，所提基于对象状态的筛选策略在不同视频场景下表现出场景依赖性效果。在VisDrone-VID、UA-DETRAC和KITTI等目标密集场景中，所提采样器在压缩方法中始终取得最高的平均mAP，但因许多均匀或随机选择的帧仍包含有监督对象，与对象无关的简单稀疏化方法仍具竞争力，适当的解读是压缩下的稳定竞争力而非大幅领先。在Kgalagadi背景主导场景中，利用对象状态或对象几何信息的优势更加明显。检测器信号诊断进一步支持了离线筛选规则倾向于保留具有更强检测器训练信号帧的结论。CCTV案例研究展示了该框架在实际监控工作流程中的可用性，其中帧采样和跨域融合发挥各自独立的作用。
研究结论如下：研究人员提出了一个基于对象状态的、以数据为中心的视频目标检测离线训练数据筛选框架。所提方法移除仅含背景的前缀帧，保留片段初始帧和对象出现帧，并在对象状态根据IoU触发器发生充分变化时选择额外帧。时间填充和类别对齐跨域融合被作为独立组件处理——填充恢复选中关键帧周围的短程连续性，融合利用辅助图像数据集扩展外观多样性。在VisDrone-VID上，选定的采样设置在等轮次训练下改善了精度-效率权衡，强压缩匹配预算诊断表明所提采样器保持了精度。KITTI和Kgalagadi诊断通过近似匹配或等步数训练预算、对象状态事件覆盖和检测器信号对齐扩展了这一解读。UA-DETRAC+YOLO26n的补充公开评估进一步支持了所提筛选规则在主要基准和检测器设置之外的竞争力。当前IoU触发器捕捉几何状态变化，但可能遗漏不发生大尺度框位移的纯外观变化。未来工作将扩展公开评估至更广泛的检测器和数据集设置，研究自适应或外观感知的触发规则，并考察长时遮挡或身份切换条件下的锚点更新替代方案。
