一种用于地面和空中视角下车牌检测、跟踪及计数的统一框架:结合YOLOv10-S与知识蒸馏技术
作者:Md Rezaul Karim Khan 和 Naphtali Rishe
《Remote Sensing》:A Unified Framework for Vehicle Detection, Tracking, and Counting Across Ground and Aerial Views Using Knowledge Distillation with YOLOv10-S
Md Rezaul Karim Khan and
Naphtali Rishe
【字体:
大
中
小
】
时间:2026年03月10日
来源:Remote Sensing 4.1
编辑推荐:
**亮点**
- 主要发现是什么?
- 提出的统一且模块化的框架有效地将车辆检测、多目标跟踪和基于轨迹的计数整合到一个一致的端到端流程中,该流程能够同时适用于地面和空中监控场景。
- 知识蒸馏技术在不修改架构的情况下增强了轻量级的YOLOv10-S检测器,提高了时间稳定性
**亮点**
- 主要发现是什么?
- 提出的统一且模块化的框架有效地将车辆检测、多目标跟踪和基于轨迹的计数整合到一个一致的端到端流程中,该流程能够同时适用于地面和空中监控场景。
- 知识蒸馏技术在不修改架构的情况下增强了轻量级的YOLOv10-S检测器,提高了时间稳定性,并增强了系统在多样视角下的整体可靠性。
- 主要发现的意义是什么?
- 该研究强调了从系统层面评估交通监控的重要性,因为协调的检测和跟踪直接影响到计数的准确性和鲁棒性。
- 所提出的框架为智能交通应用提供了实用且可扩展的基础,实现了跨领域的适应性和实时可行性,适用于实际交通监控。
**摘要**
- 在不同的监控平台上进行准确可靠的车辆检测、跟踪和计数是开发智能交通管理系统(TMS)和促进可持续城市交通的关键要求。深度学习在地面监控和遥感领域的最新进展为从高分辨率的空中和监控视频数据中提取详细车辆信息开辟了新的机会。我们的研究旨在提出一个统一的实时车辆分析框架,该框架将基于轻量级深度学习的检测、强大的多目标跟踪和基于轨迹的计数集成到一个模块化管道中。所提出的框架采用“You Only Look Once”系统(YOLOv10-S)作为检测骨干,并通过监督级的知识蒸馏来增强其鲁棒性,而无需引入任何架构修改。使用以观察为中心的多目标跟踪算法(OC-SORT)来确保时间一致性,从而在相机移动和交通密集的情况下保持稳定的车辆识别。车辆计数采用基于轨迹的虚拟门策略,减少了重复计数并提高了计数的可靠性。在UA-DETRAC和VisDrone基准测试上进行的全面实验表明,该框架在地面和空中监控环境中有效平衡了检测性能、跟踪鲁棒性、计数准确性和实时效率。此外,在直接训练-测试迁移下的跨数据集评估突显了领域转换的内在挑战,同时也显示出知识蒸馏在检测、跟踪身份一致性和车辆计数方面的持续改进。总体而言,该框架通过采用可扩展且实用的系统设计实现了有效的实际交通监控,其中可靠性优先于架构复杂性。
**1. 引言**
- 城市人口的迅速增长对交通基础设施造成了巨大压力。因此,准确可靠的车辆检测、跟踪和计数技术在智能城市基础设施和现代智能交通系统(ITS)中起着至关重要的作用[1]。现代道路网络由于规模和结构复杂性,需要持续的监控和战略管理。因此,准确及时的交通信息对于城市规划者和交通管理部门来说至关重要,以便减少拥堵、优化信号时机、提高道路安全并支持长期交通规划。过去几年中,深度学习和计算机视觉的进步[2]显著提高了从地面摄像头[3]和包括无人机在内的空中遥感系统[4]中提取车辆信息的能力。我们的研究旨在提出一个统一的实时车辆分析框架,该框架将基于轻量级深度学习的检测、强大的多目标跟踪和基于轨迹的计数整合到一个单一的模块化管道中。所提出的框架使用YOLOv10-S作为检测骨干,并通过监督级的知识蒸馏来增强其鲁棒性,而没有引入任何架构修改。时间一致性是通过以观察为中心的多目标跟踪算法(OC-SORT)来实现的,这使得在相机移动和交通密集的情况下能够保持稳定的车辆识别。车辆计数采用基于轨迹的虚拟门策略,减少了重复计数并提高了计数可靠性。在UA-DETRAC和VisDrone基准测试上进行的全面实验表明,该框架在地面和空中监控环境中有效平衡了检测性能、跟踪鲁棒性、计数准确性和实时效率。此外,跨数据集的评估直接突显了领域转换的固有挑战,同时也表明知识蒸馏在检测鲁棒性、跟踪身份一致性和车辆计数方面始终有所改进。总体而言,该框架通过采用可扩展且实用的系统设计实现了有效的实际交通监控,其中可靠性优先于架构复杂性。
**2. 相关工作**
- 计算机视觉研究人员广泛研究了自动化交通分析,主要集中在车辆检测、多目标跟踪和车辆计数上。这些任务通常独立处理,并在固定的相机视角或单一数据集下进行评估。实际交通监控系统越来越需要能够在多种场景下运行的统一框架,包括地面监控和空中图像。本节讨论了与车辆检测、跟踪和计数相关的研究,强调了在变化视角和数据集下的鲁棒性。
**2.1. 地面和空中交通场景中的车辆检测**
- 基于深度学习的检测器已成为车辆检测的主要方法,这得益于它们强大的表示学习和高效的推理速度。在交通监控应用中,像YOLO系列这样的单阶段检测器[18]因其高精度和高效处理能力而被广泛使用。后续版本如YOLOv5[19]和YOLOv8[20]引入了改进的特征聚合和训练策略,在城市交通场景中取得了优异的表现。基于变压器的检测器,包括RT-DETR[21],通过利用全局上下文建模和高效的端到端训练,在结构化交通环境中展示了具有竞争力的检测精度,尤其是在相机视角稳定的情况下。
- 与地面监控相比,空中图像中的车辆检测更具挑战性。在无人机场景中,车辆通常表现为非常小的对象,背景复杂。在多类场景中,当车辆外观相似(如厢式货车、皮卡和小型巴士)时,必须在进行视角扭曲或低分辨率的情况下区分它们[7]。尽管已经提出了许多用于监控视频和无人机图像的检测模型,但许多模型在面对多样化的观看条件时仍难以保持可靠的性能,特别是在需要准确的时间关联和稳定对象跟踪时。
- 除了检测之外,车辆计数引入了额外的复杂性。基于检测的计数方法对遗漏或重复的检测非常敏感,而基于跟踪的计数需要在帧间保持对象身份的一致性[8]。在基于无人机的交通监控中,无人机的快速移动和视角的突然变化进一步复杂化了计数,导致ID切换和跟踪中断增加[9]。一些研究探索了用于交通场景中车辆计数的检测和跟踪流程[10],还有其他研究提出了专门用于空中图像中小对象计数的模型[11]。尽管做出了这些努力,但在统一框架内结合准确的检测、强大的多目标跟踪和稳定的计数仍是一个未充分探索的领域。
- 先前工作中的另一个关键限制是在不同数据集和视角之间的泛化能力。大多数研究仅在单一数据集或固定的监控视角(无论是地面还是空中)内评估检测或跟踪性能。然而,实际交通系统的部署通常需要模型能够在异构的相机设置下运行,包括固定的地面摄像头和移动的空中平台。虽然已经提出了跨领域方法来缓解不同环境之间的领域转换,但很少有研究系统地检验在一个视角(例如地面CCTV)上训练的统一模型[12,13]在截然不同的视角(例如空中无人机)上的表现。这一差距限制了现有系统的实际应用能力。
- 为了应对这些挑战,本研究提出了一个实时框架,该框架具有统一但模块化的设计,用于车辆检测、跟踪和计数,能够在异构的监控领域中一致地运行。YOLO(“You Only Look Once”)是计算机视觉领域中最流行的对象检测框架之一。YOLOv10[14]是YOLO的一个最先进的开源软件实现,附带训练好的模型。YOLOv10-S是YOLOv10的轻量级版本,旨在低功耗设备上实现快速高效的同时仍然能够实时准确识别对象。我们提出的框架遵循检测-跟踪-计数的范式,使用YOLOv10-S作为轻量级检测骨干,采用以观察为中心的多目标跟踪算法(OC-SORT)[15]来确保时间一致性,并采用基于轨迹的计数策略来估计交通流量。在不引入架构修改的情况下,通过在监督层应用数据集自适应的知识蒸馏来增强检测的鲁棒性,同时保持实时效率。在UA-DETRAC数据集[16]和VisDrone数据集[17]基准测试上的实验结果证实,该框架在地面和空中监控环境中都能有效运行,并且对领域和视角差异具有鲁棒性。本研究中使用的一些单独组件,包括YOLOv10-S、知识蒸馏和OC-SORT,都是成熟的方法。本研究的新颖之处在于将它们结构化地整合到一个为异构交通监控场景设计的统一检测-跟踪-计数流程中。与之前独立优化检测、跟踪或计数的工作不同,我们的框架在地面和空中领域内系统地评估了它们之间的相互依赖性,采用了一致的实验协议。这种系统级设计使得可以控制各组件的分析并实现实际部署,而无需进行架构修改。
**3. 方法论**
- 我们设计了一个模块化且统一的框架,整合了车辆检测、多目标跟踪和基于轨迹的计数,使得在地面和空中监控场景中能够进行一致的交通分析。
- 知识蒸馏技术在不修改检测器架构的情况下应用,提高了检测的鲁棒性,同时保持了轻量级YOLOv10-S模型的效率。
- 采用以观察为中心的跟踪策略(OC-SORT)来减轻相机移动和视角突然变化导致的身份切换和轨迹分割,从而实现更可靠的车辆计数。
- 在UA-DETRAC(地面)和VisDrone(空中)基准测试上进行的广泛跨领域评估验证了该框架在多样交通场景下的鲁棒性和泛化能力。这一限制凸显了需要通用化的交通分析框架的必要性,这些框架能够使用固定的模型权重,在异构的视角下保持稳定的检测、跟踪和计数性能。3. 方法论在本项工作中,我们开发了一个模块化且统一的深度学习框架,用于车辆检测、跟踪和计数,该框架在地面监控和空中遥感场景中都能保持一致的性能。该方法论明确地将检测、跟踪和计数视为独立但相互关联的任务,从而能够在每个阶段进行公平的评估和有针对性的优化。整个流程遵循检测-跟踪-计数的范式,其中统一的检测器生成帧级别的车辆预测,多对象跟踪模块确保时间一致性,基于轨迹的计数模块估计车辆流量。总体架构旨在在保持高准确性的同时实现实时效率,并且在捕捉到不同视角、分辨率和交通密度的数据集时仍能保持可靠的性能。3.1. 总体框架构建所提出的框架在每个视频帧中单独检测车辆,然后通过检测到检测的方法将这些检测结果链接起来,以产生连续的轨迹。轻量级的卷积检测器作为前端,以确保实时可行性,而跟踪模块在检测器输出的基础上运行,以保持身份的一致性。车辆计数是作为后处理步骤进行的,使用的是跟踪到的轨迹而不是原始检测结果,这显著减少了由于遗漏或碎片化检测导致的重复计数,如图1所示。图1. YOLOv10-S检测器的知识蒸馏框架概览。性能的提升是通过有纪律的训练策略和知识蒸馏(KD)实现的,如第3.3节所讨论的,这使得检测器能够从更强的监督信号中受益,同时保持其原始架构和推理效率。这一设计决策清楚地表明,报告的性能提升是由于所提出的方法论流程,而不是对模型架构的改变。3.2. 车辆检测主干(YOLOv10-S)YOLOv10-S模型[14]作为我们提出的车辆检测框架中的核心检测主干。选择YOLOv10-S是因为其轻量级设计、快速的推理速度和可靠的实时检测性能,使其适合部署在资源有限的平台上,如边缘设备和无人机。与早期版本的YOLO不同,YOLOv10-S消除了非最大值抑制(NMS)的需要,同时保持了有竞争力的检测准确性。YOLOv10-S的架构与典型的YOLO框架一致,其中主干、-neck和head是其核心组成部分。主干:主干处理输入图像以获得有意义的特征,结合局部空间细节和全局语义上下文,以支持在多个尺度和视角下的稳健车辆检测。neck:neck结合来自多个尺度的特征,有效处理不同大小的车辆,并将这些信息传递给head。neck在处理地面监控场景中的大型车辆以及空中和遥感图像中的小型密集车辆时发挥着特别重要的作用。head:检测头在单一步骤中产生边界框坐标、置信度和车辆类别预测。这种联合预测机制允许在单次前向传递中完成检测和分类。对于输入帧???? ∈???×??×3,检测器输出一组预测:????={(??????,??????,??????)}??????=1 (1),其中?????? =(??????,??????,??????,?????)定义了由其位置和大小描述的边界框,??????指的是预测的车辆类型,??????衡量检测的置信度。在我们的框架中,检测器架构未经任何结构更改或自定义层,确保了所有实验和数据集之间的架构一致性。虽然这项工作主要集中在车辆检测、跟踪和计数上,但检测器的多类预测头也隐式支持了类别级别的车辆分类。每个检测到的车辆都会自动分配一个语义类别标签(例如,汽车、公交车、面包车),该标签随后通过跟踪阶段传播,以实现无需引入额外分类模块的分类意识分析。3.3. 增强车辆检测器的知识蒸馏策略知识蒸馏(KD)[33]指的是一种训练方法,其中强大的高容量教师模型通过共享其学习到的知识来指导较小的轻量级学生模型。目标是使学生模型能够在降低计算成本、内存使用和延迟的情况下达到教师级别的准确性,从而允许在实时或边缘环境中高效部署。如图1所示,学生模型使用教师提供的地面真实标签和软监督进行训练。图1展示了所提出的统一检测-跟踪-计数框架的总体架构,包括两个主要阶段:具有知识蒸馏的训练和推理/部署。在训练期间,教师模型(YOLOv10-M或RT-DETR-L)处理输入图像以生成软预测。这些预测被转换成伪标签,并进一步使用基于IoU的非最大值抑制(NMS)和置信度阈值过滤来提高标签的可靠性。然后使用双监督信号训练学生检测器(YOLOv10-S),地面真实注释提供硬监督,精炼的伪标签通过知识蒸馏提供软监督。在推理期间,仅部署精炼后的学生检测器以提高效率。检测到的边界框被传递给OC-SORT跟踪器,以便在帧之间进行身份关联,所得到的轨迹由基于轨迹的虚拟门模块用于计算车辆计数。这种模块化设计使得检测、跟踪和计数之间有明确的分离,同时保持了统一的评估框架。采用知识蒸馏方法来提升轻量级YOLOv10-S模型的检测性能,而不会引入额外的架构复杂性。在这个框架内,更强大的教师模型为训练数据生成高置信度的伪标签,这些伪标签与原始的地面真实注释结合,以监督YOLOv10-S学生模型的训练。让?????????表示迭代t时的地面真实注释,??????表示教师预测。合并的监督集定义为??*??=?????????∪????????? (2),其中??表示使用基于IoU的抑制规则移除的重复检测。地面真实边界框始终被保留,以防止监督 drift。学生模型使用与基线检测器相同的优化设置进行训练,确保性能提升完全归因于改进的监督,而不是训练条件的改变。检查了同族和跨架构(基于transformer的检测器)的蒸馏设置,以分析它们对检测泛化的影响。这种蒸馏驱动的增强构成了所提出方法论的核心组成部分。该方法不是改变检测器架构,而是利用改进的监督来加强特征学习和泛化,同时保持交通监控应用所需的实时效率。3.4. 多对象跟踪模块(OC-SORT)在本研究中,OC-SORT(Observation-Centric SORT)[15]被用作基于检测的跟踪框架中的多对象跟踪组件,其中帧级别的车辆检测在时间上关联起来,以保持连续视频帧之间的身份一致性,并实现可靠的车辆计数。让??={????}????=1 (3)表示跟踪到的轨迹集合,其中K表示在视频序列中跟踪到的对象总数。每条轨迹????对应于在多个帧中观察到的单个车辆,并表示为一系列有序的边界框:????={??1??,??2??,…,????????} (4),其中??????表示帧t时与对象k相关的边界框,????是对象最后一个可见的帧。OC-SORT主要基于连续帧中的检测之间的空间重叠和运动一致性来进行数据关联。用于关联的成本是使用交并比(IoU)指标计算的:IoU?(??????,?????1??)=∣??????∩?????1??∣∣??????∪?????1??∣。与简单的基于IoU的跟踪器不同,OC-SORT显式地使用基于速度的状态估计来模拟对象运动,并应用相机运动补偿,将对象运动与全局相机位移解耦。这种设计显著提高了在相机运动、突然的视角变化和快速移动的平台下的跟踪鲁棒性,这在空中交通监控中很常见。OC-SORT使用运动连续性而不是外观嵌入来实现可靠的身份保持,并且计算复杂度低。这使得它非常适合大规模交通视频分析和实时部署场景,同时在其他跟踪器在相机运动存在的情况下提供更稳定的轨迹。除非另有规定,否则OC-SORT跟踪参数(如IoU关联阈值、最大跟踪年龄和最小初始化命中次数)遵循原始实现的默认配置。在我们的实验中没有应用特定于数据集的超参数调整,以确保在所有评估场景中都能进行公平、一致和可复制的比较。3.5. 基于轨迹的车辆计数本研究中的车辆计数使用基于轨迹的计数策略,而不是基于帧级别的检测计数。通过利用从多对象跟踪模块获得的连续对象轨迹,每个车辆仅根据其运动历史被计数一次,有效地减少了由于连续帧中重复检测导致的重复计数。所提出的方法采用基于跟踪的虚拟门机制,其中预定义的空间区域被放置在场景中以监控车辆流量。这些虚拟门可能对应于车道边界、道路段或入口-出口线,具体取决于相机视角和交通布局。每个虚拟门的位置和方向在整个视频序列中保持固定,并作为计数车辆穿越的参考区域。在本研究中,虚拟门是根据车道方向和主要交通流向为每个视频序列手动定义的。它们在评估期间不会动态调整或自动生成。让G表示预定义的虚拟门区域,让???? ={??1??,??2??,…}表示第k辆车的轨迹。总车辆计数为??=??∑??=1???(??????s.t.???????(??)∩??≠?) (6),其中???( ·)表示指示函数,如果条件满足则取值1,否则取值0。这种表述确保即使车辆在门区域附近或内部停留多个帧,也最多只计数一次。为了进一步提高计数可靠性,在计数阶段会过滤掉短暂或不稳定的轨迹,抑制可能由错误检测或短暂定位错误引起的虚假轨迹。通过将跟踪性能与计数逻辑解耦,所提出的策略能够在密集的交通场景中实现稳健和可扩展的车辆流量估计。总体而言,基于轨迹的虚拟门方法为车辆计数提供了稳定且计算效率高的解决方案,非常适合高密度交通监控和基于无人机的监控场景,其中准确和一致的计数至关重要。对于基于轨迹的车辆计数,应用了最小轨迹长度约束来抑制短暂或不稳定的轨迹。当车辆的精炼轨迹与预定义的虚拟门区域相交时,该车辆被计数一次。这些计数参数在所有数据集中保持不变,不进行任何特定于数据集的调整或调节。3.6. 特征表示在所提出的框架中,特征提取是在检测器和跟踪模块内部隐式执行的,而不是作为一个独立的组件。空间视觉特征是通过YOLOv10-S主干的中间卷积层学习的,从而实现车辆在不同分辨率和视角下的稳健多尺度表示。时间信息是通过OC-SORT跟踪器生成的持久跟踪身份隐式捕获的,该跟踪器聚合了跨帧的空间观测,以提高时间一致性。没有进行显式的特征级监督或独立的特征评估,因为特征学习是通过检测准确性、跟踪稳定性和车辆计数性能间接体现的。3.7. 对比用的基线模型为了评估所提出框架的有效性,选择了几种最先进的对象检测器作为基线模型,包括YOLOv5s [34]、YOLOv8n [35]、YOLOv10-M [14]和RT-DETR-L [36]。这些模型代表了不同的检测范式,从轻量级卷积检测器到基于变压器的架构不等。为了确保公平比较,所有基线模型都遵循相同的训练设置,包括数据集划分、类别定义、输入分辨率和数据增强。YOLOv10-S被用作主要的检测主干,而YOLOv10-M和RT-DETR-L还被用作知识蒸馏实验中的教师模型。对于多对象跟踪和车辆计数,采用OC-SORT [15]作为主要的跟踪算法,同时评估ByteTrack [27]、BoT-SORT [28]和DeepSORT [26]作为基线跟踪器,以分析不同运动关联策略对跟踪和计数性能的影响。3.8. 跨数据集的训练策略所提出的框架使用多个基准数据集进行训练和评估,这些数据集代表了不同的 sensing 模式和交通视野。UA-DETRAC-DET和VisDrone-DET用于车辆检测实验,以便在地面监控和空中遥感条件下进行评估。对于跟踪和计数分析,使用相应的多对象跟踪基准UA-DETRAC-MOT和VisDrone-MOT,以确保与标准MOT评估协议的兼容性。跨数据集采用统一的训练策略,其中保持相同的检测架构和学习框架,同时通过适当的输入分辨率和监督来处理数据集特定的特征。这种设计避免了架构偏见,并允许在数据集之间进行公平比较。需要注意的是,在所提出的框架中,只有检测模块(YOLOv10-S)会进行训练。OC-SORT跟踪算法和基于轨迹的计数策略是确定性的推理阶段组件,不涉及可学习的参数,也不参与训练过程。这种设计确保了检测学习和下游跟踪及计数评估之间的模块化分离。所提出的方法将车辆检测、跟踪和计数集成在一个统一但模块化的框架中,适用于地面监控和空中交通监控。通过保持架构一致性、应用跨数据集评估以及使用共同的跟踪和计数策略,该框架能够对智能交通系统的实际适用性进行严格和公平的评估。4.**实验与结果**
在本节中,我们概述了用于评估所提出的车辆检测、跟踪和计数框架性能的实验配置和定量评估方法。本工作的评估分别使用适合任务的基准和指标进行,遵循第3节中描述的方法论设计。所有评估都在未见的测试数据上进行,以避免偏差并确保性能评估的可靠性。
4.1. 数据集和类别映射
通过在对两种广泛使用的公共数据集进行的实验来检验所提出框架的鲁棒性,这两种数据集反映了不同的交通监控视角:UA-DETRAC[16](一个基于地面的固定摄像机数据集)和VisDrone(一个基于无人机的数据集)。结合这些数据集,可以评估模型在不同环境条件、视角和对象规模下的性能。图2展示了这两个数据集的代表性示例,突出了地面级和空中交通监控场景之间的根本差异。
4.1.1. UA-DETRAC
UA-DETRAC数据集[16]是一个为真实世界交通监控场景中的多目标车辆检测和跟踪设计的大规模基准,由阿尔伯塔大学和中国科学技术大学联合发布,广泛应用于智能交通研究。它由部署在城市交叉口和高速公路上的固定交通摄像机捕捉的长视频序列组成。视频序列以每秒25帧的速率录制,分辨率为960×540像素,涵盖了包括光照变化、天气(白天、夜晚、下雨)和夜间场景在内的各种交通条件。该数据集定义了四种车辆类别:汽车、公交车、货车以及一个通用的其他类别。
在本研究的检测实验中,将原始的UA-DETRAC-DET注释转换为YOLO格式,以支持所有检测模型的一体化训练。在预处理过程中排除了没有有效边界框注释的图像,以确保标签的一致性。为了减少时间冗余并减轻由高度相关连续帧引起的过拟合,采用了时间采样策略,即每五个连续帧中选取一个帧。应用这种采样策略后,处理后的UA-DETRAC-DET数据集包括18,810张训练图像、4,304张验证图像和4,562张测试图像,总计27,676张图像。这些划分在所有实验中保持不变,以确保公平和可复制的比较。
对于跟踪和车辆计数,使用了UA-DETRAC-MOT基准,该基准保留了原始的视频序列和身份注释。这个数据集允许在标准MOT协议下进行轨迹级别的评估,专门用于跟踪和计数实验。
4.1.2. VisDrone
VisDrone数据集[17]用于在空中监控条件下评估所提出的框架。该数据集由天津大学AISKYEYE研究组使用无人机安装的摄像机收集,支持在包括城市道路、居民区和高速公路在内的多样化真实世界场景中的对象检测和跟踪任务。图像在不同的光照和天气条件下拍摄,分辨率范围从1920×1080到2000×1500像素,这对检测小型和密集分布的对象提出了重大挑战。
在本研究中,我们专注于与交通分析相关的车辆类别,包括汽车、货车、卡车和摩托车,同时排除了非车辆对象类别。与UA-DETRAC-DET不同,VisDrone-DET数据集已经提供了适合检测任务的稀疏采样和多样化的帧。因此,在训练和评估过程中没有应用额外的时间下采样,保留了所有可用帧。经过预处理并确保注释质量后,用于评估的VisDrone-DET数据集包括6286张训练图像、543张验证图像和1578张测试图像,总计8407张图像。
对于跟踪和车辆计数评估,使用了VisDrone-MOT数据集,该数据集提供了跨帧的一致对象身份的序列级注释。这个数据集专门用于评估在以摄像机运动、规模变化和密集对象分布为特征的空中条件下的跟踪性能。通过使用VisDrone-MOT进行跟踪和计数,所提出的框架在具有时间一致性和运动鲁棒性的真实无人机监控场景下进行了评估。
对于这两个数据集,测试分割包含未见数据,仅用于最终性能评估,而验证分割仅用于模型选择和超参数调整。这种实验协议确保了无偏的评估,并防止了任何形式的数据泄露。
4.2. 实现细节
实验是在配备四个NVIDIA A100 GPU(每个80 GB HBM2)的高性能计算服务器上进行的,提供了足够的资源进行大规模深度学习训练和评估。所有运行都使用了基于CUDA的GPU加速,CUDA版本为12.8,NVIDIA驱动程序版本为545.23.08。软件环境使用PyTorch 2.9.0配置,在基于Python的虚拟环境中运行。底层系统架构是x86_64,由具有96个逻辑处理核心的多插座Intel CPU配置提供支持,使得在训练期间能够高效加载数据和并行处理。
对于车辆检测,所有模型都使用AdamW优化器进行训练,结合了余弦学习率调度和短暂的预热期。初始学习率根据每个模型的能力进行调整,而在所有实验中使用了统一的权重衰减值来支持正则化。训练进行了最多200个周期,通过验证性能来指导提前停止,以减少过拟合。轻量级基于YOLO的模型使用较大的有效批量大小32进行训练,以提高梯度稳定性,而基于Transformer的模型则使用较小的批量大小16进行训练,因为它们需要更多的内存。
在UA-DETRAC-DET数据集上训练的所有模型都使用了960像素的输入图像大小,而对于VisDrone-DET,则使用了较大的输入分辨率1344像素,以更好地保留小对象的细节。在训练期间应用了适合交通场景的保守数据增强策略,包括随机水平翻转、有限的马赛克增强、HSV抖动、尺度变化和随机裁剪,而验证和测试则不进行增强。
对于跟踪和计数实验,重新使用了相同的训练好的检测器权重,仅改变跟踪算法。这种设计隔离了跟踪策略的效果,确保跟踪和计数性能的差异不受检测变化的影响。
4.3. 评估指标
所提出的车辆检测-跟踪-计数框架使用标准的对象检测和多对象跟踪指标进行评估,并补充了计数准确性和计算效率。
**检测指标:**
为了评估检测性能,我们使用了标准指标,包括平均精度(AP)、平均精度(mAP)、精确度(P)、召回率(R)和F1分数。
精确度表示真实车辆检测数量与预测检测数量之比,如公式(7)所示:
$$ P = \frac{T_{\text{true}}{\text{T}_{\text{total} + \text{F}_{\text{false}}} $$ (7)
其中,$ T_{\text{true}} $ 表示真实正例检测的数量,$ \text{F}_{\text{false}} $ 表示假正例的数量。
召回率表示在真实场景中存在的车辆中有多少被成功检测到,如公式(8)所示:
$$ R = \frac{T_{\text{true}}{\text{T}_{\text{total} + \text{F}_{\text{false}}} $$ (8)
其中,$ \text{F}_{\text{false}} $ 表示假负例的数量。精确度和召回率共同解释了错误检测和遗漏对象之间的平衡。
为了提供一个结合精确度和召回率的平衡度量,计算F1分数,如公式(9)所示:
$$ F_1 = 2 \cdot \frac{P}{R} $$ (9)
为了评估在不同置信阈值下的检测性能,使用了精确度-召回率(P-R)曲线,并定义了每个类别下曲线下的面积作为平均精度(AP),如公式(10)所示:
$$ AP = \int_{0}^{10} P(x) R(x) \, dx $$ (10)
mAP指标是通过平均每个车辆类别的平均精度结果计算得出的。本研究考虑了两种评估设置。第一种,记为mAP@0.5,当预测和真实边界框的IoU值高于0.5时,将检测记为正确。第二种,mAP@0.5:0.95,汇总了从0.50到0.95之间的多个IoU阈值的性能,从而提供了更严格的定位准确性评估。
**跟踪指标:**
为了评估多对象车辆跟踪性能,我们使用了MOTA、IDF1和IDSW。
MOTA(多对象跟踪精度)通过将遗漏检测、假正例和身份切换的影响合并为一个指标来衡量整体跟踪精度,如公式(11)所示:
$$ MOTA = 1 - \sum_{t} \left( 1 - F_{\text{false}}^{t} + F_{\text{true}}^{t} + F_{\text{identity switch}}^{t} \right) $$ (11)
其中,$ F_{\text{true}}^{t} $ 表示时间t时的真实对象数量,$ F_{\text{false}}^{t} $、$ F_{\text{true}}^{t} $ 和 $ F_{\text{identity switch}}^{t} $ 分别表示遗漏检测、假正例和身份切换的数量。
身份F1分数(IDF1)衡量了整个跟踪序列中对象身份的一致性,定义为身份精确度和身份召回率的调和平均值,如公式(12)所示:
$$ IDF_1 = 2 \cdot \frac{F_{\text{true}}^{t} \cdot F_{\text{true}}^{t} + F_{\text{false}}^{t} + F_{\text{identity switch}}^{t} } $$ (12)
其中,$ F_{\text{true}}^{t} $、$ F_{\text{false}}^{t} $ 和 $ F_{\text{identity switch}}^{t} $ 分别表示身份正例、身份假正例和身份假负例的数量。
此外,还报告了身份切换的总数(IDSW),以量化跟踪过程中的身份变化频率。较低的IDSW值表示更好的时间一致性,这对于在密集交通场景中准确的轨迹重建和车辆计数至关重要。
**计数指标和运行效率:**
由于准确计数是交通监控应用中的关键目标,因此使用了基于错误和基于准确性的指标。
绝对计数误差(ACE)定义为预测车辆计数与真实车辆计数之间的标准化百分比差异,如公式(13)所示:
$$ ACE = \left| \frac{\text{C}_{\text{predicted}}{\text{C}_{\text{true}} \right| \times 100 $$ (13)
其中,$ \text{C}_{\text{predicted}} $ 和 $ \text{C}_{\text{true}} $ 分别表示预测和真实的车辆计数。
计数准确性(CA)用作评估计数性能的标准化指标,如公式(14)所示:
$$ CA = 1 - \left| \frac{\text{C}_{\text{predicted}}{\text{C}_{\text{true}} \right| $$ (14)
ACE和CA都是针对每个视频序列单独计算的,然后在对所有评估序列进行平均。由于跨序列的独立平均,CA在汇总形式下并不严格等于1 - ACE/100。
表格中的GT Count和Pred Count列表示跨序列的累计总数,仅供参考;它们不直接用于计算CA和ACE。
较低的ACE值和较高的CA值表示更可靠的车辆计数性能。
除了准确性外,还使用平均每帧推理延迟(以毫秒计,infer_ms)和相应的处理速度(以帧每秒计,FPS)来报告运行性能,如公式(15)所示:
$$ FPS = \frac{1000}{infer_ms} $$ (15)
这些运行指标直接从测试脚本的评估输出中获得,表明系统是否能在接近实时的约束下运行。
4.4. 检测结果和比较
4.4.1. UA-DETRAC-DET数据集上的结果
首先在UA-DETRAC-DET测试集上评估了检测性能,以评估该框架在地面交通监控场景中的有效性。对于这个数据集,选择了RT-DETR作为教师模型进行知识蒸馏,因为它具有捕捉全局上下文的强大能力,并且在固定摄像机交通环境中表现出良好的鲁棒性,同时与YOLOv10-S学生模型兼容。
**整体检测性能:**
表1总结了UA-DETRAC-DET测试集上的整体检测结果。在所有评估的模型中,从RT-DETR蒸馏出的YOLOv10-S变体取得了最强的性能,mAP@0.5达到了77.54%,mAP@0.5:0.95达到了62.02%,同时保持了160.46 FPS的实时推理速度。与标准YOLOv10-S基线相比,蒸馏过程在mAP@0.5上提高了1.87个百分点,在mAP@0.5:0.95上提高了1.74个百分点,表明在更严格的IoU标准下实现了更精确的对象定位,而计算成本没有增加。
表1. UA-DETRAC-DET测试集上的整体定量检测性能比较。与YOLOv10-M相比,蒸馏出的YOLOv10-S在更高的推理速度下实现了相当的准确性,使其更适合实时交通监控。RT-DETR-L表现出强烈的召回率,但其推理速度显著降低,限制了其实际应用性。轻量级基线如YOLOv5s和YOLOv8n虽然实现了更高的吞吐量,但定位准确性较低。总体而言,结果表明,监督级知识蒸馏使YOLOv10-S在准确性和效率之间实现了良好的平衡。
**与参考方法的比较:**
除了本研究评估的方法外,表1还列出了几个代表性的参考检测器以提供上下文比较。在同一篇由You等人[37]的研究中,YOLOv8-S实现了64.20%的mAP@0.5和46.60%的mAP@0.5:0.95,其增强了的变体YOLOv8-S with CG-Down、C2f-DRB和Soft-NMS将这些分数分别提高到了73.20%和55.40%,而YOLOv8-M在135 FPS下实现了64.0%的mAP@0.5。然而,所提出的YOLOv10-S(从RT-DETR蒸馏得到)在没有引入额外架构组件的情况下超越了所有这些变体。同样,YOLOv9-S [38]实现了65.1%的mAP@0.5和48.0%的mAP@0.95,尽管在更高的IoU评估标准下仍略低。两阶段检测器如Faster R-CNN [39]达到了66.3%的mAP@0.5,但运行速度仅为39 FPS,限制了其实时适用性,而RetinaNet [40]的定位性能较弱,mAP@0.5:0.95仅为32.1%。尽管YOLO-FA [41]实现了具有竞争力的速度(163 FPS),但其定位准确性仍低于YOLOv10-S(从RT-DETR蒸馏得到),特别是在更严格的IoU阈值下。总体而言,这些比较表明所提出的方法在检测准确性和实时性能之间取得了更好的平衡,同时没有增加架构复杂性。
**类别检测性能:**如表2所示,在UA-DETRAC-DET测试集上的类别检测结果显示,从RT-DETR中提取的YOLOv10-S在每个车辆类别上都取得了比基线更好的性能,特别是在更严格的IoU水平下。对于汽车类别,mAP@0.5从89.82%提高到了90.11%,mAP@0.5:0.95从65.25%提高到了65.78%,表明在密集交通场景中的检测更加稳定。精度和召回率的提高意味着在密集交通场景中 missed 的车辆更少。公交类别的改进更为显著,mAP@0.5从81.87%提高到了86.03%,mAP@0.5:0.95从75.45%提高到了78.16%,反映出在遮挡条件下对大型车辆的更好定位。货车类别的改进虽然适度但一致,特别是在召回率(66.51% to 72.05%)和mAP@0.5:0.95(58.20% to 58.57%)方面。总的来说,这些结果表明从RT-DETR中提取的方法在不修改检测器架构的情况下提高了对于频繁和具有挑战性的车辆类别的定位鲁棒性,这对于下游的跟踪和车辆计数任务非常有益。
**图3**展示了在日光、夜间和雨天条件下捕获的代表性UA-DETRAC-DET测试图像的定性比较。虽然基线YOLOv10-S(红色框)在清晰场景中的表现良好,但在黄色突出的具有挑战性的区域中出现了 missed 或检测不准确的情况。知识提取模型(绿色框)提高了检测的完整性和定位的稳定性,特别是在光照不足、运动模糊和湿路面反射的情况下。总的来说,定性比较确认了在不同的环境条件下,监督级别的知识提取提高了鲁棒性,而不会改变网络架构。
**4.4.2. VisDrone-DET 数据集上的结果**为了评估该框架在空中监视环境中的表现,我们在VisDrone-DET测试集上进行了检测实验。与UA-DETRAC-DET数据集相比,VisDrone-DET的数据集具有更高的挑战性,因为摄像机的高度更高、物体分布更广泛、遮挡情况更频繁。对于VisDrone-DET,我们选择了YOLOv10-M作为知识提取的教师模型,因为它在应对空中图像和尺度变化方面表现更强,并且与YOLOv10-S的学生模型在架构上兼容。
**总体检测性能:**如表3所示,基于YOLO的轻量级检测器在这些条件下保持了较高的推理速度,但在严格的IoU阈值下定位准确性有限。在这个实验中,基线YOLOv10-S的mAP@0.5达到了55.77%,mAP@0.5:0.95达到了36.24%,推理速率为131.58 FPS,这反映了准确性和速度之间的合理平衡。在应用了来自YOLOv10-M的知识提取后,学生模型的mAP@0.5提高到了59.14%,mAP@0.5:0.95提高到了38.79%,相应的绝对增益分别为+3.37%和+2.55%,同时推理速度提高到了174.57 FPS。与早期的轻量级基线YOLOv5s和YOLOv8n相比,尽管它们的帧率更高(超过180 FPS),但其检测准确性明显较低。相比之下,更重型的YOLOv10-M达到了相似的检测准确性(mAP@0.5为59.09%),但运行速度仅为85.45 FPS。因此,提取后的YOLOv10-S在保持较高准确性的同时,吞吐量提高了两倍以上。尽管RT-DETR-L在召回率方面表现强劲(55.59%),但其较低的推理速度(27.05 FPS)对实时无人机部署构成了重大挑战。总体而言,定量结果表明知识提取使YOLOv10-S能够在保持较高准确性的同时大幅提高推理速度,这对于实时空中交通监控至关重要。
**与参考方法的比较:**除了本工作中评估的方法外,表3还包括了几个具有代表性的参考检测器进行对比。我们可以看到,与提取后的YOLOv10-S相比,YOLOv8n的mAP@0.5仅为26.7%,mAP@0.5:0.95仅为14.8%,表明其在空中监视条件下的鲁棒性有限。同样,RT-DETR-UAVs的检测准确性提高到了39.2% mAP@0.5和23.1% mAP@0.95,但在更严格的IoU评估标准下仍然明显低于提取后的模型。在基于CNN的无人机导向检测器中,Zhang等人展示了50.8% mAP@0.5和31.0% mAP@0.95的定位准确性,虽然比早期的轻量级方法有所改进,但仍不如我们提取后的YOLOv10-S。其他无人机导向的检测器,包括OSD-YOLOv10、FFCA-YOLO和Gold-YOLO,在整体准确性和效率的权衡方面没有表现得更出色。这些比较进一步证实了YOLOv10-S(从YOLOv10-M中提取)在不引入额外架构复杂性的情况下实现了更好的检测鲁棒性。
**类别检测性能:**YOLOv10-S(基线)和YOLOv10-S(从YOLOv10-M中提取)在VisDrone-DET测试集上的类别检测性能如表4所示。在汽车类别中,知识提取后的YOLOv10-S表现出明显的性能提升,mAP@0.5增加了2.14%,mAP@0.5:0.95增加了1.92%,同时精度和召回率也更高。这表明在空中视角下能够可靠地检测到最常见的车辆类型。公交类别也显示出显著改进,mAP@0.5从63.20%提高到了65.09%,mAP@0.5:0.95从46.36%提高到了47.99%,反映出在复杂场景中对大型车辆的更好定位。提取后的模型在货车和卡车的定位准确性和召回率上也有所提高,这些车辆在无人机图像中受到尺度变化和背景杂乱的影响。摩托车也有改进,但由于其体积小和视觉线索弱,性能仍然有限。总体而言,结果显示知识提取在所有车辆类别中一致提高了检测准确性,特别是在具有挑战性的空中监视条件下。
**图4**展示了在代表性的VisDrone-DET空中场景中的定性检测结果,包括明亮的日光、夜间照明和密集交通条件。与基线模型相比,提取后的YOLOv10-S在小物体检测能力和高密度区域中的定位稳定性方面有所改进。在密集的空中场景中,基线模型(红色框)偶尔会错过紧密排列的车辆或产生碎片化的检测结果,如黄色区域所示。知识提取模型(绿色框)减少了 missed 的检测并保持了更一致的边界框放置,特别是在被遮挡和混乱的环境中。这些定性观察进一步证实了通过知识提取实现的鲁棒性和检测稳定性的提升。
**4.5. 跟踪结果**
**4.5.1. UA-DETRAC-MOT 数据集上的结果**
尽管提取后的YOLOv10-S在帧级检测准确性上表现最佳,但跟踪性能主要受时间检测一致性而非单帧定位的影响;因此,在以下实验中独立评估了检测器-跟踪器组合的选择。本小节报告了在UA-DETRAC-MOT测试分割上使用通过RT-DETR的知识提取训练的固定YOLOv10-S检测器的多目标车辆跟踪结果。表5比较了使用不同跟踪算法的性能,确保性能差异可归因于跟踪器本身。OC-SORT在评估的方法中表现突出,显示出最佳的总体性能,IDF1(88.50%)和MOTA(82.23%)得分最高,同时身份切换次数(888 IDSW)相对较少。相比之下,BoT-SORT达到了类似的IDF1(88.36%),但身份碎片化程度显著更高(1975 IDSW),而ByteTrack的整体准确性较低。DeepSORT在密集交通场景中的表现不佳,MOTA仅为26.01%。这种行为主要是由于在密集交通条件下频繁的身份切换和轨迹碎片化造成的,导致误报和关联丢失显著增加。这些结果表明,在实际交通条件下,OC-SORT提供了最佳的跟踪准确性和身份稳定性之间的平衡。
**4.5.2. VisDrone-MOT 数据集上的结果**
在本小节中,我们报告了在VisDrone-MOT测试集上使用17个视频序列进行的多目标车辆跟踪结果。表7首先比较了使用通过YOLOv10-M的知识提取训练的固定YOLOv10-S检测器的不同多目标跟踪算法。在所有评估的跟踪器中,OC-SORT表现最为平衡,结合了最高的IDF1(46.45%)和MOTA(34.11%),并且身份切换次数(1031 IDSW)少于ByteTrack和DeepSORT。BoT-SORT的IDF1(41.75%)和身份切换次数(573 IDSW)也具有竞争力,但其整体跟踪准确性仍然低于OC-SORT。DeepSORT在这种空中场景中的表现较差。由于在快速摄像机运动和尺度变化下严重的身份碎片化,DeepSORT产生了负的MOTA值。由于负的MOTA主要由累积的检测和关联误差引起,并不提供有意义的比较洞察,因此从表7中省略了这些结果。这些结果证实了OC-SORT为基于无人机的交通场景提供了更可靠的身份关联和时间一致性。
**4.6. 计数准确性**
**4.6.1. 在UA-DETRAC-MOT 数据集上的结果**
如表9所示,使用基于轨迹的虚拟门计数方法在UA-DETRAC-MOT数据集上评估了车辆计数性能,该方法基于改进的OC-SORT跟踪流程。与其他评估的检测器相比,从RT-DETR中提取的YOLOv10-S实现了最准确的计数结果,具有最高的CA(89.20%)和最低的ACE(11.17%)。其预测的车辆计数(8753)最接近真实计数(8256),表明轨迹稳定性得到改善,重复或 missed 的计数减少。这表明知识提取有助于随时间更一致的检测,从而直接惠及基于轨迹的车辆计数。相比之下,基线YOLOv10-S的计数准确性较低,CA为85.97%,ACE为14.95%,尽管其检测性能较强。这种下降主要是由于轨迹碎片化和身份不稳定性导致的,当车辆多次穿过虚拟门时会产生过度计数。其他轻量级检测器,如YOLOv5s和YOLOv8n,虽然推理速度较快,但由于跟踪稳定性较低,计数误差增加。
**4.6.2. 在VisDrone-MOT 数据集上的结果**
根据表10,从YOLOv10-M中提取的YOLOv10-S在其他检测器中表现出更优越的计数性能,CA为72.96%,ACE为27.03%。预测的车辆数量(1665辆)与实际数量(2211辆)最为接近,这表明在具有挑战性的空中条件下,轨迹的平滑性得到了提高,过门行为也更加一致。相比之下,基线检测器的计数准确性要低得多。YOLOv10-S的准确率为63.48%,而YOLOv8n和YOLOv10-M分别达到了60.90%和60.65%的类似结果。尽管这些探测器在检测阶段的表现尚可,但在空中场景中,它们的轨迹更为碎片化,导致计数遗漏或重复。RT-DETR-L的计数性能最弱,准确率为52.01%,但平均认证误差(ACE)最高,为49.61%,这说明仅靠强大的检测能力并不能保证在基于无人机的交通环境中进行可靠的车辆计数。表10展示了使用基于轨迹的虚拟门计数和精炼的OC-SORT跟踪流程在VisDrone-MOT数据集上的车辆计数性能。总体而言,UA-DETRAC-MOT和VisDrone-MOT的结果表明,车辆计数准确性受到轨迹稳定性的强烈影响,而不仅仅取决于帧级别的检测准确性。通过知识蒸馏来提高时间检测的一致性,并将其与精炼的OC-SORT跟踪结合,所提出的框架在地面和复杂的空中监控条件下实现了更加可靠的车辆计数。
4.7. 跨数据集泛化
为了评估所提出框架的泛化能力,我们通过直接将训练好的模型转移到新的数据域来进行跨领域实验,而无需任何重新训练或特定于领域的调整。这些模型是从源数据集学习而来的,并在目标数据集上进行评估,目标数据集在视角和场景结构上存在显著差异。具体来说,UA-DETRAC数据集代表基于地面的固定相机交通监控,而VisDrone数据集代表基于无人机的空中交通场景。表11报告了直接数据域转移下的跨领域检测性能。当在UA-DETRAC-DET上训练的模型在VisDrone-DET上评估时,由于尺度、视角和背景复杂性的巨大差异,检测准确性显著下降。基线YOLOv10-S的mAP@0.5为12.41%,而经过知识蒸馏的YOLOv10-S将其提高到了14.85%。对于更严格的定位标准,mAP@0.5:0.95从8.60%提升到了10.67%,也观察到了类似的趋势。反向转移时也有类似的现象。当在VisDrone-DET上训练并在UA-DETRAC-DET上评估时,基线YOLOv10-S的mAP@0.5为28.13%,而蒸馏后的模型将检测准确性提高到了29.46%。这些结果表明,即使没有重新训练,知识蒸馏也能一致地增强跨领域检测的鲁棒性,因为它产生了更稳定、更可转移的特征表示。
表11. 在不进行重新训练的情况下,直接进行训练-测试数据域转移时的跨领域检测性能。进一步使用固定的OC-SORT跟踪器评估了跨领域的跟踪和车辆计数性能,如表12所示。在UA-DETRAC-MOT → VisDrone-MOT的转移中,跟踪性能有限,使用蒸馏后的检测器时IDF1从8.72%提高到13.12%,同时计数准确性也从12.50%增加到17.31%。在VisDrone-MOT → UA-DETRAC-MOT的设置中,跟踪和计数性能明显提高,IDF1从55.24%提高到了57.96%,计数准确性也随之提升。由于数据域的严重不匹配,在几个跨领域跟踪设置中MOTA变为负值,因此被省略了,因为在这种情况下它主要由检测错误主导,无法提供有意义的比较洞察。
表12. 使用在源数据域上训练的检测器,在直接训练-测试数据域转移下的跨领域跟踪和车辆计数性能。总体而言,尽管在直接跨领域转移时绝对性能仍然有限,但使用知识蒸馏的YOLOv10-S与基线模型相比,一致显示了检测、跟踪一致性以及车辆计数准确性的提升。
5. 讨论
本研究探讨了一个统一的检测-跟踪-计数框架,用于包括基于地面的固定相机和空中无人机图像在内的异构环境中的交通监控。实验结果表明,可靠的车辆分析不仅需要强大的帧级别检测能力,还需要稳定的时间关联性,特别是对于跟踪和计数等下游任务。检测实验表明,监督级别的知识蒸馏可以在不修改探测器架构或增加计算成本的情况下提高定位准确性和鲁棒性。在UA-DETRAC和VisDrone数据集中,蒸馏后的YOLOv10-S在更严格的IoU阈值下始终优于未经蒸馏的对应模型。尽管教师模型通常具有更大的表征能力,但在特定基准测试中,蒸馏后的学生模型有时可以匹配甚至超过教师模型。这种行为可能归因于知识蒸馏中软标签的规范效应,它鼓励决策边界的平滑,并减少了过拟合。在某些情况下,较大的教师模型可能会稍微过拟合训练数据分布,而轻量级的学生模型则受益于受限的容量和精细的监督。因此,在特定数据集条件下,蒸馏后的YOLOv10-S表现出竞争性或更优越的性能。然而,结果也表明,检测准确性的提高并不总是意味着更好的隔离跟踪性能,这突显了在统一的流程中独立评估检测和跟踪的必要性。在两个数据集上的跟踪结果都证实了轨迹稳定性和运动感知关联的重要性。OC-SORT在固定相机和空中设置下始终在身份保持和跟踪准确性之间提供了良好的平衡,在涉及相机运动和密集交通的具有挑战性的场景中优于其他跟踪器。这些发现表明,以观察为中心的轻量级跟踪策略非常适合现实世界的交通监控。
车辆计数实验进一步强调了准确计数是一个系统级问题。即使检测器在帧级别上有很强的性能,如果轨迹是碎片化或不稳定的,仍然可能产生不可靠的计数结果。在UA-DETRAC-MOT上,结合了OC-SORT的蒸馏后YOLOv10-S实现了最高的计数准确性;而在VisDrone-MOT上,由于空中场景的复杂性,计数性能仍然更具挑战性。在这两种情况下,改进的时间一致性导致了更可靠的基于门的计数。跨领域实验突显了在没有重新训练的情况下直接转移交通模型的难度。尽管在数据域转换时绝对性能有所下降,但蒸馏后的YOLOv10-S在检测、跟踪、身份一致性和车辆计数方面始终表现出改善的鲁棒性。这些结果表明,知识蒸馏可以减轻但不能完全克服跨领域性能的下降,除非进行额外的适应。总体而言,研究结果表明,精心设计的模块化检测-跟踪-计数框架可以在各种交通环境中实现可靠的实时性能。与其引入额外的架构复杂性,所提出的方法更加强调更好的监督以支持实用且可扩展的现实世界交通监控。
研究发现强调了系统级集成和受控评估的重要性,而不是架构修改。通过在统一的框架内共同分析检测、跟踪和计数,我们展示了组件交互如何影响下游性能,并实现了可复制的跨领域比较。虽然所提出的框架没有引入新的架构模块,但它通过受控制的实验比较实现了结构化的组件级评估。具体来说,通过比较基线和蒸馏后的YOLOv10-S检测器在检测、跟踪和计数指标上的表现,来评估监督级别知识蒸馏的效果。通过将相同的检测器与不同的跟踪算法配对,可以隔离跟踪模块的贡献,从而直接评估身份关联的稳定性。此外,通过分析在一致的检测和跟踪条件下的计数准确性,量化了基于轨迹的计数策略的影响。这些受控制的比较共同构成了一个隐式的消融研究,清楚地展示了监督增强、以运动为中心的跟踪和基于轨迹的计数对整个系统性能的单独和综合贡献。
6. 结论
现代智能交通系统高度依赖于准确的车辆检测、跟踪和计数。本工作提出了一个实时框架,能够在广泛的交通监控场景中检测、跟踪和计数车辆。通过将轻量级的YOLOv10-S检测器与监督级别的知识蒸馏和可靠的基于跟踪的计数策略结合起来,所提出的框架在不依赖架构修改或数据集特定调整的情况下实现了稳健的性能。在UA-DETRAC和VisDrone基准测试上的广泛评估表明,提高监督质量和时间一致性对于稳定的交通分析至关重要,特别是在具有挑战性的空中和动态条件下。结果进一步表明,知识蒸馏提高了检测的鲁棒性,并在保持实时效率的同时有助于更可靠的计数行为。跨数据集实验揭示了直接数据域转移的固有难度;然而,与未经蒸馏的基线相比,所提出的框架始终显示出改进的鲁棒性,这突显了其在实际部署中的潜力,因为在某些情况下可能无法进行重新训练。作为下一步,该框架将扩展包含显式的车辆分类[47],以提供更详细的交通组成分析,并支持诸如拥塞分析和排放估算等高级应用。进一步的研究方向包括通过轻量级的自监督[48]或自适应策略[49]来提高跨领域适应性,以及整合上下文线索和运动先验,以进一步增强大规模或高度拥堵交通场景中的轨迹稳定性和计数可靠性。这些扩展有可能将所提出框架的适用范围扩展到更复杂和数据稀缺的交通监控环境。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号