基于领域适应性的个体重新识别技术,结合时空融合方法用于现实世界中的稀疏监控场景

《ADVANCED ENGINEERING INFORMATICS》:Domain adaptive person re-identification with spatiotemporal fusion towards real-world sparse surveillance

【字体: 大 中 小 】 时间:2026年03月06日 来源:ADVANCED ENGINEERING INFORMATICS 9.9

编辑推荐:

  本文提出一种面向城市街道监控的鲁棒跨摄像头识别框架,包含可部署的师生知识蒸馏、基于Farthest Point Sampling的动态数据回放机制以及时空约束特征融合模块,有效解决环境动态变化、数据标注不足和摄像头网络扩展带来的灾难性遗忘问题。

  
赵文涛|刘宇|文立杰|黄碧清
清华大学自动化系,北京,100084,中国

摘要

尽管在受控实验室环境中,人物重新识别(Re-ID)技术取得了显著进展,但由于环境动态和稀疏的摄像头布局所导致的重大领域差异,其在现实世界城市监控中的广泛应用仍然受到限制。在这种操作场景中,仅依赖视觉外观会导致严重的视觉歧义,而摄像头网络的持续扩展则会引起灾难性的遗忘现象。为了弥合这种“实验室到现实”的差距,我们提出了一种针对街道监控的鲁棒Re-ID解决方案,并在多种基准测试中进行了验证。我们的框架包含三个关键创新:(1)我们构建了一个可部署的教师-学生框架,以确保从标记的源域到嘈杂的目标域之间的稳定特征转移,从而实现无需人工监督的鲁棒适应;(2)为了解决系统可持续性问题,我们设计了一种基于最远点采样(FPS)的多样性保持动态数据重放机制,以防止网络不断扩展时发生灾难性遗忘;(3)开发了一种时空特征融合(STFF)模块,通过施加明确的物理约束来过滤掉时空上不可行的候选者,从而解决稀疏网络中的视觉歧义。在来自海南实时监控系统的专有基准测试和一系列主流数据集上的广泛评估表明,我们的方法显著优于现有方法,为智慧城市基础设施的实际部署提供了更优的解决方案。

引言

基于深度学习的人物重新识别(Re-ID)旨在通过神经网络将特定人物关联到不同的场景和摄像头视图[1]、[2]、[3]、[4]、[5]、[6]。在智能城市和公共安全基础设施的数字化转型中,跨摄像头Re-ID技术是视频监控系统的核心推动器,它解决了在时空域中关联行人身份的关键任务[7]、[8]、[9]、[10]、[11]、[12]。通过提取具有区分性的外观特征并建立跨摄像头对应关系,这项技术支持了诸如失踪人员追踪、工人安全监控和嫌疑人轨迹重建等关键应用[13]、[14]、[15]、[16]、[17]。尽管基于深度学习的Re-ID方法在受控环境(例如Market-1501 [18]和DukeMTMC [19]等实验室构建的数据集)中实现了可靠的识别精度,但在实际街道监控场景中的性能仍然显著下降。这种“实验室到现实”的性能差距源于三个相互关联的挑战:环境动态、数据注释瓶颈和系统效率限制[20]、[21]、[22]、[23]、[24]。现有的领域适应方法通常忽略了这些网络中固有的关键时空拓扑结构,这导致了许多错误匹配。此外,现实世界系统并非静态的,而是在不断演变。现有方法在适应新部署的摄像头或扩展监控区域时经常遇到灾难性遗忘问题,使其无法应用于实际场景。
现实世界的街道监控场景表现出不受控制的环境动态,导致严重的领域适应性能下降[1]、[25]、[26]、[27]、[28]、[29]。具体来说:照明和天气变化:昼夜照明变化以及恶劣的天气条件(如雨、雾)会大幅改变行人的外观分布。现有的公共数据集主要在特定天气条件下捕获,缺乏足够的光度多样性来模拟这些变化。跨视图特征歧义:实际部署中异构的摄像头安装角度(高角度、水平角度、倾斜角度)会导致特定视图的外观差异。遮挡和人群密度波动:类似潮汐的行人流动模式会导致间歇性的严重遮挡,从而导致特征提取失败。这些因素导致预训练模型与目标域的特征流形不对齐[25]、[26]、[27]、[28]、[29]。
在现实世界环境中,监督式Re-ID模型面临多种注释挑战[18]、[19]、[30]、[31]、[32]。城市规模的监控系统每天生成PB级别的视频流。一般来说,由于行人数量众多、服装复杂,以及实际街道上监控视频的布局广泛和角度不同,监控视频的重新识别数据注释成本远远超过传统实验室数据集的成本。此外,由于服装变化和长期的时间间隔,外观变化经常会导致标记错误。尽管如此,城市监控网络是动态的实体,会随着时间的推移而增长。当系统需要扩展到新区域时,直接在新数据上进行训练可能会导致模型原始知识的灾难性遗忘,使得难以实现平衡的性能。
在城市规模的摄像头网络中的实际部署还暴露了由于搜索空间扩展而产生的关键匹配歧义[33]、[34]、[35]。由于在大规模人群中视觉特征的独特性降低[36]、[37]、[38],直接在大规模图库中进行全局匹配不可避免地会增加遇到误报的概率。与实验室环境中摄像头布局紧凑不同,现实世界的街道监控特征在于摄像头分布广泛、时间间隔长且视觉重叠最小,如图1所示。在这种稀疏场景中,仅依赖视觉相似性往往会导致与空间和时间上不可能的候选者产生错误关联。因此,迫切需要一种机制,通过利用拓扑先验来过滤这些不可行的候选者,而不是盲目地将视觉特征与整个噪声库进行匹配。
为了解决跨摄像头关联的复杂性,最近的进展越来越多地采用图神经网络(GNNs)来建模时空拓扑[39]、[40]、[41]。虽然这些基于学习的方法在密集数据集中表现出优越的性能,但在应用于现实世界的稀疏监控时遇到了根本性的瓶颈。
具体来说,拓扑推断的有效性在很大程度上取决于初始视觉特征或空间重叠的质量。在稀疏且不重叠的网络中,摄像头相距较远,环境条件(如照明、天气)变化较大,视觉噪声可能导致错误的边缘构建。这会造成循环依赖,噪声图在消息传递过程中传播错误,从而导致特征恶化。此外,学习到的拓扑模型通常隐含地编码了固定的摄像头布局,并需要密集的历史数据来拟合分布[42]。这使得它们在系统扩展场景中变得脆弱,因为新摄像头在没有历史数据的情况下被部署(即“冷启动”问题)。因此,迫切需要一种计算效率高、对视觉噪声具有鲁棒性并且能够自然适应动态网络扩展的显式物理约束机制。
为了解决上述挑战,我们提出了一种适用于真实街道监控场景的鲁棒多摄像头重新识别框架。与现有方法将领域适应、遗忘和空间约束孤立处理不同,我们的框架将这些方面统一到一个连贯的系统中。具体来说,我们引入了一种基于教师-学生知识蒸馏[43]、[44]的渐进式微调策略来减轻领域差异。为了在系统扩展期间对抗灾难性遗忘[45]、[46],我们提出了一种利用最远点采样(FPS)[48]的动态数据重放机制[47]来积极保留多样化的历史样本。此外,为了在稀疏网络中解决视觉歧义,我们在匹配过程中引入了显式的时空约束。我们在新收集的城市规模基准测试(海南数据集)和一系列公共数据集上验证了我们的方法,遵循了严格的多阶段持续学习范式[49]、[50]、[51]。广泛的实验表明,我们的方法在现实世界监控应用中优于各种先进的Re-ID方法,表现出卓越的性能和泛化能力。
总结来说,本文提出的重要贡献以及我们提出方法的优势体现在以下几个方面:
  • 1.
    可部署的适应框架。我们构建了一个基于动量的教师-学生范式,专为实际部署设计。该框架确保了从标记的源域到嘈杂的目标域之间的稳定特征转移,从而实现无需人工监督的鲁棒适应环境动态。
  • 2.
    基于约束的时空融合。为了解决稀疏网络中的视觉歧义,我们引入了时空特征融合(STFF)模块。STFF模块对速度和拓扑施加了明确的物理约束。因此,它消除了在视觉特征失效的非重叠视图中的误报。
  • 3.
    多样性保持重放为了解决系统可持续性的挑战,我们设计了一种使用最远点采样(FPS)的动态数据重放机制。这种策略积极保留不同的历史样本,以防止灾难性遗忘,并确保监控网络持续扩展时的操作稳定性。
  • 4.
    在真实世界和公共基准测试上的全面验证。我们在来自实时城市规模监控系统(海南)的专有基准测试以及一系列主流数据集上验证了我们的框架。这项广泛的实证研究证明了该方法的卓越泛化能力和鲁棒性,弥合了学术研究与实际工业部署之间的差距。

章节片段

用于行人定位的对象检测

准确的行人检测是监控场景中鲁棒Re-ID系统的基础步骤。最近在对象检测方面的进展产生了能够在复杂城市条件下实现实时性能的高效架构。基于Transformer的检测器(如DETR [52]及其可变形变体Deformable DETR [53])通过建模全局上下文关系实现了最先进的精度,而YOLO系列模型(如YOLOv9 [55])则平衡了速度和

问题定义

考虑一个与静态实验室环境有显著差异的现实世界监控场景。在这些设置中,未标记的数据持续到来。这些数据流由于天气变化、照明变化和网络扩展而遭受严重的领域偏移。鉴于数据量巨大,手动注释实际上是不可行的。这提出了一个关键的研究问题:我们如何利用仅在公共数据集上训练的模型来不断适应这些

数据集

海南数据集。海南数据集来自海南省陵高县的25个摄像头。根据初始特征匹配,随机选择了140名具有潜在匹配的行人,共包含6503张图像。在我们的实验中,80名行人用于训练,其余的用于测试。该数据集的特点是摄像头角度高、分辨率低,以及不同摄像头之间的视角差异显著。

局限性和未来工作

虽然我们的框架在领域适应和终身学习方面表现出鲁棒性,但我们也认识到某些局限性。首先,依赖于基于检测的跟踪范式意味着性能受到上游检测器质量的限制,特别是在严重遮挡情况下,检测失败会阻止重新识别。其次,部署受到地理位置元数据的必要性限制,这些元数据对于时空约束和极端照明变化(例如完全

结论

在本文中,我们提出了一种用于监控视频分析中领域适应人物重新识别的综合方法。我们的基于蒸馏的框架实现了预训练模型到目标域的有效转移。通过整合提出的高效数据重放机制,我们有效地减轻了微调过程中的灾难性遗忘。随后的时空特征融合方法进一步改善了跨摄像头匹配和效率,增强了该方法的功能

CRediT作者贡献声明

赵文涛:撰写——原始草稿、可视化、验证、软件、方法论、调查、形式分析、数据整理、概念化。刘宇:验证、软件、资源、方法论、资金获取、数据整理。文立杰:撰写——审阅与编辑、监督、软件、资源、项目管理、调查、资金获取。黄碧清:撰写——审阅与编辑、验证、监督、资源、项目管理、方法论,

数据隐私和伦理

本研究中使用的真实世界监控数据(海南数据集)是在当地公共安全机构的授权下收集和使用的。该数据集仅用于学术研究目的。为了确保隐私保护,文章中呈现的所有数据均已匿名化。

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。

致谢

本项工作得到了中国青岛市科学技术计划的资助,资助编号为25-1-1-gjgg-32-gx。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号