基于深度学习的人物重新识别(Re-ID)旨在通过神经网络将特定人物关联到不同的场景和摄像头视图[1]、[2]、[3]、[4]、[5]、[6]。在智能城市和公共安全基础设施的数字化转型中,跨摄像头Re-ID技术是视频监控系统的核心推动器,它解决了在时空域中关联行人身份的关键任务[7]、[8]、[9]、[10]、[11]、[12]。通过提取具有区分性的外观特征并建立跨摄像头对应关系,这项技术支持了诸如失踪人员追踪、工人安全监控和嫌疑人轨迹重建等关键应用[13]、[14]、[15]、[16]、[17]。尽管基于深度学习的Re-ID方法在受控环境(例如Market-1501 [18]和DukeMTMC [19]等实验室构建的数据集)中实现了可靠的识别精度,但在实际街道监控场景中的性能仍然显著下降。这种“实验室到现实”的性能差距源于三个相互关联的挑战:环境动态、数据注释瓶颈和系统效率限制[20]、[21]、[22]、[23]、[24]。现有的领域适应方法通常忽略了这些网络中固有的关键时空拓扑结构,这导致了许多错误匹配。此外,现实世界系统并非静态的,而是在不断演变。现有方法在适应新部署的摄像头或扩展监控区域时经常遇到灾难性遗忘问题,使其无法应用于实际场景。
现实世界的街道监控场景表现出不受控制的环境动态,导致严重的领域适应性能下降[1]、[25]、[26]、[27]、[28]、[29]。具体来说:照明和天气变化:昼夜照明变化以及恶劣的天气条件(如雨、雾)会大幅改变行人的外观分布。现有的公共数据集主要在特定天气条件下捕获,缺乏足够的光度多样性来模拟这些变化。跨视图特征歧义:实际部署中异构的摄像头安装角度(高角度、水平角度、倾斜角度)会导致特定视图的外观差异。遮挡和人群密度波动:类似潮汐的行人流动模式会导致间歇性的严重遮挡,从而导致特征提取失败。这些因素导致预训练模型与目标域的特征流形不对齐[25]、[26]、[27]、[28]、[29]。
在现实世界环境中,监督式Re-ID模型面临多种注释挑战[18]、[19]、[30]、[31]、[32]。城市规模的监控系统每天生成PB级别的视频流。一般来说,由于行人数量众多、服装复杂,以及实际街道上监控视频的布局广泛和角度不同,监控视频的重新识别数据注释成本远远超过传统实验室数据集的成本。此外,由于服装变化和长期的时间间隔,外观变化经常会导致标记错误。尽管如此,城市监控网络是动态的实体,会随着时间的推移而增长。当系统需要扩展到新区域时,直接在新数据上进行训练可能会导致模型原始知识的灾难性遗忘,使得难以实现平衡的性能。
在城市规模的摄像头网络中的实际部署还暴露了由于搜索空间扩展而产生的关键匹配歧义[33]、[34]、[35]。由于在大规模人群中视觉特征的独特性降低[36]、[37]、[38],直接在大规模图库中进行全局匹配不可避免地会增加遇到误报的概率。与实验室环境中摄像头布局紧凑不同,现实世界的街道监控特征在于摄像头分布广泛、时间间隔长且视觉重叠最小,如图1所示。在这种稀疏场景中,仅依赖视觉相似性往往会导致与空间和时间上不可能的候选者产生错误关联。因此,迫切需要一种机制,通过利用拓扑先验来过滤这些不可行的候选者,而不是盲目地将视觉特征与整个噪声库进行匹配。
为了解决跨摄像头关联的复杂性,最近的进展越来越多地采用图神经网络(GNNs)来建模时空拓扑[39]、[40]、[41]。虽然这些基于学习的方法在密集数据集中表现出优越的性能,但在应用于现实世界的稀疏监控时遇到了根本性的瓶颈。
具体来说,拓扑推断的有效性在很大程度上取决于初始视觉特征或空间重叠的质量。在稀疏且不重叠的网络中,摄像头相距较远,环境条件(如照明、天气)变化较大,视觉噪声可能导致错误的边缘构建。这会造成循环依赖,噪声图在消息传递过程中传播错误,从而导致特征恶化。此外,学习到的拓扑模型通常隐含地编码了固定的摄像头布局,并需要密集的历史数据来拟合分布[42]。这使得它们在系统扩展场景中变得脆弱,因为新摄像头在没有历史数据的情况下被部署(即“冷启动”问题)。因此,迫切需要一种计算效率高、对视觉噪声具有鲁棒性并且能够自然适应动态网络扩展的显式物理约束机制。
为了解决上述挑战,我们提出了一种适用于真实街道监控场景的鲁棒多摄像头重新识别框架。与现有方法将领域适应、遗忘和空间约束孤立处理不同,我们的框架将这些方面统一到一个连贯的系统中。具体来说,我们引入了一种基于教师-学生知识蒸馏[43]、[44]的渐进式微调策略来减轻领域差异。为了在系统扩展期间对抗灾难性遗忘[45]、[46],我们提出了一种利用最远点采样(FPS)[48]的动态数据重放机制[47]来积极保留多样化的历史样本。此外,为了在稀疏网络中解决视觉歧义,我们在匹配过程中引入了显式的时空约束。我们在新收集的城市规模基准测试(海南数据集)和一系列公共数据集上验证了我们的方法,遵循了严格的多阶段持续学习范式[49]、[50]、[51]。广泛的实验表明,我们的方法在现实世界监控应用中优于各种先进的Re-ID方法,表现出卓越的性能和泛化能力。
总结来说,本文提出的重要贡献以及我们提出方法的优势体现在以下几个方面:
- 1.
可部署的适应框架。我们构建了一个基于动量的教师-学生范式,专为实际部署设计。该框架确保了从标记的源域到嘈杂的目标域之间的稳定特征转移,从而实现无需人工监督的鲁棒适应环境动态。
- 2.
基于约束的时空融合。为了解决稀疏网络中的视觉歧义,我们引入了时空特征融合(STFF)模块。STFF模块对速度和拓扑施加了明确的物理约束。因此,它消除了在视觉特征失效的非重叠视图中的误报。
- 3.
多样性保持重放为了解决系统可持续性的挑战,我们设计了一种使用最远点采样(FPS)的动态数据重放机制。这种策略积极保留不同的历史样本,以防止灾难性遗忘,并确保监控网络持续扩展时的操作稳定性。
- 4.
在真实世界和公共基准测试上的全面验证。我们在来自实时城市规模监控系统(海南)的专有基准测试以及一系列主流数据集上验证了我们的框架。这项广泛的实证研究证明了该方法的卓越泛化能力和鲁棒性,弥合了学术研究与实际工业部署之间的差距。