一种面向非受控监控环境的端到端多模态行人搜索流水线

《Scientific Reports》：An end-to-end multi-modal pipeline for person search in unconstrained CCTV environments

　　

摘要

在现实世界的监控中，会出现两人穿着几乎相同衣服的情况，或者识别特征被严重遮挡和姿态变化所遮蔽的情况。在这些环境中，依赖静态外观的传统单模态系统表现不佳，并且经常产生错误匹配。本文提出了一种多模态重识别框架，结合外观、面部特征和步态来准确执行此任务。在第一阶段，使用 YOLOv8 检测器和 DeepSORT 跟踪器从视频中提取稳健的人员轨迹片段。然后通过三个并行流对每个人物裁剪图应用多模态特征提取器。一个定制的受 GaitSet 启发的网络从 RGB 轨迹帧中生成 256 维的步态嵌入。使用 OSNet 主干网络获取 1024 维的全尺度外观嵌入。对于面部生物特征，使用多任务级联卷积网络（MTCNN）显式检测人脸和五点关键点，随后通过面部关键点回归模型进行处理。每个裁剪图都对齐到关键点，对齐后的人脸被送入 FaceNet 以计算 128 维的面部嵌入。在最后一步，集成拼接模块将这三个归一化嵌入合并为单个 \(\mathbb {R}^{1408}\) 身份描述子（\(1024 + 256 + 128\)）。通过结合面部特征和时序运动线索，显著提高了区分度。此外，融合策略防止任何单一模态导致身份混淆，从而为基于外观的身份错误提供强大的防御。