复杂施工环境中鲁棒行人重识别的统一框架

《AUTOMATION IN CONSTRUCTION》：Unified framework for robust Person Re-Identification in complex construction environments

　　

• 提出的ISGA-ViT解决了动态建筑工地中的复杂行人重识别挑战。
• 语义特征校准抑制背景杂乱和均匀相似性。
• 潜在上下文提示实现了无监督适应不同复杂场景。
• 发布了一个新的工地行人重识别数据集（Con-ReID）用于模型评估。

引言

行人重识别（ReID）是视频监控领域的一项基本任务[1]。早期研究确立了基础的特征匹配原理[2]，而渐进式域自适应算法将这些技术扩展到了多视角监控设置[3]。该任务旨在跨非重叠摄像头视图识别同一行人。目前，重识别技术在结构化城市场景中取得了显著成功。然而，其在工地安全管理中的应用仍未得到充分探索，这造成了一项重要的研究空白。

在智能工地中，稳健的行人重识别对实际安全管理至关重要。由于存在盲点，单摄像头跟踪无法覆盖整个工地。重识别技术通过跨不同摄像头识别同一目标来解决这一限制。这里考虑了三个具体用例。第一，重识别能够实现限制区域入侵检测。该能力通过将提取的特征与授权数据库进行匹配来识别未注册工人，确保未经授权的个人跨越虚拟安全边界进入危险区域（例如深基坑）时能够立即被检测到。第二，重识别便于人员考勤管理。工地摄像头通常存在盲点，在这些位置跟踪容易失败。重识别技术通过预测位置并重新识别丢失的工人来解决这一限制。这种自动化记录每日工时和移动轨迹，以验证工人是否在岗。第三，重识别提供安全操作监督记录。与静态帧检测不同，重识别跨连续帧跟踪工人图像以验证安全合规性，并在不连续的摄像头视图中保留不安全行为的可信视觉证据。这些记录帮助安全管理人员识别不合规的工人并追溯违规行为。这些用例表明，稳健的重识别是动态工地上持续、大范围安全监控的先决条件。

传统重识别模型在工地上面临困难。与城市街道和建筑物相比，工地呈现几个独特且复杂的条件：(1) 目标颜色高度相似。施工法规要求工人穿着相同的安全背心和安全帽。这种同质化的外观造成了严重的视觉相似性。标准模型通常只关注这些醒目的制服，而未能捕获不同个体的独特身份特征。(2) 目标图像分辨率低。监控距离通常很长，环境中有大量灰尘，相机质量有时也不足。这些因素导致图像分辨率低，难以获取可靠的视觉信息。(3) 摄像头监控区域有限。工地的摄像头通常是临时安装的，因此缺乏固定位置和视野之间的规律性重叠。此外，监控覆盖范围通常无法涵盖整个工地。(4) 工地是非结构化的。不规则的道路网络和未完成的建筑结构与传统城市监控场景差异很大。这些非结构化条件创造了复杂的背景，增加了行人重识别的难度。除了这些独特且复杂的条件外，工地上的重识别技术还面临常见的挑战，如频繁遮挡[4]、[5]、光照变化[6]、[7]和视角变化[8]、[9]。这些挑战阻碍了重识别应用的准确和高效部署。图1展示了工地上独特和常见挑战的示例。

研究者们探索了各种行人重识别（ReID）方法来克服常见的视觉挑战。许多现有模型专注于解决单一特定问题。例如，为了处理严重遮挡，Wang等人[4]提出了一种特征擦除和扩散网络来恢复被遮挡身体部位的特征。其他研究专注于跨模态匹配。例如，Chen等人[10]开发了一种神经特征搜索架构来弥合可见光图像和红外图像之间的差距。此外，几个模型旨在从低分辨率目标中恢复缺失的身份细节。Cheng等人[11]引入了一种任务间关联机制，以联合优化图像超分辨率和重识别匹配。这些专用算法在各自的单任务数据集上取得了高准确率。然而，实际工地通常同时呈现多个不可预测的挑战。因此，这些单任务方法在综合挑战下难以实现高的重识别性能。此外，据作者所知，目前尚无专门针对工地场景重识别的方法。Kim等人[12]的一项近期研究尝试在工地上一栋未完成的建筑物中跨多个摄像头跟踪工人。

然而，那项研究中的跟踪框架主要依赖传统的多目标预测跟踪算法在不同摄像头之间转移目标。传统跟踪算法严重依赖重叠的摄像头视图和可预测的行走路径。在实际工地上，摄像头覆盖稀疏且临时，在不同工作区域之间造成大量视觉盲点。当工人离开一个摄像头的视野并随后进入另一个摄像头的视野时，连续跟踪就会中断。因此，稳健的行人重识别技术对于工地上的智能安全系统[13]、[14]非常重要，因为它能够在这些非重叠区域之间匹配工人身份。

为了评估部署在工地上的重识别系统，需要一个真实且专用的基准。然而，现有的公开重识别基准主要在干净的高校校园或结构化的城市街道上拍摄。这些数据集中的行人移动缓慢，光照均匀，背景平坦。因此，它们无法反映工地特有的视觉干扰。例如，实际工地涉及临时摄像头设置、大量空中灰尘以及脚手架造成的动态结构遮挡。最重要的是，建筑工人穿着高度同质化的安全制服。因此，在传统基准上训练的模型在部署到实际工地时性能严重下降。为了弥合这一关键的研究与实践差距，构建了Con-ReID数据集并发布。它提供了一个真实且开放的基准，用于评估模型在具有挑战性的工地环境中的鲁棒性。

为了构建一个可靠的智能工地系统，对这些复杂条件下的行人重识别进行了深入的研究。实际模型必须同时克服几个挑战。此外，稳健的重识别系统应该能够自动分析环境中存在的挑战。它不应依赖人工指令或预定义的场景标签来确定要处理哪些挑战。为实现这一目标，提出了隐式场景自适应和几何对齐视觉Transformer（ISGA-ViT）重识别方法。该框架能够自适应地确定在工地上遇到的隐式挑战类别并同时解决它们。首先，引入语义特征校准（SFC）作为特征去噪器。它过滤出由相同安全背心引起的视觉相似性陷阱，并在图块嵌入后立即重新校准通道响应权重。这些策略使模型能够关注独特的身份细节。其次，提出了潜在上下文提示（LCP）模块来确定工地上遇到的隐式挑战类别。该模块不需要人工分配的挑战类别标签。它隐式地推断特定的场景上下文，如严重遮挡或红外夜视。作为提示信息，这些上下文自适应地实时调整Transformer的注意力。随后，建立了几何流形对齐（GMA）。该组件集成可学习的摄像头和视角嵌入来构建统一的空间基础。此操作纠正由摄像头视角变化导致的极端几何畸变。这些模块共同构成了一个稳健的重识别系统，有效地克服了严重的视觉相似性和复杂的环境动态，而无需人工干预。大量实验在多个公开基准和新建的Con-ReID数据集上验证了所提出的方法。实验结果表明，该方法在具有挑战性的Con-ReID数据集上达到了97.3%的Rank-1准确率，并优于最先进方法。

主要贡献总结如下：
(1) 提出了ISGA-ViT框架，作为专门为复杂工地设计的统一行人重识别架构。它被设计为端到端的流水线，集成特征去噪、上下文适应和空间对齐。它同时克服由相同制服引起的相似性、视觉干扰和极端摄像头畸变。因此，模型无需人工干预即可实现最先进的性能。
(2) 引入了语义特征校准（SFC）和几何流形对齐（GMA）模块。SFC作为特征去噪器，过滤出由相同安全制服引起的视觉相似性陷阱。同时，GMA显式地纠正不规则摄像头网络中的几何畸变。它们共同建立了特征匹配的高度可靠且一致的基础。
(3) 开发了潜在上下文提示（LCP）机制以实现自主的实例级特征域适应。LCP隐式地推断与复杂挑战相关的动态环境变化，如严重遮挡或红外夜视。然后生成自适应的场景提示来动态调整网络。该机制消除了对手工分配场景标签以确定复杂挑战类别的依赖，从而大大提高了重识别方法的部署可行性。
(4) 构建并发出了Con-ReID数据集。它直接从真实工地收集，具有高保真度，包含全面的实践挑战，包括低分辨率目标、严重遮挡和跨模态红外图像。Con-ReID数据集弥合了在复杂工地环境中评估重识别算法的关键差距。

章节片段

相关工作
本节回顾了行人重识别中三个核心挑战的文献。第2.1节关注相似表示和换装重识别。第2.2节回顾跨模态重识别和环境退化。第2.3节讨论域泛化和开放世界重识别。

所提方法
本节详细介绍了ISGA-ViT框架的架构和数学公式。第3.1节介绍了架构概述。第3.2节语义特征校准、第3.3节潜在上下文提示、第3.4节几何流形对齐分别描述了语义特征校准、潜在上下文提示和几何流形对齐模块。第3.5节概述了优化目标，第3.6节介绍了实现工作流程。

实验
本节呈现了ISGA-ViT框架的全面实验评估。第4.1节描述了公开基准和评估协议。第4.2节详细介绍了Con-ReID数据集的收集和准备。第4.3节报告了比较性能评估。第4.4节、第4.5节和第4.6节分别介绍了消融实验、超参数分析和细粒度评估。

讨论
实验表明，ISGA-ViT的优势源于其三个模块（SFC、LCP和GMA）的协作。工地通常同时呈现多个挑战。例如，工人可能穿着相同的安全制服，同时可能被遮挡或在较差的视觉条件下被捕获。此外，临时摄像头通常具有不规则的视角。大多数现有重识别方法专注于结构化城市场景或单一隔离的挑战。相比之下，ISGA-ViT能够处理

结论
本文解决了高度复杂工地环境中行人重识别的挑战。由于视觉相似性和动态环境变化，传统方法在这些场景中失效。为了解决这些挑战，本文提出了ISGA-ViT，一个基于视觉Transformer的统一框架。引入了三个专门机制。语义特征校准（SFC）过滤背景噪声并抑制制服衣物的主导性。潜在上下文提示（LCP）……

CRediT作者贡献声明
Hongbin Liu：监督、调查、形式分析、数据整理。
Peng Dong：写作——审阅与编辑、写作——初稿、可视化、软件、方法学、数据整理、概念化。
Xiuyi Guo：写作——审阅与编辑、形式分析、数据整理。
Jilong Li：写作——审阅与编辑、监督、形式分析。
Yitong Zhou：写作——审阅与编辑、监督、概念化。
Baoxu Wang：写作——审阅与编辑、监督、概念化。

AI生成及AI辅助技术在写作过程中的声明
声明：在准备本工作期间，作者使用了DeepSeek来润色文本。在使用该工具/服务后，作者根据需要审阅和编辑了内容，并对已发表文章的内容承担全部责任。

利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系，这些关系可能会影响本文所报告的工作。

致谢
本工作得到了山东省自然科学基金（资助号ZR2021QF077）和山东省重点研发计划（中小科技型企业创新能力提升项目）（资助号2024TSGC0123）的支持。

Hongbin Liu | Peng Dong | Xiuyi Guo | Jilong Li | Yitong Zhou | Baoxu Wang