基于自我信息驱动的门控图卷积网络的遮挡行人重新识别方法
郭婉然、
孟佳可、
薛媛、
范亚贤、
方振宇
《Sensors》:Self-Information-Driven Gated Graph Convolutional Network for Occluded Person Re-Identification
Wanran Guo,
Jiake Meng,
Yuan Xue,
Yaxian Fan and
Zhenyu Fang
【字体:
大
中
小
】
时间:2026年05月07日
来源:Sensors 3.5
编辑推荐:
摘要:遮挡人物重新识别(Re-ID)旨在准确地将被遮挡的行人图像与多个摄像机捕捉到的完整图像库图像进行匹配,这一任务对于公共安全和智能监控系统至关重要。现有的基于图神经网络(GNN)的方法通常为所有节点分配相同的聚合权重,未能反映可见区域和被遮挡区域之间的固有可靠性差异,这使得来
摘要:遮挡人物重新识别(Re-ID)旨在准确地将被遮挡的行人图像与多个摄像机捕捉到的完整图像库图像进行匹配,这一任务对于公共安全和智能监控系统至关重要。现有的基于图神经网络(GNN)的方法通常为所有节点分配相同的聚合权重,未能反映可见区域和被遮挡区域之间的固有可靠性差异,这使得来自低置信度节点的噪声自由传播并破坏最终的行人表示。为了解决这个问题,我们提出了自信息驱动的门控图卷积网络(SI-GCN)。关键点检测的置信度分数被转换为对数自信息度量,作为可学习的门控机制的不确定性先验。所提出的SI模块使得可见节点在信息传播中占据主导地位,而被遮挡节点则从邻居节点吸收更多信息,从而实现高效的特征更新。动态置信度校准(DCC)策略进一步使节点可靠性估计与连续GCN层中的特征演变保持同步。在六个涵盖遮挡、部分遮挡和完整遮挡Re-ID场景的公共基准测试上进行的大量实验表明,SI-GCN达到了最先进的性能,在Occluded-REID数据集上,其排名第一的准确率提高了1.2%,mAP提高了0.9%,显示出其在实际公共安全和城市监控应用中的强大潜力,因为在这些应用中遮挡现象普遍存在。
1. 引言
人物重新识别(Re-ID)旨在随时间和多个摄像机检索特定个体,并已广泛应用于视频监控、安全和智慧城市[1]。然而,在实际部署中,有限的摄像机视野、行人之间的相互遮挡以及场景障碍物导致大量捕获的图像仅显示目标行人身体的部分区域。如何在特征缺失严重的情况下实现准确的跨摄像机匹配仍是一个重要且未解决的挑战[2]。因此,遮挡被广泛认为是限制Re-ID系统在实际场景中可靠部署的主要瓶颈[3]。
在过去十年中,深度卷积神经网络(CNN)的快速发展显著提升了Re-ID的整体性能[1]。基于CNN的方法通过端到端学习提取图像的全局区分特征,并在度量学习损失函数的帮助下在标准基准测试中取得了显著成果[4]。为了应对遮挡和姿态变化,部分级方法将人体划分为几个区域或条带分别提取特征,然后将其与全局特征融合以增强细节感知。尽管如此,这两种类型的方法在处理严重遮挡时缺乏明确区分不同区域特征可靠性的机制,导致噪声特征和有效特征被同等对待,这严重干扰了最终的匹配决策。
与CNN相比,基于图神经网络(GNN)的方法通过建模人体关键点之间的拓扑关系,具有更强的结构感知能力和上下文推理能力[5]。在Re-ID任务中,张等人[6]提出了基于部分的图卷积网络(PGCN)通过图卷积挖掘图像间的部分关系;连等人[7]提出了局部关系感知图卷积网络(LRGCN),通过构建重叠图和相似性图实现局部特征的自适应聚合。这些方法有效提高了模型对姿态变化和部分遮挡的鲁棒性,代表了当前基于图的Re-ID方法的主要范式。
然而,现有的GNN方法在信息传播机制上存在两个局限性。首先,它们在传递消息时为所有节点分配相同的聚合权重,未能反映可见节点和被遮挡节点之间的特征可靠性差异,导致低置信度节点的噪声在图结构中传播。其次,它们在特征融合阶段缺乏基于可靠性的加权机制,隐含地将所有节点对最终身份嵌入的贡献视为相等,这进一步削弱了模型的鲁棒性。如图1a所示,传统的GNN在信息传播过程中同等对待高置信度节点(橙色;浅色表示低不确定性)和低置信度被遮挡节点(蓝色;深色表示高不确定性),无法有效抑制噪声传播。
为了解决上述问题,本文提出了自信息驱动的门控图卷积网络(SI-GCN)。如图1b所示,SI-GCN将姿态估计器输出的关键点检测置信度转换为自信息度量,驱动可学习的门控系数来执行节点间信息流的不对称自适应调节。低置信度的被遮挡节点积极从高置信度邻居节点聚合语义信息以修复特征,同时抑制自身噪声的向外传播。高置信度的可见节点通过更大的权重强化其特征的主导作用,避免过度平滑。此外,动态置信度校准(DCC)策略使节点可靠性估计与多层图卷积中的特征演变同步更新,进一步增强了框架对变化遮挡状态的连续感知能力。
本文的主要贡献总结如下:
(1) 我们提出了自信息驱动的门控图卷积网络(SI-GCN)框架。从信息论的角度重新审视了遮挡条件下的节点特征传播机制,将关键点检测置信度转换为对数自信息作为不确定性先验,并构建了一个用于遮挡人物Re-ID的自适应图卷积学习框架。
(2) 我们设计了自信息门控图卷积模块(SIG)和动态置信度校准(DCC)策略。SIG通过可学习的门控系数实现节点间信息的非对称流动调节,有效抑制图结构中的噪声传播;DCC允许置信度信息与特征信息在图层间同步传播和更新,增强了框架对遮挡状态的连续感知能力。
(3) 在六个涵盖遮挡、部分遮挡和完整遮挡Re-ID场景的公共基准数据集上的大量实验表明,SI-GCN取得了有竞争力的性能。特别是在Occluded-REID数据集上,其排名第一的准确率和mAP分别超过了当前最强基线的1.2%和0.9%。
本文的其余部分组织如下。第2节回顾了相关工作,包括基于CNN的Re-ID方法、基于GNN的Re-ID方法和图神经网络的信息论建模方法。第3节详细介绍了所提出的SI-GCN框架,包括语义拓扑模块(STM)、自信息门控图卷积模块(SIG)、动态置信度校准(DCC)策略和损失函数设计。第4节描述了实验设置,报告了与六个公共基准测试上最先进方法的定量比较,并提供了消融研究和模型分析。第5节总结了本文并指出了未来工作的方向。
2. 相关工作
关于基于CNN的Re-ID方法,深度卷积神经网络(CNN)的兴起显著提升了人物重新识别的性能,并在多个标准基准测试中取得了显著进展[1,8]。早期方法主要依赖于全局特征学习。何等人[9]将Transformer架构引入Re-ID,并提出了TransReID,通过基于补丁的策略和侧向信息嵌入增强了全局上下文建模。闵等人[10]提出了一个基于特征重建的双流交互式学习框架,通过相关图采样器(CGS)为度量学习提供更具挑战性的训练样本。同时,他们设计了全局稀疏注意力网络(GSANet)来增强模型的特征表示能力,建立了度量学习和表示学习之间的内在关联和协作优化机制。
为了进一步改善模型对局部细节的感知,研究人员将部分级特征探索引入基于CNN的框架[4]。孙等人[4]提出了PCB网络,通过均匀的水平划分特征图生成多个局部条带,并用独立分类器限制每个条带的特征学习,显著提高了表示的精细粒度。黄等人[11]在主干网络中附加了一个轻量级的部分分割头,用于多任务训练,引导特征表示关注多样的语义身体区域。然而,在处理严重遮挡时,上述方法缺乏区分不同局部区域特征可靠性的明确机制。来自被遮挡区域的噪声特征与有效特征被同等对待,这限制了模型在实际遮挡场景中的匹配准确性。
与CNN相比,基于图神经网络(GNN)的方法通过建模人体关键点之间的拓扑关系,具有更强的结构感知能力和上下文推理能力,并在近年来受到了广泛关注[12]。张等人[6]提出了基于部分的图卷积网络(PGCN),通过图卷积构建局部部分图并充分利用不同身体部分之间的关系。朱等人[13]专注于跨分辨率场景,使用关键点生成人体拓扑图,并通过双层图卷积网络进行多尺度邻域信息聚合以抑制背景干扰。连等人[7]提出了LRGCN,通过构建重叠图和相似性图实现局部特征的自适应聚合,有效提高了模型对姿态变化和部分遮挡的鲁棒性。
然而,这些方法[6,7,13]缺乏根据图上下文动态调整信息流动路径和强度的能力,从而在一定程度上限制了模型的泛化能力。
关于GNN的信息论建模方法,信息论方法为图神经网络中的特征不确定性提供了有效的理论工具,并在过去几年中在Re-ID领域得到了初步探索。陈等人[14]通过最小化行人特征和 camera 特征之间的互信息,减少了相机变化对无监督人物重新识别的负面影响。廖等人[15]提出了图神经网络的熵模型,通过融合节点属性和拓扑结构的熵计算框架评估节点重要性。
然而,大多数现有方法需要外部熵测量模块,导致较高的计算开销。此外,这些方法未能充分利用关键点检测置信度作为节点特征可靠性的内生先验,导致在遮挡条件下节点不确定性信息未得到充分利用。
因此,本文提出了自信息驱动的门控图卷积网络(SI-GCN)。通过明确建模节点不确定性并设计自适应门控单元,实现了信息流的动态过滤和增强。这种机制的详细网络架构将在第3节中详细阐述。
3. 所提出的方法
3.1. 概述
在本文中,我们提出了用于遮挡人物重新识别的自信息驱动的门控图卷积网络(SI-GCN)。该框架从信息论的角度对节点不确定性进行建模。它结合了可学习的门控图卷积机制来抑制噪声特征传播并提高可靠性感知。图2展示了完整的网络架构和训练流程。SI-GCN包括四个组成部分:一个共享的主干网络、一个语义拓扑模块(STM)、一个自信息门控图卷积模块(SIG)和一个动态置信度校准(DCC)策略。具体而言,STM通过融合视觉特征和身体拓扑先验构建结构化的人体关键点图,为后续的特征学习提供可靠的图表示。基于此图结构,SIG通过利用自信息驱动的门控系数进行自适应信息传播来调节节点间的特征流动。DCC随着特征在连续的图卷积操作中的演变,逐层细化节点可靠性估计。
3.2 详细描述了STM的构建。
3.3 介绍了SIG的自信息度量和门控节点特征更新机制。
3.4 描述了DCC的动态置信度校准方案。
3.5 阐述了本框架中采用的损失函数。
图2. SI-GCN的框架。对于输入的被遮挡行人图像,全局分支使用ResNet-50提取整体语义特征。局部图分支采用HRNet进行姿态估计,构建人体关键点图,然后通过堆叠的自信息门控图卷积层进行结构感知特征提取。动态置信度校准机制在图传播过程中逐步更新节点置信度。这两个分支在身份分类损失和硬三元组损失的监督下端到端协同优化。考虑到输入的被遮挡的行人图像,主干网络的前四个残差阶段首先进行多尺度特征提取。然后将输出的中间特征图同时输入到全局和局部图分支中,以进行判别性特征学习。全局分支保留主干网络的最后一个残差阶段,对中间特征图进行深度语义编码,并通过广义均值池化(GeM)生成一个紧凑的全局外观描述符。局部图分支采用预训练的HRNet-W32作为姿态估计器,提取语义关键点坐标及其检测置信度,从而构建了一个包含人体拓扑先验的结构化图表示。通过堆叠的SIG层实现细粒度的结构特征学习,在此过程中,DCC策略逐层同步更新每个节点的置信度估计。最后,两个分支输出的特征沿通道维度连接起来,在测试阶段形成行人身份描述符。整个网络在身份分类损失和硬三元组损失的联合监督下端到端地进行训练。值得注意的是,SI-GCN的全局分支提供了一个与关键点检测置信度完全解耦的隐式架构备份。遵循最近Re-ID工作中采用的互补的双分支范式[16],全局分支通过广义均值池化直接从主干网络编码整体外观特征,生成一个不受姿态估计器故障影响的置信度无关的身份描述符。由于最终的人行步特征是通过两个分支输出沿通道维度的连接形成的,因此全局分支作为一个稳定的语义锚点,限制了局部图分支退化对整体匹配准确性的影响,无论这种退化是由于低置信度的遮挡还是关键点定位错误引起的。
3.2. 语义拓扑模块(STM)
当目标行人被遮挡时,准确感知每个局部区域的特征可靠性起着关键作用。这促使我们明确地将视觉特征与人体拓扑结合起来,构建一个具有结构意识的局部图表示,而不是依赖于热图掩码进行软加权。对于给定的行人图像,局部特征分支从主干网络第四个残差阶段的输出中提取中间特征图,其中 和 分别表示特征图的高度、宽度和通道数。预训练的HRNet-W32姿态估计器与主干网络并行处理输入图像,并输出一组关键点坐标 和一组检测置信度。根据人体结构标准[17],本文定义了K=17个语义关键点,覆盖头部、肩膀、肘部、手腕、臀部、膝盖和脚踝等关键关节。每个关键点的初始节点特征是通过双线性插值采样获得的:
(1)
其中 表示坐标周围的四个网格点, 表示插值系数。
全局分支旨在保留主干网络的整体外观信息的强大表示能力。中间特征图X被输入到最后一个残差阶段进行深度语义提取。为了获得一个紧凑且鲁棒的全局描述符,采用了广义均值池化(GeM)而不是全局平均池化(GAP)或全局最大池化(GMP),因为它能有效捕获显著的局部响应,同时抑制背景噪声干扰。全局特征向量 定义为
(2)
其中 表示第五阶段的网络操作, 是一个由卷积、批量归一化(BN)和ReLU组成的降维模块,用于将特征维度压缩到2048。
通过采样获得的离散节点特征被组织成结构化图数据。根据人体的自然骨架拓扑定义邻接矩阵,明确模拟两种类型的边连接:(1) 物理连接,连接生理上相邻的关节对(例如,肩关节–肘关节);(2) 对称连接,连接人体的左右对称部分(例如,左肩–右肩),以促进跨身体轴的特征交互。此外,邻接矩阵中还添加了自环连接,以保留节点自身的特征。邻接矩阵的公式为
3.3. 自信息驱动的门控图卷积(SIG)模块
传统的GNN采用统一的聚合权重来处理不同可靠性的节点,这不可避免地导致噪声特征在图结构中的扩散。为了解决这个问题,我们从信息论的角度重新审视了节点特征传播机制,并提出了自信息驱动的门控图卷积(SIG)模块。通过引入基于检测置信度的自信息度量,我们实现了节点之间的信息流的差异化和自适应调节。
3.3.1. 节点自信息构建
姿态估计器为图中的每个关键点节点输出一个检测置信度,这直接反映了人体各部分在图像中的可见性。然而,直接使用置信度作为线性权重来缩放节点特征有两个缺点:(1) 线性映射在高置信度区间内的梯度响应较弱,对可见节点之间的细微可靠性差异不敏感;(2) 其数值维度与节点特征不同,使得难以在统一的框架内驱动后续的可学习门控机制。因此,我们通过対数变换将置信度转换为自信息度量,作为门控机制的不确定性先验输入:
(4)
其中 是一个小常数,用于防止数值溢出(在本文中设置为 )。
3.3.2. 节点特征更新
基于上述自信息度量,本节设计了一个不对称的自适应信息传播机制,如图3所示。对于给定的图,设第 层节点 的特征为 ; SIG模块对图中的所有语义节点并行执行以下门控更新:
(5)
其中 表示由自信息驱动的更新函数, 表示当前层节点 的不确定性门控系数。上述方程统一了节点自身特征的保留和以连续插值形式吸收邻域信息:随着节点不确定性的增加,门控系数增加。对于高自信息节点(被遮挡的节点),分配较大的邻域聚合权重以实现特征恢复,同时抑制它们噪声的外向传播。对于低自信息节点(可见节点),加强它们自身特征的主导作用,以防止由于过度平滑导致的判别信息丢失。
3.3.3. 门控系数计算
不确定性门控系数由当前层的节点特征和自信息共同驱动。它们被连接并输入到门控网络中,使其能够同时感知当前特征的语义内容和置信度驱动的不确定性水平:
(6)
其中 控制流入当前节点的邻域信息的强度, 表示激活函数, 表示可学习的权重矩阵, 表示可学习的偏置项, 表示通道连接操作。
3.3.4. 邻域聚合权重
通过考虑可靠性的加权求和获得邻居节点特征:
(7)
其中 表示节点 的邻居集, 是可学习的特征变换矩阵。方程(7)用于根据邻居节点的门控系数计算归一化聚合权重。
重要的是要认识到SIG模块实现的特征完成机制的固有局限性。聚合过程假设至少有一部分邻居节点保持足够的可靠性,可以作为被遮挡节点的语义参考,这个假设在典型的部分遮挡情况下成立,但在大面积连续的身体区域同时缺失时就不成立。在这种情况下,多个相邻的低置信度节点变得相互依赖以实现特征完成,产生类似于生成模型中特征幻觉的循环聚合机制。两种设计选择部分缓解了这种风险。首先,与线性置信度缩放下不同,对数自信息变换非线性放大严重遮挡节点的不确定性,不对称地抑制它们在共同遮挡簇内的外向特征传播。其次,全局分支提供了一个稳定的、与图无关的身份表示,当局部图分支进入不确定完成状态时,这个全局表示作为锚点。尽管如此,我们承认这些缓解措施并不能消除极端遮挡下的根本限制,我们将在第6节的限制讨论中详细讨论这一点。
3.4. 动态置信度校准策略
在多层消息传递过程中,我们观察到:(1) 在持续从高置信度邻居节点吸收语义信息后,被遮挡节点的特征表示逐层逐渐修复,它们的实际可靠性比初始姿态估计置信度有所提高;(2) 如果仅使用姿态估计器输出的初始置信度作为静态先验,它无法准确反映深度特征的实际可靠性状态,这进一步导致每一层的门控决策与节点的实际不确定性之间存在系统性偏差。基于上述观察,本文设计了一种动态置信度校准(DCC)策略,该策略使每个节点的置信度估计能够与图层间的特征信息同步传播和校准,确保每一层的门控决策基于当前层的最新节点可靠性状态。从第 层到第 层的节点置信度的动态更新过程定义如下:
(8)
其中 是来自前一层的节点本身的置信度, 是其邻居节点的平均置信度, 是之前定义的不确定性门控系数。
3.5. 损失函数
为了优化所提出的框架,在训练阶段采用了一种由身份分类损失和硬三元组损失组成的联合监督方案,分别应用于全局分支和局部图分支。整体损失函数定义如下:
(9)
其中权重参数 用于平衡两个分支的损失贡献,具体的敏感性分析在第4节中详细说明。
其中,身份分类损失的表达式为:
(10)
在这个损失函数中, 表示整个训练集中的身份总数; 代表全连接(FC)分类层的权重参数; 和 分别是第 层分类层的真实身份标签和输入特征。在本文中,ID损失分别针对全局分支和局部图分支的特征进行计算,以确保两个分支都能提取出具有语义区分度的特征。
硬三元组损失不同于标准的三元组损失。它的目标是在批次内最大化最难负样本对之间的距离,同时将最难正样本对之间的距离限制在一个预定义的阈值内,从而迫使网络学习更具区分性的特征嵌入。在包含 个图像的mini-batch中(即,每个身份随机抽取 个图像),硬三元组损失定义如下:
(11)
其中 , 和 分别表示锚样本、正样本和负样本的特征向量; 是预定义的距离阈值。硬三元组损失同时应用于两个分支的输出,以进一步扩大局部拓扑特征之间的类间距离。
在身份分类损失和硬三元组损失的联合监督下,整个SI-GCN框架端到端地进行训练。在接下来的部分,我们将描述在多个公共基准测试上进行的广泛实验,以评估所提出框架的有效性。
4. 实验数据集与评估指标
为了验证我们方法在遮挡Re-ID(Reidentify)任务中的有效性,我们在六个公共基准数据集上进行了实验,涵盖了三种评估场景:遮挡Re-ID(Occluded-Duke [18]、Occluded-REID [19])、部分Re-ID(Partial-REID [20]、Partial-iLIDS [21])和整体Re-ID(Market-1501 [22]、DukeMTMC-reID [23])。对于所有数据集,查询集是指用于在多个相机中搜索匹配身份的探针图像集合;画廊集是指每个查询所匹配的候选图像池;每个身份的图像数量表示每个行人分别在所有相机中的可用图像数量。
Occluded-Duke [18] 是从 DukeMTMC-reID 数据集中选取的,保留了带有遮挡的图像并过滤掉了部分重叠的图像。它包含 15,618 张训练图像、17,661 张画廊图像和 2,210 张被遮挡的查询图像。
Occluded-REID [19] 是使用移动设备相机收集的,包含 200 个被遮挡行人的 2,000 张图像。每个身份有五张全身图像和五张严重遮挡的图像,遮挡类型各不相同。
Partial-REID [20] 是一个专门设计的部分人物数据集,包含 60 个人的 600 张图像,每个人有五张全身图像和五张部分图像。这些图像是在大学校园内从不同视角、不同背景和不同类型的遮挡条件下收集的。所有探针图像都带有遮挡,而所有画廊图像都是完整的。
Partial-iLIDS [21] 是基于 iLIDS 数据集的模拟部分重新识别数据集。iLIDS 数据集包含 119 人的 476 张图像,这些图像是由多个不重叠的相机拍摄的。
Market-1501 [22] 包含一些被遮挡的行人图像,可以用作整体Re-ID数据集。它由六个相机拍摄的 1,501 个主体的 32,668 张图像组成。
DukeMTMC-reID [23] 包含 1,404 个身份、16,522 张训练图像、2,228 条查询和 17,661 张画廊图像。尽管存在被遮挡的图像,但完整图像的数量更多,因此之前的研究中将其视为整体Re-ID数据集。
关于评估指标,我们采用了与人体重新识别标准评估协议相一致的两个互补指标:Rank-1 准确率和平均精度(mAP)。Rank-1 准确率是根据累积匹配特征(CMC)曲线得出的,该曲线报告了正确匹配出现在排名前 k 位的概率。在 Rank-1 级别,这简化为评估检索到的最顶层结果是否为真实匹配,提供了最严格的检索精度度量。平均精度(mAP)反映了所有查询身份的精度-召回曲线下的面积,同时衡量了整个排名中的检索精度和完整性——这一指标特别关注系统检索所有正确画廊匹配的能力,而不仅仅是最高排名的匹配。Rank-1 和 mAP 共同提供了对系统性能的互补视角:Rank-1 反映了单次检索的准确性,而 mAP 则反映了整体的检索质量。所有实验都在单次查询设置下进行。
4.2. 实施细节
模型架构:对于 CNN 主干网络,我们使用了预训练的 ImageNet-ResNet-50,移除了其最后一个全局平均池化层和全连接层,并将最后一个残差阶段的降采样步长从 2 改为 1,以保留更高分辨率的空间特征图。分类器采用了一个瓶颈结构,包括一个批量归一化层、一个线性层和 Softmax 函数。对于人体关键点模型,我们使用了预训练的 COCO-HRNet-W32 来提取 K = 17 个语义关键点及其检测置信度,包括头部、肩膀、肘部、手腕、臀部、膝盖和脚踝。语义图是基于所有原始关键点直接构建的。
训练细节:所有输入图像都被调整为 256 × 128 像素的大小。采用了标准的数据增强策略,包括随机水平翻转、带 10 像素边界的随机裁剪和随机擦除。对于带遮挡的数据集,还额外引入了颜色抖动以减轻领域偏差。网络通过端到端训练进行了 120 个周期,批量大小为 64,使用 PK 抽样策略,该策略在每个小批次中随机抽样 P = 16 个身份,每个身份有 K = 4 张图像,其中每个身份的图像数量表示批次中为每个行人身份抽取的训练图像数量。Adam 优化器被使用,学习率在前 10 个周期内线性增加,在第 40 个和第 70 个周期分别衰减到原始值的十分之一。损失平衡权重 λ 默认设置为 1.0。所有实验都在单个 NVIDIA RTX 3090 GPU 上使用 PyTorch 2.0.1 框架实现。
4.3. 实验结果
4.3.1. 在遮挡 Re-ID 数据集上的实验结果
我们在 Occluded-Duke [18] 和 Occluded-REID [19] 上进行了实验,将我们的方法与五类代表性方法进行比较,分别是整体 Re-ID 方法、基于关键点的 Re-ID 方法、部分 Re-ID 方法、遮挡 Re-ID 方法和最近的基于 Transformer 的 Re-ID 方法。结果总结在表 1 中。可以看出,普通的整体 Re-ID 方法与使用关键点线索的整体方法之间没有显著差异。例如,PCB [4] 和 PVPM [24] 在 Occluded-Duke 上的 Rank-1 准确率都达到了约 40%,表明仅使用关键点信息可能不会显著提高遮挡 Re-ID 任务的性能。对于部分 Re-ID 和遮挡 Re-ID 方法,在遮挡数据集上都取得了显著的改进。例如,PAT [25] 和 PGGA [26] 在 Occluded-REID 上的 Rank-1 准确率分别为 81.6% 和 79.5%。这表明部分和遮挡任务具有相似的挑战,即学习区分性特征和特征对齐。基于 Transformer 的方法通常在遮挡基准测试中表现出强大的性能,如 HEFormer [27] 和 FRCE [28] 所证明的,它们在 Occluded-Duke 上的 Rank-1 准确率分别为 73.2% 和 72.4%,这些都利用了大规模预训练的 ViT 主干网络。我们的方法也有类似的特点:基于标准的 ResNet-50 主干网络且没有 ViT 预训练,SI-GCN 在计算开销显著较低的情况下实现了有竞争力的性能。更重要的是,在 Occluded-REID 上,SI-GCN 的 Rank-1 准确率达到 86.9%,mAP 为 79.8%,比 FRCE [28] 高出 2.5%。这表明,显式的不确定性感知图推理(为可见节点和被遮挡节点分配不同的可靠性,而不是统一对待它们)提供了超越全局注意力机制在多样性和严重遮挡条件下所能实现的额外遮挡鲁棒性,验证了所提出的 SI-GCN 框架的有效性。
4.3.2. 在部分 Re-ID 数据集上的实验结果
由于不完美的遮挡检测、相机视角中的异常值等因素,经常会出现部分图像。为了进一步评估所提出的框架,我们在两个部分数据集 Partial-REID [20] 和 Partial-iLIDS [21] 上将其与几种最先进的部分基方法进行了比较,包括一般的部分方法和基于关键点的部分方法。比较结果总结在表 2 中。由于这两个部分数据集规模较小,我们使用 Market-1501 [22] 作为训练集,而两个部分数据集 Partial-REID 和 Partial-iLIDS 作为测试集。从表 2 可以看出,所提出的框架在 Partial-REID 和 Partial-iLIDS 上的 Rank-1 分数上至少分别优于其他方法 1.6% 和 1.4%。
4.3.3. 在整体 Re-ID 数据集上的实验结果
尽管最近的遮挡/部分 Re-ID 方法在特定场景中取得了显著进展,但它们在整体数据集上往往无法获得令人满意的成绩。这是由于过拟合或处理未遮挡图像时引入的额外对齐模块带来的噪声干扰造成的。在本节中,我们展示了所提出的框架在整体 Re-ID 数据集(包括 Market-1501 [22] 和 DukeMTMC-reID [23])上也能取得有希望的性能。我们将 SI-GCN 与三类主流方法进行了比较,即普通的整体 Re-ID 方法、基于语义解析的 Re-ID 方法和基于关键点的整体 Re-ID 方法。实验结果显示在表 3 中。如表 3 所示,三种普通的整体 Re-ID 方法取得了极具竞争力的性能。例如,BOT [8] 在两个数据集上的 Rank-1 分别为 94.1% 和 86.4%。然而,使用外部线索(如语义解析和关键点信息)的整体 Re-ID 方法表现得较差。这是因为整体 Re-ID 数据集中的大多数图像质量较高且检测得很好,普通的整体方法足以学习出区分性特征。最后,我们提出了 SIG 模块和动态置信度校准(DCC)策略,可以抑制噪声特征的传播。有了提出的 SIG 和 DCC 层,我们的框架在两个整体 Re-ID 数据集上也取得了可比的性能。具体来说,我们在 Market-1501 和 DukeMTMC-reID 数据集上分别获得了 94.6% 和 88.5% 的 Rank-1 分数。
4.4. 模型分析
4.4.1. 核心组件的分析
本节评估了 SI-GCN 中每个提出的组件的有效性,即语义拓扑模块(STM)、自信息门控图卷积模块(SIG)和动态置信度校准策略(DCC)。我们在 Occluded-Duke 和 Occluded-REID 数据集上进行了消融实验,并在表 4 中报告了 Rank-1 准确率和 mAP。表 4. 在 Occluded-Duke 和 Occluded-REID 数据集上对核心组件的消融研究。STM 的有效性。如图 Index-2 所示,引入 STM 使 Rank-1 准确率提高了 5.9% 至 48.5%,mAP 提高了 4.5% 至 38.2%,与基线模型相比。这里的基线(Index-1)定义为没有基于图的组件的 ResNet-50 全局特征分支,由身份分类损失和硬三元组损失监督。由于 STM 显式地将节点特征基于人体拓扑先验定位在语义上有意义的身体区域,它提供了一种结构化的表示形式,使得能够处理遮挡下的特征不对齐问题。
SIG 的有效性。如图 Index-3 所示,进一步加入 SIG 使 Rank-1 准确率提高了 18.7% 至 67.2%,mAP 提高了 18.3% 至 56.5%。由于 SIG 分配了来自自信息测量的不同门控系数,它显著抑制了来自低置信度被遮挡节点的噪声传播,同时实现了来自高置信度邻居的目标语义聚合。与传统的均匀加权 GNN 聚合相比,这种非对称的信息流控制提供了更具区分性和抗遮挡能力的节点表示,解释了在 Index-3 中观察到的显著性能提升。
DCC 的有效性。如图 Index-4 所示,添加 DCC 将性能进一步提高到 Rank-1 的 69.8% 和 mAP 的 59.2%。由于被遮挡的节点特征通过更深的 GCN 层得到了逐步修复,它们的实际可靠性超出了静态初始姿态估计器的估计。DCC 动态校准了连续层之间的节点置信度,确保门控决策与不断变化的特征可靠性状态保持一致,增强了框架对不断变化的遮挡条件的持续感知能力。
4.4.2. 不确定性测量的分析
为了验证在完整的 SI-GCN 框架中采用自信息作为节点特征不确定性量化指标的合理性,本节比较了三种指标在 Occluded-Duke 和 Occluded-REID 上的性能:原始置信度(线性置信度)、线性不确定性(线性不确定性)和对数自信息(自信息)。如图 4a 所示,使用自信息在两个数据集上都取得了最佳性能。在 Occluded-Duke 数据集上,它获得了 69.8% 的 Rank-1 准确率,分别比原始置信度和线性不确定性高出 4.6% 和 3.7%。实验结果证明了我们提出的自信息驱动的不确定性度量的有效性,它可以为门控机制提供更具有区分性的不确定性先验。
4.4.3. 邻域聚合策略的分析
邻域聚合方案决定了特征完成的有效性。我们在 Occluded-Duke 和 Occluded-REID 数据集上比较了三种聚合策略,即平均聚合、注意力聚合(GAT)和自信息门控融合(我们的 SI-GCN)。如图 4b 所示,尽管 GAT 略优于平均聚合,但仍大幅落后于我们的方法。这表明主流的注意力机制依赖于特征相似性,并倾向于将具有相似背景纹理的噪声节点错误地视为高度可靠的邻居,从而引入了错误的上下文信息。相比之下,SI-GCN将节点的可靠性而非相似性作为先验,通过非线性门控机制准确抑制高不确定性的邻居,实现了更稳健的特征重建。4.4.4 参数分析在本节中,我们对关键点数量K、图卷积层数量L和损失平衡权重λ进行了敏感性分析。在全语义策略(K = 17)下,无论在何种层设置中,其性能都优于头部融合策略(K = 14)和仅关注躯干的策略(K = 12),验证了保持面部细粒度拓扑结构的有效性。随着节点复杂性的增加,最佳网络深度也相应提高,在K = 17和L = 3时达到最佳性能。当变化在一定范围内时,两种数据集的Rank-1准确率都达到了最优值。值得注意的是,对于不同的值,我们的模型仍然稳定地优于基线模型。这表明所提出的框架对不同的权重设置具有鲁棒性。请注意,如图5所示,这里的性能与表1中描述的结果有所不同:在前一种情况下,我们基于单次运行获得了69.8%的准确率,而在后一种情况下,该值是通过10次运行的平均值计算得出的,以便进行公平比较。图5. 参数敏感性分析。(a,b)展示了关键点数量K和GCN层数量对Occluded-Duke(a)和Occluded-REID(b)数据集上Rank-1准确率的联合影响。(c)展示了方程(9)中参数λ的分析结果。最优值为λ = 0.8。实验结果证明了我们的模型对参数变化具有鲁棒性。4.4.5 鲁棒性分析为了评估SI-GCN对不准确的关键点置信度的鲁棒性,我们在进行自我信息计算之前,向所有HRNet置信度中注入了标准差不同的零均值高斯噪声来进行压力测试。如图6所示,SI-GCN在Occluded-Duke和Occluded-REID两个数据集上均表现出轻微的性能下降。这两个数据集显示出不同的下降趋势:Occluded-Duke在=0.05时初始下降幅度为0.8%,而Occluded-REID在较小噪声水平(=0.05时下降幅度为-0.1%)下几乎保持稳定,然后在较大噪声水平下加速下降。在两种情况下,整体性能下降幅度在=0.20时均保持在3%以内,证实了自我信息门控机制在 Moderately corrupted uncertainty priors 下仍能保持有意义的区分能力。图6. SI-GCN对置信度扰动的鲁棒性。在Occluded-Duke(左轴,黑色方块)和Occluded-REID(右轴,红色三角形)数据集上,向HRNet置信度中注入不同标准差嘅零均值高斯噪声时的Rank-1准确率。4.5 可视化为了直观理解SI-GCN的工作原理,我们在图7中提供了一个对比可视化结果,包括原始的遮挡图像、HRNet预测的原始关键点以及通过自我信息加权的门控响应热图。以第一张被障碍物遮挡的下半身图像为例,被遮挡的关键点获得了较高的门控系数(用红色突出显示),表明SI-GCN在特征聚合过程中有效地抑制了遮挡节点的自噪声,并更多依赖于邻域信息进行特征修复。这一可视化结果证明了自适应门控图卷积网络在遮挡人员重新识别中的有效性。图7. SI-GCN中的门控响应可视化。从左到右:原始遮挡图像、HRNet的关键点检测结果以及自我信息门控响应热图。暖色调(红色)表示较高的门控系数,对应于积极聚合邻域信息的遮挡节点;冷色调(蓝色)表示较低的门控系数,对应于保留自身特征的可见节点。4.6 定性结果图8展示了所提出的SI-GCN模型与基线ResNet-50在三个数据集(Market-1501、Partial-REID和Occluded-REID)上的前10名排名结果。实验结果表明,在所有这些数据集上,SI-GCN的表现始终优于ResNet-50。例如,在Partial-REID数据集上,SI-GCN的前5名检索结果全部正确,而ResNet-50的准确率仅为40%。在Market-1501和Occluded-REID数据集上,SI-GCN的前5名准确率分别达到了100%,而HOReID分别仅为60%和80%。这些结果突显了我们SI-GCN框架在不同数据集和任务领域的有效性和鲁棒性。图8. (a)基线方法和(b)SI-GCN在Market-1501、Partial-REID和Occluded-REID数据集上的前10名排名结果的定性比较。绿色框表示正确匹配,红色框表示错误匹配。5. 讨论实验结果表明,SI-GCN在遮挡、部分遮挡和完整遮挡的重新识别(Re-ID)基准测试中始终优于现有的基于图神经网络(GNN)的方法,突显了其在解决现实世界行人重新识别系统中普遍存在的遮挡问题方面的有效性。作为智能监控和公共安全应用中的一个关键瓶颈,遮挡引起的特征损坏仍然是最先进Re-ID方法的主要限制,尤其是那些依赖于图神经网络(GNN)进行局部特征聚合的方法。传统的基于GNN的方法,如PGCN [6] 和LRGCN [7],对所有节点使用统一的聚合权重,这种设计使它们容易受到遮挡区域噪声的扩散影响。相比之下,SI-GCN通过一种基于信息论的机制来缓解这一问题:它通过对关键点检测置信度进行对数自我信息变换来量化每个节点的不确定性。这种设计选择是基于关键点置信度直接编码了局部身体区域的可靠性这一事实。将这些分数转换为自我信息,产生了一种数学上严谨且物理上合理的不确定性先验,从而规避了传统基于相似性的注意力机制的固有局限性。值得注意的是,这种不确定性建模方法相较于基于注意力的方法(如PAT [29] 和FED [32])具有明显优势,后者仅依赖于特征相似性来加权节点贡献。虽然基于相似性的注意力机制可以在无遮挡场景中有效突出区分性特征,但在严重遮挡情况下,它们可能会错误地将噪声区域视为可靠邻居,特别是当特征重叠部分显著时。相比之下,SI-GCN的自我信息驱动的不确定性先验明确编码了每个节点的置信度,使得特征聚合更加稳健,优先考虑可靠的可见区域同时抑制遮挡区域的噪声。此外,SI-GCN中嵌入的动态置信度校准(DCC)策略通过逐层传播和更新节点可靠性估计,解决了基于图的先验方法中静态置信度的限制。与现有基于GNN的Re-ID方法在输入阶段固定节点置信度不同,DCC策略确保门控决策反映每个图卷积层的当前特征状态,动态适应特征表示通过网络传播过程中的变化。这种动态校准机制增强了模型对复杂遮挡模式的适应性,在特征细化过程中局部区域的可靠性可能会发生变化。另一个值得注意的发现是SI-GCN在完整数据集上的竞争性能,表明所提出的模块在处理无遮挡图像时不会引入有害噪声——这是基于对齐的遮挡Re-ID方法常见的失败模式。这一点突显了该模型的强大泛化能力,因为它能在遮挡、部分遮挡和完整遮挡的Re-ID场景中持续表现良好。为了将我们的贡献置于更广泛的Re-ID文献背景下,现有的遮挡感知方法通常分为特征对齐和基于注意力的聚合两类。我们的工作通过引入一种基于信息论的不确定性建模框架,将关键点置信度与图卷积相结合,提供了一种比现有范式更原理性的方法来减轻噪声扩散。SI-GCN在六个基准测试中的出色表现验证了该框架的有效性及其推动遮挡Re-ID领域技术进步的潜力。总体而言,SI-GCN提供了一种可行的解决方案,以减轻遮挡引起的噪声扩散,并为包含遮挡的特征学习提供了新的视角,对其在相关计算机视觉任务中的实用价值具有重要意义。6. 结论与未来工作在本文中,我们提出了SI-GCN方法来解决遮挡人员重新识别问题。具体来说,我们将人类关键点置信度转换为自我信息度量作为不确定性先验,并构建了一个自我信息门控图卷积模块,以实现节点之间的非对称自适应信息传播。此外,我们还提出了一种动态置信度校准策略,以与图卷积同步更新节点可靠性估计。最终,我们获得了具有抗遮挡能力和高度区分性的行人特征表示。我们在六个涵盖遮挡、部分遮挡和完整遮挡场景的公共数据集上全面验证了SI-GCN方法,实验结果显示该方法优于现有的最先进方法。尽管在六个公共基准测试中表现优异,但所提出的SI-GCN框架仍存在固有的局限性。它依赖于外部的姿态估计器,并采用了固定的解剖图拓扑结构,这限制了其对复杂遮挡模式的适应性,可能导致推断不稳定。此外,自我信息门控机制跨模态和其他相关任务的泛化能力尚未得到系统验证。为了解决这些问题,我们计划从三个方面开展未来的工作。首先,我们将探索姿态估计和图卷积的端到端联合学习,以消除对外部估计器的依赖。其次,我们将设计自适应图拓扑结构来动态模拟真实的遮挡分布。第三,我们将扩展门控机制到跨模态和无监督的行人重新识别中,以拓宽其实际应用范围。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号