WSNet:基于小波卷积的行人重识别技术,并在推理过程中借助图像生成辅助
《Electronics》:WSNet: Person Re-Identification Based on Wavelet Convolution and Assisted by Image Generation at Inference Time
Honggang Xie,
Jinyang Huang,
Xinxin Yi,
Zhiwei Chen,
Wei Xiong,
Yuan Yao,
Yongsheng Bai and
Xiuyuan Meng
【字体:
大
中
小
】
时间:2026年04月16日
来源:Electronics 2.6
编辑推荐:
摘要 在行人重新识别(ReID)任务中,现有模型面临双重挑战:首先,监控摄像头在远距离拍摄的图像分辨率低且模糊;其次,图像数据存在样本不足、姿态有限以及跨领域适应性问题。为了解决这些问题,我们提出了一个基于小波卷积的行人重新识别框架,并辅以一个基于稳定扩散
摘要 在行人重新识别(ReID)任务中,现有模型面临双重挑战:首先,监控摄像头在远距离拍摄的图像分辨率低且模糊;其次,图像数据存在样本不足、姿态有限以及跨领域适应性问题。为了解决这些问题,我们提出了一个基于小波卷积的行人重新识别框架,并辅以一个基于稳定扩散(Stable Diffusion)的身份保持图像生成模块,该模块仅在推理时使用。该方法采用双通道小波卷积神经网络进行多尺度行人特征提取,并结合了跨注意力机制和门控机制以实现动态数据融合。此外,我们还引入了一个预训练的Pose2ID辅助生成分支,在人体关键点引导下合成具有多样化姿态的身份保持行人视图。这些生成的视图仅在推理时使用,其WSNet特征与原始图像的特征融合,以提供姿态互补的表示增强。在Market-1501和MSMT17基准数据集上的实验表明,我们的方法在Market-1501上的mAP达到92.1%,Rank-1准确率为96.5%;在MSMT17上的mAP为60.1%,Rank-1准确率为81.2%,WSNet的参数量为2.66M。与基线模型相比,提出的方法在Market-1501和MSMT17上的mAP分别提高了5.1个百分点和7.6个百分点。
1. 引言
在现实监控场景中,行人重新识别(ReID)仍然具有挑战性。行人图像通常分辨率低、模糊或部分遮挡,这削弱了细粒度身份线索。现有方法通常通过改进局部表示或融合多粒度特征来提高识别能力。然而,局部特征方法往往依赖于固定的姿态先验,对遮挡的鲁棒性较差,而多分支融合模型则通常会增加计算成本,并且对图像质量下降仍然敏感。这些限制促使人们采用基于小波的建模方法。通过将特征分解到不同的频率子带中,小波卷积可以在保持全局结构的同时增强区分细节的能力。这一特性使其成为处理模糊、视角变化和背景干扰的理想轻量级解决方案。
当前的行人重新识别模型在复杂场景中面临关键挑战,包括细节区分能力不足和图像模糊问题。为了解决这些限制,主流解决方案主要集中在局部特征提取[1,2]和多粒度融合架构[3]上。然而,前者依赖于固定的姿态先验,导致对遮挡的适应性较差,而后者则受到高计算复杂性的限制,并且对模糊敏感。对于低分辨率和模糊问题,尽管最近的分辨率自适应表示[4]显示出前景,但仅依赖空间域重建往往会引入干扰特征区分性的伪影。这些方法尚未从根本上解决噪声抑制和细节保留之间的矛盾[5],因此需要探索由频率域先验指导的鲁棒特征表示机制。
此外,行人重新识别模型的泛化能力受到公共数据集固有缺陷的严重限制。样本稀缺和极端长尾分布导致高频身份样本在训练中占主导地位,从而显著降低了低频身份的识别性能[6]。相机视角和光照的变化进一步加剧了模型迁移的难度[7],而注释噪声和身份不确定性降低了标签的可靠性[8]。为了缓解数据瓶颈,生成模型技术逐渐被应用于ReID领域。早期的生成对抗网络(GANs)由于生成质量和身份控制能力不足,提升效果有限[9],而最近的扩散模型可以合成高保真的多姿态行人图像[10]。然而,现有方法在生成过程中面临挑战,例如在适应新主体时难以保持细粒度身份一致性[11],以及生成图像容易受到复杂背景或物体遮挡的干扰[12],导致跨姿态身份一致性显著下降。
最近的研究进一步扩展了行人ReID的范围,从推理时无需训练的身份保持特征辅助[13]到可扩展的虚拟身份合成用于ReID模型训练[14],以及在多模态多平台和低光环境中的更具挑战性的基准测试[15,16]。这些发展进一步凸显了需要能够在不同姿态、平台和成像条件下保持鲁棒性的高效ReID模型。
图1展示了所提方法的总体框架。上层分支是一个仅在推理时使用的固定Pose2ID辅助生成模块。给定一个输入行人图像,VAE编码器首先将其映射到图像潜在表示????。同时,ReID编码器提取全局身份特征,该特征通过IFR模块转换为结构化身份令牌,用于条件化去噪U-Net。并行地,姿态编码器生成姿态控制潜在表示????。从噪声扩散潜在表示????开始,逐步细化为去噪潜在表示????,最终解码为具有多样化姿态的身份保持行人视图。在下层分支中,原始图像和生成的视图通过相同的WSNet主干网络提取区分性多尺度特征。在训练期间,WSNet仅使用真实训练图像进行优化。在推理期间,原始图像的特征与生成视图的特征通过系数p融合,以便利用姿态互补信息,而无需在生成分支和WSNet之间进行联合训练或梯度传播。
本文在多个主流行人ReID数据集(如Market-1501 [17]、MSMT17 [18]、Cuhk03 [19]和Occluded-Duke [20])上进行了广泛实验。实验结果表明,所提方法在Rank-1准确率和mAP指标上均优于基线方法。
我们的贡献总结如下:
我们提出了WSNet,这是一种基于小波卷积的紧凑型主干网络,用于行人重新识别,加强了多尺度特征交互,并在不依赖大型Transformer架构的情况下扩展了有效感受野。
我们引入了一个预训练的Pose2ID辅助生成分支,在推理时通过加权特征融合提供身份保持和姿态互补的视图辅助。
在Market-1501、MSMT17、CUHK03和Occluded-Duke上的广泛实验表明,WSNet在轻量级或效率导向的行人ReID方法中一致性地提高了性能,并实现了良好的准确性和效率平衡。
2. 相关工作
基于小波卷积的ReID。近年来,作为计算机视觉中的一个重要任务,行人ReID面临着视角变化、遮挡和光照变化等挑战。虽然传统的卷积神经网络在特征提取方面取得了显著进展,但在处理多尺度特征和抗干扰能力方面仍存在局限性。为了解决这些问题,研究人员引入了小波变换来增强特征表示能力。Yao等人提出了稀疏图小波卷积神经网络(SGWCNN),该网络通过构建稀疏加权图并使用小波卷积处理图结构,从而有效地建模时空关系并提高视频级ReID性能[21]。此外,Zhou等人设计了一种自蒸馏增强的垂直小波空间注意力机制,该机制关注小波的高频垂直分量。这种方法通过自蒸馏策略增强了捕获行人轮廓和细节的能力,同时提高了特征的一致性和区分性[22]。
然而,这些方法在感受野建模能力和特征泛化方面仍存在某些限制。SGWCNN中的卷积操作仅限于图中的局部节点,导致感受野有限,难以捕获全局上下文关系。尽管Zhou的方法引入了高频垂直小波分量以增强边缘感知,但其空间注意力机制本质上侧重于局部细节,缺乏建模长距离依赖性的能力。相比之下,WTConv [23]通过将小波卷积内核系统地集成到CNN中,显著扩展了有效感受野,同时在保持多尺度特征的同时实现了全局语义理解和局部细节表示之间的平衡。基于正交小波变换,这种方法在空间下采样过程中保持了结构信息,避免了传统池化或卷积操作通常导致的信息丢失。这种全局感受野建模能力对于行人ReID任务尤为重要,因为它增强了模型对视角变化、遮挡和行人之间背景差异的适应性。
基于Transformer的ReID。与基于CNN的方法不同,视觉Transformer(ViT)最近在捕获ReID的长距离依赖性方面展示了强大的能力。TransReID [3]构建了一个纯基于Transformer的框架,重新排列补丁嵌入以处理遮挡,有效建模全局上下文。更近期,SOLIDER [24]利用语义信息学习分辨率自适应表示,进一步推动了技术进步。虽然这些方法通过利用全局注意力机制实现了卓越的性能,但它们通常具有较大的计算负担和较大的参数规模。相比之下,我们提出的WSNet利用小波卷积扩展了感受野,实现了与Transformer相当的全局感知能力,同时保持了CNN的轻量级优势和推理效率。
除了直接的人行ReID研究之外,基于图的深度学习也在分析复杂关系和增强相关任务的特征表示方面显示出潜力。Pawar等人[25]在数字取证分析中探索了基于图的神经框架。尽管这项工作不在ReID领域内,但它表明关系建模有助于学习更具区分性的表示,这也是行人ReID的一个重要目标。
行人生成模型。生成模型最近已成为行人ReID的重要辅助工具。早期的GAN基方法主要用于风格转换或姿态变化合成[26,27,28,29],但它们通常存在图像质量有限和身份保持不稳定的问题。更近期的基于扩散的方法改进了视觉保真度和可控性。ControlNet [12]实现了姿态引导的人像生成,而Pose2ID [13]探索了在推理时无需训练即可进行身份保持的生成。这些研究表明,生成的图像可以为ReID提供有用的姿态互补线索。然而,许多现有方法要么需要额外的优化,要么更注重生成质量而非高效的特征提取。这为可以从生成辅助中受益的轻量级ReID架构留下了空间。
值得注意的是,作为新一代生成范式的扩散模型,在图像生成质量方面已经显示出超越传统GAN的性能优势。基于预训练模型(如Stable Diffusion)的研究进展,研究人员开发了基于2D人体姿态的生成技术。一个典型的例子是ControlNet [12],它将姿态控制信号嵌入到扩散过程中以实现高精度的人像生成。DreamBooth [11]进一步通过微调扩散模型来探索基于主题的生成,以绑定特定主体。然而,这些方法通常需要计算成本高昂的主题特定微调,或者在没有明确约束的情况下难以保持细粒度身份一致性。为了解决行人ReID中的挑战,其中单个样本受到背景噪声、遮挡和模型限制的影响,Pose2ID [13]提出了一种特征集中框架,将Stable Diffusion模型与行人ReID集成。它结合了身份引导的行人生成(IPG)模块来增强身份特征并提高身份表示的稳定性。
最近在标准基准测试上评估的行人ReID方法大致可以分为两个方向:优先考虑绝对识别能力的高容量模型和旨在平衡识别性能和计算成本的轻量级或效率导向模型。在高容量方法中,基于Transformer的模型(如TransReID [3])强调了全局依赖性建模,在Market-1501上的Rank-1准确率和mAP分别为94.7/86.8,在MSMT17上分别为81.8/61.0,在Occluded-Duke上分别为60.5/53.1。视觉语言方法(如CLIP-ReID [30])进一步受益于大规模多模态预训练,在Market-1501上的准确率和mAP分别为95.7/89.8,在MSMT17上分别为84.4/63.0,在Occluded-Duke上分别为61.0/53.5。关系感知模型(如DRLNet [31])增强了层次空间推理,在Market-1501上的准确率和mAP分别为95.5/86.6,在MSMT17上分别为83.5/56.9,在CUHK03上分别为80.9/75.9。这些方法展示了现代ReID性能的强大上限,但它们通常依赖于更复杂的特征建模机制。
相比之下,另一条重要的研究路线专注于轻量级或效率导向的行人ReID。OSNet [32]是一种经典的轻量级基线模型,在Market-1501上的准确率和mAP分别为94.8/84.9,在MSMT17上分别为78.7/52.9,在CUHK03上分别为72.3/67.8,参数量仅为2.2M。MSINet [33] 提高了多尺度交互效率,在Market-1501任务上取得了94.6/87.0的准确率,在MSMT17任务上取得了76.0/52.5的准确率,且仅使用了230万个参数。更近期的一些轻量级或高效方法包括MSDENet [34],其在Market-1501任务上取得了95.8/89.3的准确率,在MSMT17任务上取得了83.6/63.1的准确率,在CUHK03任务上取得了78.4/75.7的准确率,同样也只使用了262万个参数;HashReID [35] 强调了高效的动态推理能力,在Market-1501任务上取得了94.18/84.85的准确率,在MSMT17任务上取得了76.81/51.41的准确率;ADLN [36] 在Market-1501任务上取得了95.8/89.2的准确率,使用了2351万个参数;FPA-Net [37] 在Market-1501任务上取得了96.1/89.6的准确率,在MSMT17任务上取得了83.4/64.9的准确率,在CUHK03任务上取得了81.4/80.6的准确率;以及TE-TransReID [38],这是一种基于Transformer的轻量级方法,在Market-1501任务上取得了94.8/87.7的准确率,在MSMT17任务上取得了85.7/66.2的准确率,使用了2750万个参数。与这些方法相比,我们的工作是一种基于小波卷积的轻量级ReID框架,并结合了推理时的身份保持生成技术,旨在实现良好的准确率与效率之间的平衡,而不仅仅是追求重型模型的最高绝对基准准确率。因此,我们的工作应该主要与轻量级和高效性的ReID方法进行比较,而更重的先进模型则作为性能对比的上限参考。详细的定量比较在第4节中提供。
受这些发展的启发,我们提出的模型结合了WTConv的全局感受野和多尺度建模能力,以及一个预训练的Pose2ID辅助生成分支。与需要在目标数据集上额外进行生成器优化的方法不同,我们的方法直接采用已发布的预训练权重,并仅在推理时通过加权特征融合使用生成的身份保持视图。通过这种方式,该框架增强了对姿态变化和具有挑战性的视觉条件的鲁棒性,同时保持了WSNet的训练流程不变。通过结合基于小波的特征提取和推理时的身份保持辅助,所提出的方法为人物ReID提供了一个紧凑且实用的技术方案。
最近的期刊级研究也表明,人物ReID研究正在迅速扩展,超越了传统的基准优化,面向更广泛的实际应用场景。例如,一项最新的调查[39]全面概述了近期的人物ReID技术和基准测试性能趋势,强调了高容量模型在标准监督环境中的持续进步。同时,像SHIELD [40]这样的最新期刊工作进一步将人物ReID扩展到了保护隐私的场景中,反映了现实部署约束和扩展评估目标的重要性。这些研究表明,该领域的最新进展不仅应该从绝对基准准确率的角度来解读,还应该结合模型复杂性和应用场景来进行评估。
3. 材料与方法
3.1. 行人生成
为了解决姿态变化和在具有挑战性的ReID场景中缺乏互补的身份保持视图的问题,本文采用了一个预训练的Pose2ID辅助生成分支。这个分支不在目标ReID数据集上进行微调,也不参与WSNet的训练。相反,它仅在推理时使用,以在不同姿态下合成身份保持的行人视图,以便相同的WSNet骨架可以提取额外的姿态互补线索。生成过程包括两个阶段:条件编码和扩散去噪。具体来说,VAE编码器将输入图像映射到潜在空间,而预训练的身份编码器提取全局身份嵌入???(??)。为了更好地将这种全局表示与扩散U-Net的逐 token 条件机制对齐,我们引入了一个身份特征重分布(IFR)模块,该模块将身份特征投影并重塑为结构化的特征token,用于交叉注意力引导。在采用的Pose2ID辅助分支中,身份编码器首先从输入图像中提取一个紧凑的全局身份表示???(??)。尽管这个向量具有区分性,但它仍然是一个单一的整体嵌入,并不直接适合扩散U-Net中使用的逐token 条件格式。IFR模块的作用是弥合这种表示差距。具体来说,它将全局身份特征投影到一个更高维的空间,并将其重塑为一系列类似token的特征块,使得身份信息能够以结构化的方式与去噪特征交互。这样,整体身份语义得到了保留,而条件化变得更加细致,更适合在不同姿态下生成身份一致的视图。数学公式如下:
??=IFR?(???(??))=LN?(Reshape?(Linear?(???(??))))
(1)
其中 ???(??) 表示提取的身份特征,Linear?( ·) 表示将特征映射到高维空间的全连接层,Reshape?( ·) 将向量重新组织为维度为d的N个特征token(在我们的实现中,?? =20 且 ?? =768)。LN表示层归一化,确保分布稳定性。得到的嵌入H为生成过程提供了细粒度的身份约束。在扩散阶段,我们利用Pose2ID提供的预训练Stable Diffusion (v1.5)权重来确保生成的逼真性。我们结合了三种类型的条件输入:重分布的身份嵌入H、从姿态估计器获得的目标准姿态表示?????????????以及潜在噪声????。在每个扩散步骤?? ∈[0,??]中,去噪网络预测噪声残差以逐步重建目标潜在图像。去噪过程表示为:
?????1=?????(????,??,?????????????,??),??∈[0,??]
(2)
其中 ???? 表示时间步t的噪声潜在变量,???? 是学习得到的去噪函数。????????????? 和 H 的协同条件化使得模型能够在保持参考图像身份细节的同时合成符合目标姿态的行人图像。在我们的实现中,直接采用了发布的预训练Pose2ID权重,而不在Market-1501、MSMT17、CUHK03或Occluded-Duke上进行微调。对于输入图像,我们根据Pose2ID推荐的代表性姿态设置生成p = 8个姿态引导的身份保持视图。这些生成的视图不会添加到训练集中,也不参与WSNet的优化。相反,它们仅在推理时转发到相同的WSNet骨架中,其特征通过缩放系数p与原始图像特征聚合。这样,生成分支作为一个辅助的推理时特征增强机制,而不是训练时的增强策略。本文实验中使用的p值如表1所示。
表1. p–数据集对应表。*表示来自Pose2ID的值。
3.2. ReID
本文提出WSNet作为人物重新识别的核心特征提取器,如图1的下层分支所示。输入图像首先通过Stem层提取低级结构特征并降低空间分辨率。然后,结果特征图经过多个由WSBlocks和 downsampling模块组成的级联阶段处理,使得网络能够通过基于小波的多尺度建模捕捉全局上下文信息和细粒度的身份线索。在训练期间,来自不同分支的池化特征受到身份和三元组损失的监督;而在推理期间,这些分支特征被连接起来形成最终的行人匹配描述符。输入图像首先通过Stem层进行初步特征提取,旨在提取低级结构信息,同时降低原始图像的空间维度。初步特征提取之后,特征图依次输入到多个级联的WSBlock模块中。该模块采用双路径小波卷积结构,以提高模型的全局感知能力,同时减轻图像模糊和光照变化的影响。为了进一步压缩空间维度并加深网络的感受野,我们在WSBlock之后引入了一个downsampling模块,在保持关键信息的同时减小特征图的大小。
为了增强特征的区分能力和鲁棒性,我们在训练阶段采用了多分支监督策略。具体来说,我们采用了结合Label Smoothing Cross Entropy(LSCE)损失和Batch Hard Triplet损失的自定义损失函数。总损失????????????????表示为身份损失和三元组损失的无权重之和:
????????????????=???????+??????????
(3)
其中 ??????? 表示带有标签平滑的 cross-entropy损失,用于防止过拟合;?????????? 表示使用批量硬挖掘策略处理每个小批量中的复杂正负对的三元组损失。两个尺度分支独立计算这些损失,有助于网络在多个粒度上学习区分性特征。在推理阶段,每个分支的输出沿着通道维度融合,生成最终的全面特征表示。
3.3. WSBlock
WSBlock模块的架构如图2所示。该模块旨在继承MSINet [33] 的高效多尺度交互结构,同时通过小波卷积显著扩展了有效感受野。在每个块内部,输入特征被分为两个具有不同感受野尺度的并行路径。为了平衡计算负担和特征多样性,这两个分支具有不同的深度:一个路径经过三次级联小波卷积以捕获长距离依赖性,而另一个路径执行一次小波卷积以保留局部细节。除了交互模块(IM)之外,这两个分支不共享模型参数。为了促进这些多尺度特征之间的有效信息交流,我们采用了MSINet中提出的IM,它在网络单元内桥接了并行分支,使得具有不同感受野的特征能够动态地交流和增强彼此。设 ??1,??2 ∈???×??×?? 表示来自两个并行分支的输入特征图;IM提供了一个包含四种候选操作的灵活搜索空间来处理这些输入:
图2. 提出的WSBlock的架构。该模块由两个具有不同深度的并行分支组成,IM表示用于跨分支信息交换的交互模块。左分支包含三个堆叠的W3单元,而右分支包含一个W3单元。每个W3单元由基于小波的卷积、BatchNorm2d和ReLU组成,如图右侧所示。None:此操作不涉及任何交互或参数,保持原始特征的独立性。输出表示为 (??1,??2)。
Exchange:为了最大化信息流,此操作直接交换两个分支的特征图。输出表示为 (??2,??1)。
Channel Gate:该机制引入了逐通道的注意力门来筛选具有区分性的特征。使用共享的多层感知器(MLP)生成门权值。操作表示为:
??′??=???(MLP?(????))·????,??∈{1,2}
(4)
其中 ?? 表示Sigmoid激活函数,MLP参数在分支之间共享,以共同筛选通道的重要性。
Cross Attention:为了促进两个并行分支之间的信息交流,我们采用了跨分支注意力机制来建模通道间的相关性。设 ????,???? ∈???×??×?? 表示来自两个分支的输入特征,设 ?????,????? ∈???×?? 表示它们的重塑形式,其中 ?? =?? ×??。跨分支相关矩阵计算如下:
????←??=Softmax?(?????3?????)
(5)
更新后的特征表示为:
??′??=????+??·reshape?1?(????←??3?????)
(6)
其中 ?? 是一个可学习的尺度参数。
为了实现多尺度特征的高效互补性,我们引入了交互模块(IM),并采用了MSINet中通过NAS搜索获得的配置策略。IM的设计确保网络可以根据层的深度关注合理的交互模式:即在浅层进行简单的特征保留,在深层实现复杂的语义对齐。这种自适应的交互机制有效地增强了特征的表现力,从而提高了模型的区分性能。
WSBlock的核心组件是提出的W3模块,它由一个3 ×3的小波卷积核(WTConv)[23] 组成,后面跟着批量归一化 [41] 和ReLU激活函数 [42]。与仅在空间域操作的标准卷积不同,WTConv模块通过级联小波变换构建了层次化的频率表示。我们使用Haar小波基,因为它的紧凑性和正交性。输入特征经过多层2D离散小波分解,表示为:
??(??)?????,??(??)?????,??(??)?????,??(??)?????=WT?(??(???1)?????)
(7)
其中 WT?( ·) 表示2D离散小波变换。??(???1)????? 表示来自前一层的输入低频近似(??(0)????? 是输入特征图)。分解产生四个子带:低频组件 ??(??)?????,用于捕捉行人的全局结构和身体形状;以及高频组件 {??(??)?????,??(??)?????,??(??)?????},分别编码水平边缘、垂直轮廓和对角纹理细节。这种频率域分离与人眼的身份识别机制非常吻合。
在每个分解级别,这些子带中并行执行深度可分的卷积操作。重要的是,低频路径中的卷积操作通过小波变换中的空间降采样实现了指数级的扩展感受野。与标准的池化不同,正交小波变换确保了降采样过程中结构信息的保留。最终,处理后的子带通过逆小波变换线性重构:??(??)=IWT?(??(??)?????+??(??+1),??(??)?) (8),其中IWT?( ·)表示逆小波变换。??(??)?????是卷积后的低频特征,??(??)? ={??(??)?????,??(??)?????,??(??)?????}表示第i层的卷积高频特征集合。??(??+1)表示从更深层次?? +1重建的累积输出,促进了自上而下的信息流动,将全局语义上下文与局部纹理细节结合起来。这种多层次重构使WSBlock能够捕捉到对噪声和模糊具有抵抗力的鲁棒特征。
在实际应用中,该框架的操作步骤如下:给定一个行人输入图像,我们首先使用已发布的预训练Pose2ID模型在不同的姿势下合成多个保持身份的视图。然后将原始图像和生成的视图输入到相同的WSNet主干网络中提取其特征表示。在训练过程中不使用任何生成的图像来优化WSNet。相反,在推理时,将原始图像的特征与生成视图的特征通过系数p控制的加权融合结合起来,得到用于匹配的最终描述符。这种设计允许该方法在不修改标准ReID训练过程的情况下利用姿势互补信息。
4. 结果
4.1. 数据集和评估指标
为了评估所提出方法的有效性和泛化能力,我们在四个主流的人体ReID数据集上进行了实验:Market-1501 [17]、MSMT17 [18]、Cuhk03 [19] 和 Occluded-Duke [20]。包含Occluded-Duke数据集能够特异性地评估模型在复杂遮挡场景下的鲁棒性。我们采用了累积匹配特征(CMC)曲线和平均精确度(mAP)作为评估指标。
4.2. 实验结果
为明确起见,本文中的“基线”指的是没有使用所提出的小波辅助WSBlocks的相应MSINet风格对应模型,并且在推理时没有进行身份保持生成辅助。换句话说,基线保持相同的整体ReID流程和监督设置,但去除了我们方法中新引入的组件。除非另有说明,否则在比较和消融实验中始终使用这一定义。对于身份保持生成组件,我们直接采用发布的预训练Pose2ID权重 [13] 并使用其推荐的八个代表性姿势来合成辅助视图。这些生成的视图不用于训练,仅在推理时用于加权特征融合。对于不同的数据集,我们为特征融合设置了不同的缩放系数p,具体参数值见表1。在“与其他模型的比较”部分,我们使用五种不同的随机种子训练了模型,并报告了得到的性能指标的平均值。请注意,WSNet仅使用原始的真实训练图像和标准的人体重新识别目标进行训练,没有向训练集添加任何生成的图像。在推理阶段,每个输入图像首先由WSNet编码以获得原始特征,然后再次将由Pose2ID生成的姿态引导图像输入WSNet以提取辅助特征。最终描述符仅在推理时通过这些特征的加权融合获得。因此,所提出的框架不是一个联合训练方案,也没有从WSNet到扩散模型的梯度反向传播。
与其他方法的比较。表2展示了不同方法之间的性能对比。结果显示,WSNet在其直接基线之上表现出一致性的提升,并在轻量化或以效率为导向的人体ReID方法中实现了竞争力的性能。尽管一些更大容量、更高性能的模型仍然获得了更高的绝对基准准确率,但WSNet在识别性能和模型效率之间保持了更有利的平衡。因此,WSNet的主要价值不在于在绝对准确率上超越所有最新的最先进方法,而在于在轻量化设计目标下提供具有竞争力的性能。值得注意的是,其在Occluded-Duke数据集上的优越性能验证了所提出的小波卷积策略成功地为轻量级模型赋予了类似Transformer的全局视图能力。这使得模型能够通过利用全局结构信息来进行精确识别,有效补偿了缺少局部特征的问题,而不会带来较大架构的沉重计算负担。
表2. 与其他模型在Person ReID数据集上的性能比较。值得注意的是,直接基线的主干网络比WSNet包含更少的参数。因此,WSNet的核心优势并不在于相对于基线绝对减少参数的数量。相反,WSNet为了结合小波辅助的多尺度建模而略微增加了参数开销,这显著提升了识别性能,同时保持了与其他代表性ReID方法相比的紧凑架构。
跨域泛化。为了验证模型对未见领域的泛化能力,我们在MSMT17上进行了训练,并在未经微调的情况下在其他数据集上进行了测试。如表3所示,WSNet展现出比基线MSINet更强的可迁移性。例如,在MSMT17 → Market-1501的设置中,WSNet的排名1准确率达到了92.1%,mAP达到了76.9%,显著超过了基线。这表明基于小波的特征提取和推理时的身份保持视图辅助有助于在跨域条件下提高模型的鲁棒性。
为了验证模型在长尾分布和极端数据稀缺条件下的鲁棒性,我们设计了一组在Market-1501数据集上模拟数据稀缺的对比实验。具体来说,我们以0.1的间隔从原始训练集中随机抽取身份样本,范围从10%到50%,构建了不同程度的少样本训练场景。实验结果如图3所示,WSNet在所有采样比率下都显著优于基线模型MSINet。特别是在10%的极端数据稀缺条件下,基线模型的性能急剧下降,其mAP仅降至25.4%,而WSNet的mAP保持在64.7%,两者之间存在最大的性能差距。这一显著的性能提升表明所提出的框架在严重数据稀缺的情况下仍然有效,且基于小波的特征提取和推理时的身份保持视图辅助能够在可用的身份信息有限时提供强大的补充线索。
为了定量评估生成行人图像的质量,我们采用了Fréchet Inception Distance (FID)、LPIPS和ID Score指标。如表4所报告的,尽管生成样本的FID指标略高于专注于视觉生成任务的最佳基线,但这与本研究的核心目标是一致的。引入的Identity Feature Redistribution (IFR)模块对特征进行了强制性指导,虽然在一定程度上牺牲了图像的纹理平滑度并导致FID值的增加,但它确保了生成样本在特征空间中具有正确的身份方向。正如先前的研究所指出的,即使视觉质量不佳,只要保留了关键的身份信息,生成的视图仍然可以提供有用的身份相关线索。此外,通过引入质量系数p进行加权特征聚合,我们的方法抑制了生成噪声的干扰,并允许这些辅助视图在推理时提供互补的姿态感知信息。
表4. 生成样本的定量评估。
我们进一步评估了WSNet主干网络在三个维度上的效率:参数数量(Params)、GFLOPs和推理时间,在NVIDIA RTX5090 GPU上进行测试。为了使比较更加公平和更具任务相关性,表5重点关注代表性的ReID主干网络,特别是紧凑或以效率为导向的方法,同时将更大容量模型作为上限参考。应该注意的是,表5中的值对应于ReID主干网络本身。辅助的Pose2ID生成分支没有包括在这个主干网络级别的比较中,因为它是一个冻结的推理时模块,而不是WSNet的可训练部分。
表5. 模型复杂性和推理速度的比较。如表5所示,WSNet仍然是一个紧凑的ReID主干网络,具有2.66 M参数和1.16 GFLOPs。我们强调WSNet并不是所有比较基线中参数数量最小的:例如,OSNet使用了2.20 M参数。然而,从OSNet到WSNet的参数增加是适度的,而在多个基准测试中,识别性能的提升更为显著。此外,尽管引入了基于小波的操作,WSNet仍然保持了较低的推理延迟,并且比基于Transformer的模型(如TransReID)更加高效。因此,WSNet的主要优势不在于绝对最小的参数数量,而在于在紧凑架构下提供了有利的准确率-效率权衡。
除了参数数量和延迟之外,WSNet还在主干网络内存占用方面具有优势,这得益于其轻量级架构和使用了Haar小波基。Haar变换的简单滤波器结构引入了有限的实现开销,这对于内存受限的部署非常有益。尽管如此,完整的推理框架仍然涉及辅助视图生成和测试时的重复特征提取。因此,我们将WSNet定位为一个带有推理时生成辅助的紧凑主干网络,而不是最小的或最便宜的整体流程。对完整框架进行全面的内存、能源和边缘设备的评估是未来工作的一个重要方向。
4.3. 消融研究
我们在MSMT17数据集上进行了全面的消融实验,以分析某些关键参数的影响和敏感性。
小波卷积中的阶段选择。为了验证所提出的WSBlock在模型不同阶段的有效性,我们通过在模型的三个阶段分别引入这个模块,并将其与完全没有引入该模块的情景以及在整个阶段都引入该模块的情景进行比较,设计了一组消融实验。表6展示了该模块在每个阶段对模型性能的影响,以验证所提出方法中不同阶段组件的有效性。基线模型在MSMT17数据集上的mAP达到了52.5%,排名1准确率达到了76.0%。在Stage1应用WSBlock模块后,mAP增加到55.1%,排名1准确率提高到77.5%,表明它在这个阶段对提取有效特征有积极的影响。当在Stage2使用WSBlock模块时,mAP达到了55.7%,排名1准确率提高到77.8%,略优于Stage1,表明这个阶段在优化特征表示方面提供了更强的互补效果。最后,在Stage3引入WSBlock模块后,模型的mAP达到了55.5%,排名1准确率为78.2%,在排名1指标上实现了最佳性能,这证明了该模块在增强最终识别能力方面的有效性。
当所有三个阶段模块都被整合时,模型性能进一步提升,mAP达到56.9%,排名1准确率达到78.9%,显著优于任何单阶段配置。这验证了阶段模块之间的强大互补性和协同效应。结果表明,这种分阶段设计不仅提高了整体模型性能,还有效地整合了多层次特征信息,同时保持了它们各自的优点,从而获得了更具辨别力的行人表示。因此,这项消融实验证实了整体模块设计和结构一致性在性能提升中的关键作用。
WSBlock架构分析。为了对所提出的WSBlock进行细致的分析,并分解其内部机制的贡献,我们进行了一系列专注于卷积操作器和交互策略的消融实验。同时,为了严格区分主干架构的优势和推理时生成辅助的贡献,我们在实验中禁用了SD生成模块。所有变体仅在原始的MSMT17数据集上进行训练和评估,没有引入任何合成样本。
如表7所示,我们通过用标准卷积替换小波卷积、替换IM模块以及移除双流架构等方式构建了各种变体。IM消融的结果表明,两个并行分支之间的显式交互有助于学习互补的表示。没有IM时,两个分支主要独立处理特征,这限制了不同感受野之间的信息交换。通过引入跨分支交互,IM允许一个分支根据另一个分支的特征分布重新校准其响应,从而改善了多尺度特征协调。这在面对面的重新身份识别(ReID)中尤其有用,因为强大的匹配效果依赖于全局结构线索和局部区分性细节。表7显示了组件贡献分离实验的结果以及小波基函数的计算成本。为了彻底研究不同小波基函数对模型计算成本和推理效率的具体影响,我们选择了四种代表性离散小波变换基——Haar、Daubechies、Symlets和Coiflets——进行对比性消融研究。详细的性能指标在表8中呈现。实验结果清楚地表明,Haar小波在参数效率和时间复杂度方面都具有显著优势。具体来说,基于Haar小波的模型只有2.66 M个参数,每张图像的推理延迟低至0.60毫秒。相比之下,使用更复杂的小波基会导致模型参数增加数十倍,并且推理时间也会显著延长。值得注意的是,Symlets的延迟达到了12.20毫秒,远超Haar小波。尽管各种变体之间的理论计算负荷差异不大,但由于Haar小波具有最短的滤波器长度和简单的计算逻辑,它在实际操作中大大减少了内存使用和计算负担。鉴于这项研究的目的是构建一个适用于边缘部署的轻量级重新身份识别架构,Haar小波不仅显著提高了计算效率,还满足了特征提取的要求。因此,它被确认为WSNet的最佳小波基选择。表8比较了不同小波类型之间的计算开销。小波基消融进一步表明,Haar更适合像WSNet这样的轻量级ReID框架。尽管更复杂的基,如Daubechies和Symlets,提供了更丰富的滤波器结构,但它们的计算成本在训练和推理过程中都要高出很多。在我们的设置中,这些额外的成本并没有带来相应的性能提升。因此,Haar在小巧性和区分能力之间提供了更优的平衡,这更符合构建紧凑且实用ReID模型的设计目标。
小波子带性能分析:为了深入研究不同频率成分对行人特征表示的具体贡献及其相互作用机制,我们在MSMT17数据集上基于小波子带进行了细致的消融实验,详细结果见表9。实验数据清楚地揭示了全频段信息融合的必要性;只有当低频成分(LL)和所有高频成分(LH、HL、HH)共同参与特征提取时,模型才能达到最佳性能。相反,移除任何特定的高频子带都会导致性能不同程度的下降,表明单一方向上的纹理缺失会损害特征的完整性。这一发现强烈表明了低频结构信息和高频细节信息之间的显著协同效应:低频成分建立了行人的全局轮廓基础,而水平、垂直和对角线方向的高频成分捕捉了关键的细粒度区分特征。只有保留完整的全频段信息,我们才能在抑制噪音的同时最大化特征丰富度,从而实现最佳的识别准确性。
模块性能分析:为了彻底分析所提出方法中子模块的独立性和协同效应,我们对两个关键组件——小波卷积模块(WT)和辅助的保持身份不变生成模块(SD)进行了系统性的消融实验。结果显示在表10中。基线模型在没有加入任何模块的情况下,获得了52.5%的平均精度(mAP)和76.0%的排名1准确率(Rank-1)。当单独引入WT模块时,mAP提高到56.9%,排名1准确率提高到78.9%。当单独使用SD模块时,性能进一步提高到58.4%和79.8%。当两个模块同时集成时,模型达到了最佳性能,mAP和排名1准确率分别达到了58.7%和79.7%。结果表明,WT和SD模块在各自的阶段都显示出显著的正向效果,它们的结合使用可以进一步增强整体模型性能,体现了出色的互补性和协同增强能力。这验证了这两个模块在特征表示和结构建模方面的协作机制,表明它们的联合操作可以加强模型的区分能力,同时保持局部细节和全局结构之间的一致性。
模型可视化:为了进一步从视觉上验证WT模块对特征表示的影响,我们设计了一个对比可视化实验,展示了包含和不包含WT模块的三个模型阶段的热图,如图4所示。可视化结果表明,没有WT模块时,模型的响应区域更加分散,一些干扰区域或背景信息被错误地识别为区分特征,导致目标区域识别的准确性降低。相比之下,加入WT模块后,模型更有效地聚焦于目标人物的关键部位,如头部、服装纹理和上半身,响应区域更加集中,特征表示也更具区分性。这些实验结果进一步表明,WT模块在引导模型关注更具代表性的区域的同时抑制冗余或不相关特征方面发挥了积极作用,从而有效增强了模型的区分能力。
5. 局限性和未来工作
尽管该框架在效率和全局感知方面表现出优势,但由于其轻量级设计和实际场景中重新识别人身的固有难度,仍然存在 beberapa 限制。首先,尽管WSNet凭借紧凑的架构获得了有竞争力的性能,但在大规模和高度多样化的基准测试中,与更强大的基于Transformer的模型相比,仍然存在性能差距。这一限制主要与模型容量有关:基于轻量级CNN的架构通常在处理大规模数据环境下的极端复杂外观变化和长距离依赖性方面能力较弱。其次,该框架对严重的观测退化和高视觉模糊度非常敏感。在极端遮挡、严重模糊或分辨率非常低的条件下,输入图像可能无法提供足够的身份线索来进行可靠的特征提取或稳定的身份保持视图生成。此外,当不同的身份具有高度相似的服装、外观模式或背景上下文时,该方法可能会遇到困难,这可能会混淆最终匹配过程。第三,辅助生成分支依赖于外部姿态估计器的质量。在拥挤或具有挑战性的场景中,不准确的姿态估计可能会导致不真实的身体布局、结构变形或生成的伪影。这些错误会降低生成视图的质量,并削弱推理时融合表示的效果。最后,尽管生成模块与WSNet训练是解耦的,但在推理时使用它会引入额外的计算开销,并降低部署的灵活性。特别是,该框架仍然依赖于姿态引导的辅助生成和重复的特征提取来生成视图,这使得在资源限制较高的平台上进行实时部署变得更加困难。为了应对这些限制,我们未来的研究将集中在以下方向:
1. 架构改进:我们将探索更有效的轻量级设计,包括增强注意力的小波卷积模块,以在保持低计算开销的同时加强全局上下文建模。
2. 高效部署:我们将在真实的边缘设备和嵌入式平台上验证该框架,并额外分析内存使用、延迟和能耗,以更好地评估其实际部署能力。
3. 无生成器的知识转移:我们将研究知识蒸馏或表示转移策略,将辅助生成分支中有用的姿态互补信息吸收到主干网络中,以减少推理时对生成视图的依赖和对外部姿态估计的依赖。
6. 结论
本文提出了WSNet,这是一个轻量级的重新身份识别(ReID)框架,它结合了基于小波的多尺度特征提取和推理时保持身份的图像辅助。通过将小波卷积引入紧凑的多尺度交互主干网络,WSNet增强了模型对全局结构和细粒度外观线索的建模能力。同时,一个基于Pose2ID的辅助分支在推理时提供具有多种姿态的保持身份的行人视图,其特征与原始图像特征融合,实现了姿态互补的增强,而无需联合训练。在Market-1501、MSMT17、CUHK03和Occluded-Duke上的实验表明,WSNet在其直接的紧凑型基线模型上取得了持续的改进,并在轻量级或以效率为导向的ReID方法中表现出了竞争力。虽然WSNet不是最小的紧凑模型,但其2.66 M的主干网络在识别准确性和模型效率之间提供了良好的平衡。因此,我们将WSNet定位为一个紧凑的替代方案,它在实际资源限制下提供了有竞争力的性能。WSNet的贡献不在于声称拥有最小的模型或最高的绝对基准准确率,而在于提供了一个具有竞争力性能的紧凑ReID框架,并清晰地展示了准确性和效率之间的权衡。这些结果表明,基于小波的特征建模仍然是紧凑ReID系统的实际方向,尤其是在结合了精心设计的推理时辅助机制的情况下,可以在具有挑战性的视觉条件下实现这一点。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号