基于小波的多层次信息补偿学习技术在可见光-红外人体重识别中的应用

《Digital Signal Processing》：Wavelet-based multi-level information compensation learning for visible-infrared person re-identification

本文提出基于小波的多级信息补偿方法WMIC，通过信息补偿块（ICB）和波let增强块（WEB）解决跨模态人脸识别中浅层特征丢失问题，利用小波分解保留模态不变细节，扩大感受野，结合双分支中心引导损失优化嵌入表示，在SYSU-MM01、RegDB、LLCM等数据集上验证优于现有方法。

　　跨模态行人重识别（VI-ReID）是计算机视觉领域中的一个重要研究方向，主要目标是在不同模态的图像之间识别出同一行人。随着智能视频监控技术的不断发展，VI-ReID在实际应用中扮演着越来越重要的角色。尤其是在夜间或低光照条件下，红外摄像头的使用频率显著增加，而可见光摄像头仍然广泛部署，这就导致了跨模态行人重识别的需求日益增长。传统的行人重识别方法主要针对可见光图像进行设计，但面对红外与可见光图像之间的显著模态差异时，往往难以获得较高的识别准确率。因此，如何有效提取跨模态共享的身份特征信息，成为VI-ReID研究的核心挑战之一。

跨模态行人重识别的难点在于不同模态图像之间存在显著的差异，如光照条件、成像方式、颜色信息等。这些差异可能导致网络在提取身份特征时，难以捕捉到模态间共享的关键信息。现有的方法主要集中在两个方向：一是图像级方法，二是特征级方法。图像级方法通常通过数据增强或生成辅助模态图像来减少模态间的差异，但这种方法可能会引入额外的噪声，从而影响特征的提取效果。特征级方法则利用神经网络从不同模态的图像中提取身份特征，并将这些特征映射到一个共享空间进行对齐。虽然这些方法在一定程度上缓解了模态差异带来的问题，但在特征提取过程中仍然存在信息丢失的风险，尤其是浅层特征中的模态不变信息，往往被忽视。

为了更有效地解决这一问题，本文提出了一种基于小波变换的多级信息补偿学习方法——Wavelet-based Multi-level Information Compensation（WMIC）。该方法的核心思想是通过小波分解技术，从不同模态的图像中提取出更多模态共享的细节信息，并在多个网络阶段进行信息补偿，从而提升模型在跨模态行人重识别任务中的表现。具体来说，WMIC方法引入了两个关键模块：信息补偿块（Information Compensation Block, ICB）和小波增强块（Wavelet Enhancement Block, WEB），并通过一种双分支中心引导损失（Dual-branch Center-Guided Loss）来引导两个嵌入向量的互补性，从而进一步缩小可见光与红外图像之间的识别差距。

信息补偿块（ICB）是WMIC方法中的一个关键模块，其主要作用是补偿网络深度增加过程中可能丢失的浅层信息。在传统的深度神经网络中，随着网络层数的增加，浅层特征往往被深层特征所覆盖，导致部分重要的细节信息被忽略。ICB模块通过应用小波变换，将深层特征分解为四个小波子带，从而保留更多的模态不变细节。此外，小波变换还能够扩大感受野，使得模型能够更好地捕捉到图像中的全局信息。这些子带信息被用来计算一个注意力矩阵，该矩阵能够增强浅层特征中的局部信息，从而提升模型对跨模态特征的识别能力。

小波增强块（WEB）则通过生成额外的嵌入向量来丰富网络的表示能力。在传统方法中，通常只生成一个嵌入向量，而WEB模块则利用小波变换，从特征图中提取出更多模态共享的特征信息，并通过某种方式生成第二个嵌入向量。这两个嵌入向量分别对应于可见光和红外图像，它们之间存在一定的互补性。为了进一步增强这种互补性，本文还引入了一种双分支中心引导损失，该损失能够有效地引导两个嵌入向量在共享空间中的对齐，从而减少跨模态识别中的差异。

在实验部分，本文在三个具有挑战性的跨模态数据集上进行了广泛的测试，包括SYSU-MM01、RegDB和LLCM。这些数据集分别代表了不同的应用场景和模态组合，能够全面评估WMIC方法在跨模态行人重识别任务中的性能。实验结果表明，WMIC方法在这些数据集上的表现优于现有的多种方法，尤其是在处理模态差异较大的情况下，能够更准确地识别行人身份。这表明，WMIC方法在跨模态行人重识别任务中具有显著的优势。

此外，本文还对方法的贡献进行了总结。首先，我们提出了多级信息补偿块（ICB），通过小波变换来补偿网络深度增加过程中可能丢失的浅层信息。这是首次将小波变换应用于跨模态行人重识别任务，能够有效保留模态不变的细节信息，并扩大感受野，从而提升模型的识别能力。其次，我们设计了小波增强块（WEB），通过生成额外的嵌入向量来丰富网络的表示能力。WEB模块能够提取模态共享的特征信息，并通过双分支中心引导损失来引导两个嵌入向量的互补性，从而进一步缩小可见光与红外图像之间的识别差距。最后，我们通过在三个具有挑战性的数据集上的实验验证了WMIC方法的有效性，证明了其在跨模态行人重识别任务中的优越性。

在实际应用中，WMIC方法的提出对于提升跨模态行人重识别的准确性和鲁棒性具有重要意义。尤其是在夜间或低光照条件下，红外摄像头的使用能够有效补充可见光摄像头的不足，从而实现更全面的监控。通过WMIC方法，可以更准确地识别行人身份，提高系统的整体性能。此外，WMIC方法还能够为其他跨模态任务提供借鉴，如跨模态目标检测、跨模态图像检索等，具有一定的泛化能力。

本文的研究成果表明，小波变换在跨模态行人重识别任务中具有重要的应用价值。通过小波分解技术，可以更有效地提取跨模态共享的特征信息，并在多个网络阶段进行信息补偿，从而提升模型的识别能力。同时，双分支中心引导损失的引入，使得两个嵌入向量能够更好地互补，进一步减少跨模态识别中的差异。这些创新点不仅为跨模态行人重识别提供了新的解决方案，也为其他跨模态任务的研究提供了新的思路和方法。

在方法的实现过程中，本文还考虑了模型的结构设计和训练策略。WMIC方法采用了一个双流ResNet-50网络作为主干网络，分别处理可见光和红外图像。在可见光流中，ICB模块被设计在多个网络阶段，以补偿浅层信息的丢失。在红外流中，同样应用了ICB模块，并通过WEB模块生成额外的嵌入向量。为了确保两个嵌入向量在共享空间中的对齐，本文还引入了双分支中心引导损失，该损失能够有效地引导模型学习模态共享的特征，同时抑制噪声信息的影响。

总的来说，WMIC方法通过引入小波变换和双分支中心引导损失，为跨模态行人重识别任务提供了一种新的解决方案。该方法不仅能够有效保留浅层信息，还能够通过多级信息补偿提升模型的识别能力。实验结果表明，WMIC方法在多个数据集上的表现优于现有的多种方法，验证了其在跨模态行人重识别任务中的有效性。未来的研究可以进一步探索小波变换在其他跨模态任务中的应用，并尝试优化模型的结构和训练策略，以提高其在实际场景中的性能。