基于反事实引导的隐性对应关系提示方法，用于可见光与红外图像中的人脸重新识别

《IEEE/CAA Journal of Automatica Sinica》：Counterfactual-Guided Implicit Correspondence Prompting for Visible-Infrared Person Re-Identification

　　摘要：尊敬的编辑：

本信介绍了基于反事实的隐式对应关系提示（CICP）框架，该框架专为工业5.0智能控制系统中的可见光-红外人员重识别（VI-ReID）任务设计。CICP通过创新处理模态特定特征及其隐含关系的方法，提高了复杂工业环境中的识别准确性。该框架整合了两个关键组成部分：隐式对应关系提示（ICP）和反事实提示干预（CPI）。这两个模块协同工作，增强了智能制造环境中的自适应控制和决策能力。ICP利用可学习的模态提示建立跨模态连接，而CPI则运用反事实推理优化语义表示，从而实现工业5.0应用所需的强大跨模态检索能力。全面实验验证了CICP在提升智能控制机制方面的有效性。

在工业5.0的背景下，智能控制系统促进了以人为中心的可持续智能制造，VI-ReID是一项基础性的使能技术。该系统通过匹配可见光和红外光谱域中的身份信息，提高了操作安全性和效率，进而改善了工作场所监控，优化了复杂工业布局中的人员跟踪，并加强了安全区域的访问控制。VI-ReID解决了工业环境中的两个主要挑战：模态内部变化和跨模态成像差异——可见光相机捕获RGB信息，而红外传感器检测热信号[1]。克服这些技术障碍对于开发提高运营效率、确保工人安全以及在工业5.0框架内实现灵活生产的自主控制系统至关重要。能够准确识别和追踪不同成像模态下的个体，对于实施工业5.0原则至关重要，它使智能工厂能够加强安全协议，优化人机协作，并提高运营效率。通过弥合不同监控系统之间的差距，VI-ReID支持了符合工业5.0以人为本理念的适应性、安全制造环境的发展。

为了解决这些挑战，最近的VI-ReID研究可以归为两种主要方法：直接从原始数据中学习模态共享特征，以及通过额外的模态信息来细化特征空间。基于原始模态的方法[2],[3]将跨模态图像嵌入到一个共同空间中进行特征级对齐，从而实现模态共享特征的直接学习。当前的无监督方法[4]主要关注通过未标注数据的实例级特征对齐来缓解模态差异。尽管取得了令人满意的结果，这些方法在解决特征空间中的持续模态差异方面仍面临重大挑战。为了弥合可见光和红外模态之间的差距并构建一个连续的空间以更有效地学习模态共享特征，研究人员开发了结合补充信息的方法[5],[6]，尽管这可能会引入噪声。此外，特征解耦方法[7]通过分离可区分身份的特征和模糊身份的特征，显示出在跨模态对齐方面的潜力。然而，这些方法依赖于精心设计的先验，并且在平衡解耦的子空间和整体表示质量方面面临挑战，特别是在复杂的跨模态场景中。尽管现有方法可以缓解模态差异，但它们主要关注消除模态特定信息以学习模态共享特征，忽略了模态特定特征的潜在好处。这些方法并不是最优的，因为模态特定特征之间的有价值对应关系可以提升VI-ReID的性能。例如，在可见光（VIS）图像中识别的服装纹理可以提供关于红外（IR）图像中表现出的热辐射强度的洞察。虽然一些方法[8],[9]承认模态特定信息的重要性，但它们主要集中于补偿缺失的模态，而不是探索不同模态之间的复杂对应关系，限制了它们的跨模态适应性。模态特定信息不可避免地在不同模态的输入之间引入语义差异。这些差异阻碍了模态不变信息的有效利用，导致表示能力不足。

为了解决这些限制，我们提出了一种方法，该方法利用模态共享和模态特定信息来提升识别性能。我们的模型旨在提取跨模态一致的表示，同时运用由反事实因果干预引导的模态提示来揭示模态特定信息中的隐含对应关系。这种创新方法使网络能够有效适应不同模态的输入，同时最大化模态特定信息的作用。

初步设置：设Let Xt={xjt|j∈[1,B]}表示来自模态t的训练图像集合，其中t∈{v,i}（v代表可见光，i代表红外），B是每个小批量中的样本数量。可见光和红外样本由St={Xt,Yt}表示，其中Yt={yjt|j∈[1,B]}对应于模态t的身份标签。图像Xt被输入网络以提取特征表示，表示为Ft={Fjt|j∈[1,B]}。VI-ReID的主要目标是使用这些学习到的特征表示在可见光和红外模态之间建立准确的身份匹配。我们的框架概述见图1。主干网络被训练来学习模态共享信息。对于模态t的输入图像，主干网络提取的原始特征表示为Fot。

隐式对应关系提示（ICP）：为了优化模态特定信息的提取并学习模态之间的隐含对应关系，从而便于适应多样化的模态输入，我们引入了两组可学习的模态提示。这些提示表示为Pt=p1t,p2t,…,pkt∈Rk×D，其中t∈v,i分别代表可见光和红外模态。如图1(a)所示，过程从对原始特征Fot及其对应的模态提示Pt进行归一化开始。然后框架应用线性投影将Pt转换为Q∈Rk×Dh，同时将Fot转换为两种表示：K∈RN×Dh和V∈RN×Dh。随后使用以下公式计算捕获Fot和Pt之间关系的响应矩阵A：At=softmax(QKTDh???√)∈Rk×N。(1)

获得的响应矩阵At用于加权特征，然后将其输入到一个包含LayerNorm和高斯误差线性单元（GELU）激活的前馈网络（FFN），接着是一个残差连接。这一过程可以表示为Fpt=FFN(AtV)+AtV(2)。为了增强模态特定信息对应的检测，我们对ICP增强后的特征Fpt的概率分布实施了Jensen-Shannon（JS）散度约束。这种约束促进了模态之间概率分布的收敛。过程首先将Fpt的连接特征传递到一个全连接层以生成分类概率得分qt。Jensen-Shannon散度使用以下公式计算：LJS=12KL(qv∥qv+qi2)+12KL(qi∥qv+qi2)(3)

反事实提示干预（CPI）：尽管ICP模块能够检测模态间的对应关系，但在优化模态间的语义表示方面可能存在局限性，并倾向于收敛到一组有限的模态共享特征。为了增强响应矩阵At的监督并在训练期间加强模态提示的影响，我们实施了因果推理技术。CPI过程可以表示为一个结构因果模型（SCM）[10]，如图1(b)所示。在这个框架中，X→A代表ICP模块内的响应矩阵计算，而X→Y←A描述了消息传递过程和输出计算。从输入X到输出Y的转换包括两条不同的路径：直接效应（X→Y）和间接效应（X→A→Y）。应用于我们的ICP模块的端到端约束同时影响这两条路径，可能会限制A在间接效应路径上的增强。为了解决这一限制并强调A在整个训练过程中的重要性，我们引入了一种反事实干预机制。具体来说，ICP模块处理包含原始特征Fot和模态提示Pt的输入X。为了分析因果关系，我们引入了来自高斯分布的反事实提示Pc作为干预输入。如图1(b)所示，我们将这些反事实提示Pc与Fot结合起来创建一个干预后的输入X^，从而生成相应的干预后响应矩阵A^和输出Y^。从(Y,A)到(Y^,A)的转换保持所有变量不变，除了A^，从而在ICP模块内隔离了A的因果效应。通过系统调整Pc，这种干预机制揭示了模态特定提示的独特影响，使得能够精确评估它们对跨模态特征对齐的贡献。对于模态t∈{v,i}，我们用公式Yeffect表示这种效应，计算公式为Yeffect=qt?qct(4)

除了LJS和Lcpe之外，我们还对输出特征采用了常规的身份损失Lid和加权正则化三元组损失Ltri[11]。整体训练目标定义为L=Lid+Ltri+λ1LJS+λ2Lcpe。(6)

实验设置：我们的实现采用了ResNet-50作为主干网络，结合了[11]中的非局部结构。模型在单一NVIDIA GeForce RTX 3090 GPU上进行训练。训练过程中，对大小为288 ×144的零填充图像应用随机裁剪和随机擦除。每个训练批量包含4张可见光和4张红外图像，共8个身份。我们使用随机梯度下降（SGD）优化器进行训练，动量为0.9，训练周期为80个时代。学习率最初设置为1 ×10?2，并在前10个时代线性增加到1 ×10?1。之后在第30个、45个和60个时代分别减少到1 ×10?2、5 × 10?3和1 ×10?3。提示的数量K设置为4。λ1和λ2分别设置为0.01和0.1。实验评估使用了两个著名的VI-ReID数据集：SYSU-MM01 [1]和RegDB [12]。SYSU-MM01包含491个身份，共计30,071张可见光图像和15,792张红外图像。RegDB包含412个身份，每个身份由20张图像表示。性能评估遵循标准协议，使用Rank-k匹配准确性和平均精度（mAP）指标。

比较结果：SYSU-MM01和RegDB与现有最先进方法的比较结果见表1和表2。我们提出的CICP在所有评估指标上表现出优越或可比的性能。在SYSU-MM01具有挑战性的全搜索设置中，CICP实现了72.25%/70.01%的R1/mAP。对于RegDB，该框架在可见光到热模式中获得了89.16%/83.40%的R1/mAP，在热到可见光模式下获得了88.72%/82.39%的R1/mAP。尽管RegDB的数据集规模较小，导致mAP性能略低于最先进方法，但CICP在Rank-k性能上仍保持优越。这些结果证明了CICP在增强模态特定信息利用和学习隐含特征对应关系方面的有效性。

消融研究和分析：进行了消融研究，以评估所提出的CICP框架中每个关键组件的有效性，包括ICP和CPI。如表3所示，ICP模块与基线架构的集成（标记为+ICP）带来了显著的性能提升，Rank-l准确性达到70.16%，mAP提高了69.04%。这表明ICP显著提高了模型学习隐式模态特定信息对应关系的能力，并有效减少了不同模态之间的差距。随后将ICP和CPI组件（标记为+ICP+CPI）结合起来，进一步提升了性能指标，将排名第一的准确率提升至72.25%，mAP提升至70.01%。CPI不仅增强了ICP所提供的优势，还优化了跨模态语义表示的平衡和对齐。这种提升表明，CPI有效地指导了ICP模块学习和利用模态特定信息，从而产生了更具区分性的特征表示。我们的比较分析确认了这两个组件的积极贡献，它们的组合实施带来了最佳性能，从而验证了它们之间的互补关系。表3. 关键组件对sysu-mm01的有效性

结论

本论文通过创新的方法论贡献，在多模态匹配的VI-ReID领域取得了重大进展。我们开发了CICP框架来解决模态差异并优化模态特定特征的使用。CICP框架通过两项关键创新实现了这一目标：ICP模块增强了模态特定特征之间的整合，CPI模块利用因果推断提供了更强的监督作用。通过这些组件的协同实现，我们的CICP框架在模态特定信息的对齐和利用方面表现出色。全面的实验验证了CICP的有效性。

致谢

本项工作部分得到了国家自然科学基金（62406177）、山东省优秀青年科学家基金（海外）（2024HWYQ-027）、山东省自然科学基金（ZR2023QF124）以及山东大学青年学者计划的支持。