基于信心度的跨模态匹配技术，用于安全关键性的个人重新识别任务

《Neurocomputing》：Confidence-aware cross-modal matching for safety-critical person re-identification

　　

摘要

在诸如智能监控和自动驾驶车辆等安全至关重要的自主系统中，文本到图像的人员检索必须提供可靠的置信度估计，以避免可能造成灾难性的决策。自然语言查询与检索到的人像之间的不匹配可能导致跟踪错误、虚假警报或下游决策的失误。尽管大型多模态模型被广泛用于文本到图像的匹配，但其高容量往往导致过度自信的预测，这些预测可能会传播到下游决策错误中。本文提出了一种名为“置信度感知跨模态匹配”（CACMM）的文本-图像人员检索方法，该方法直接将置信度估计嵌入到匹配过程中。它通过正确性排名损失（CRL）在跨模态特征上学习置信度排名，同时保持语义的准确性。置信度估计非常高效：在训练期间仅增加一个额外的损失项，并且在推理过程中通过单次前向传递即可生成高质量的置信度分数。在公共人员重新识别基准测试上的广泛实验表明，CACMM提高了文本到图像的匹配精度，并减轻了由过度自信预测引起的安全风险。

引言

随着人工智能的发展，跨模态感知已成为自主系统和智能监控的关键支柱，在这些系统中，文本到图像的人员检索不再是一个简单的搜索任务，而是与下游决策的安全性紧密相关。这些技术的快速发展正在推动无人平台和智慧城市基础设施与复杂的、非结构化环境进行积极互动。在监控和自动驾驶中，操作者越来越多地需要通过自然语言描述来定位特定人员，例如“穿红色背包的人过马路”。在这些安全至关重要的环境中，一个有信心但错误的匹配可能会触发虚假跟踪、错误警报或危险的规划决策。这一能力的核心是视觉-语言对齐，它将高级语言命令转化为可操作的视觉目标。近年来，以CLIP[1]为代表的对比学习架构显著提高了对齐精度，并在零样本检索中展示了强大的潜力，为自主任务规划和监控分析提供了坚实的感知基础[2]。

然而，当这些模型被部署在计算资源有限的安全关键任务中时，仍然存在一个关键瓶颈：实现可靠置信度校准的巨大成本[3]。现有的深度人员检索网络容易产生过度自信[4]，而传统的事后校准方法通常需要辅助验证集或引入额外的推理开销，这与任务关键系统的严格延迟和操作限制不兼容。在自主或监控框架中，这种“无根据的确定性”不仅仅是一个统计差异，而是一个严重的操作隐患；然而，传统的训练目标继续优先考虑特征的可分离性，而忽视了输出分数的内在可靠性。因此，迫切需要一种内生的、轻量级的机制，使得模型能够在不进行重大架构修改或 excessive 计算负担的情况下生成高质量的置信度分数。图1展示了安全关键自主系统架构中跨模态匹配任务所面临的置信度危机。

为了弥合感知精度和操作安全性之间的差距，本文介绍了置信度感知跨模态匹配（CACMM），该框架旨在为跨模态检索模型赋予内在的自我评估能力。与传统依赖于辅助验证集的后事校准方法不同，CACMM将置信度学习直接集成到训练流程中。CACMM的技术核心是正确性排名损失（CRL），它建立了一个明确的排名机制，以惩罚模型将高相似度分数分配给错误匹配的情况。这种机制迫使潜在空间同时编码语义对应关系和预测的确定性，确保模型在遇到模糊描述、遮挡或质量下降的视觉数据时保持谨慎的输出特性。此外，CACMM在计算效率方面进行了优化，训练期间仅需要一个轻量级的损失项，并在推理过程中引入的可忽略的开销。这使其成为集成到高风险的自主和监控框架中的理想解决方案，在这些框架中，决策的可靠性和最小延迟都至关重要。

CACMM的架构利用预训练的CLIP骨干[5]来提取跨模态特征，并通过多模态交互编码器进行增强，该编码器共同优化了细粒度的语义关系和全局特征兼容性。为了满足高置信度的要求，我们提出了一种新颖的相似性分布匹配（SDM）框架，该框架通过统一的优化过程实现同时进行预测和可靠性评分。

我们明确地将CACMM与最相关的先前工作进行了定位。首先，事后校准方法（如温度缩放）仅在训练后调整分数，并且需要一个保留的验证集；它们不会更改模型，因此无法影响排名特征。其次，贝叶斯神经网络、深度集成和MC-dropout提供了原则性的不确定性估计，但它们需要多次前向传递或大量的计算资源，这与低延迟的机载系统不兼容。第三，现有的基于CLIP的文本-图像检索方法（例如CFine、IVT和IRRA）提高了检索精度，但没有明确建模置信度。最后，原始的CRL工作是为单模态分类设计的；它不能直接应用于跨模态检索，因为每个身份包含多个正面图像和标题，并且因为匹配是一个排名问题而不是单标签分类问题。CACMM通过共同学习置信度感知的匹配和可靠的置信度分数来解决这些缺口。

本文的主要贡献总结如下：

• •
  我们提出了一种用于可靠自主和监控系统的置信度感知文本到图像人员检索模型。它结合了置信度排序的文本-图像相似性分布匹配方法，使用正确性排名损失（CRL）在保持语义准确性的同时学习跨模态特征之间的置信度排序关系。
• •
  所提出的置信度估计方法在训练期间仅增加一个损失项，并且通过单次推理传递即可生成高质量的置信度分数，额外成本可以忽略不计。
• •
  在多个公共数据集上的广泛实验表明，CACMM在匹配精度上至少比现有最佳基线（例如LBUL）提高了2.9％，同时提供的置信度估计有助于减轻错误预测。

章节摘录

视觉-语言对齐

由于文本和图像的跨模态对齐具有广泛的应用性，因此引起了大量的研究关注。早期的进步取得了实质性进展。Li等人[6]通过使用CNN-RNN架构首次实现了文本到图像的人员检索。Zhang等人[7]引入了一个结合跨模态投影匹配损失和分类损失的双目标框架来优化特征兼容性。

置信度感知跨模态匹配模型

本文的目标是建立一个文本-图像匹配模型，该模型在自主和监控领域集成置信度估计，以进行文本-图像人员检索，其中高置信度是一个关键要求。图2展示了所提出的模型架构。在对输入文本/图像数据（例如图像分割、单词掩码）进行初步处理后，使用预训练的CLIP模型的文本编码器和图像编码器来提取相应的文本和图像

实验

本节首先介绍实验设置，如数据集选择、训练程序和超参数设置。然后分析实验结果。除了比较CACMM和先进方法之外，还评估了置信度估计的质量。

结论

本文提出了CACMM，这是一种用于安全关键自主和监控系统的置信度感知文本到图像人员检索框架。它通过正确性排名损失（CRL）在相似性分布匹配目标中学习跨模态特征的置信度排名，从而产生可靠? ??度 ??值，且额外的参数和内存需求可以忽略不计。在包括CUHK-PEDES和RSTPReid在内的人员重新识别基准测试上的结果显示，CACMM

限制和未来工作

我们承认，本文中的实验是在标准的基于文本的人员检索基准（CUHK-PEDES和RSTPReid）上进行的，这些基准是受控数据集。尽管这些基准为验证核心置信度学习算法提供了一个原则性的测试平台，但它们不包含自主和监控系统可能遇到的真实世界中的传感器噪声、遮挡或分布变化。因此，当前的结果应被视为证据

CRediT作者贡献声明

Qi Xiao：撰写——原始草稿、软件、方法论、概念化。Yunchuan Qin：资源、资金获取、概念化。Siyu Chen：软件。Zhuo Tang：方法论、概念化。Kenli Li：概念化。

利益冲突声明

作者声明他们没有已知的潜在财务利益或个人关系可能影响本文报告的工作。

致谢

本工作得到了中国国家自然科学基金（项目编号62473137）和长沙科技大学科学技术创新平台开放研究基金（项目编号B202402）的支持。

Qi Xiao于2024年在中国长沙的湖南大学获得计算机科学与技术博士学位。她目前是长沙科技大学计算机科学与技术学院的助理教授。她的研究兴趣包括自然语言处理（NLP）、自主无人系统、高性能边缘计算等。

Qi Xiao|Yunchuan Qin|Siyu Chen|Zhuo Tang|Kenli Li

< />