基于文本的人物检索中，结合噪声对应关系的动态不确定性学习方法

《ACM Transactions on Information Systems》：Dynamic Uncertainty Learning with Noisy Correspondence for Text-based Person Retrieval

　　

摘要 AI摘要

要查看此由AI生成的摘要，您必须具有高级访问权限。

了解更多 登录

摘要

摘要

基于文本的人物检索（TBPR）旨在根据自然语言描述在图像数据库中定位人物。尽管在理论上是有效的，但由于存在噪声对应关系——即图像与文本之间的对齐不良或关联较弱——TBPR在现实场景中面临重大挑战，这显著降低了检索性能。现有方法常常过度强调硬负样本的挖掘，从而无意中放大了这种噪声的影响。为了解决这个问题，我们提出了动态不确定性与噪声对应关系（DUNC），这是一个新框架，它结合了两个关键组件：（1）跨模态证据学习（CEL），使用狄利克雷分布来模拟双向对齐的不确定性，以捕捉图像与文本相似性的置信度；（2）动态鲁棒损失（DRL），它能够自适应地选择和聚合硬负样本，以减少噪声实例的影响并提高模型的鲁棒性。与传统的全局对齐方法不同，DUNC利用精细的局部对应关系来增强不同模态之间的语义对齐。通过整合不确定性感知建模和自适应对比监督，我们的方法能够有效区分噪声样本和可靠的训练样本。在三个基准数据集（CUHK-PEDES、ICFG-PEDES和RSTPReid）上进行的广泛实验表明，DUNC始终能够达到最先进的性能，并在各种噪声条件下表现出强大的鲁棒性。代码可在https://github.com/ASL-forever/DUNC处获取。

AI摘要

AI生成的摘要（实验性）

此摘要是由自动化工具生成的，并非由文章作者撰写或审核。它旨在帮助读者发现内容、评估相关性，并协助来自相关研究领域的读者理解本文。它旨在补充作者提供的摘要，后者仍是本文的权威版本。全文是记录的权威版本。点击这里了解更多。

点击这里对摘要的准确性、清晰度和实用性进行评论。这样做将有助于改进未来的版本。

要查看此由AI生成的通俗语言摘要，您必须具有高级访问权限。