用于因果驱动的跨模态哈希的自适应伪标记方法

《Expert Systems with Applications》：Adaptive Pseudo-labeling for Causal-driven Cross-Modal Hashing

跨模态哈希通过映射不同模态到共享哈密空间实现高效检索，但标签噪声会扭曲哈希码与语义的因果关系。本文提出ACCH框架，通过自适应伪标签划分干净/噪声样本，并采用因果对抗训练解耦噪声干扰，有效提升跨模态检索性能。

　　

杨蓓蓓|胡勤泰|孟敏|马泽涛|李培远|吴继刚

广东工业大学计算机科学与技术学院，广州，510006，中国

摘要

跨模态哈希技术由于其卓越的效率和低存储开销，在大规模多模态检索中最近受到了越来越多的关注。然而，大多数现有方法依赖于大规模、标注完善的数据集，当面临普遍存在的标签噪声时，它们的性能往往会显著下降。这一性能瓶颈的根本原因是标签噪声作为混淆因素，掩盖了学习到的哈希码与真实语义之间的因果关系。为了解决这一挑战，我们提出了一种新颖的框架——基于因果驱动的跨模态哈希的自适应伪标记（ACCH），旨在通过减轻噪声标签的干扰来学习鲁棒的哈希表示。具体来说，我们首先明确将标签噪声建模为影响哈希码生成和模型损失的混淆因素。然后，我们提出了一个因果去偏哈希（CDNH）模块，该模块旨在消除哈希码与噪声标签之间的虚假相关性。此外，为了为CDNH模块提供可靠的监督信号，我们设计了一种基于样本划分的自适应伪标记（APSD）机制。该机制创新性地融合了模内（图像到原型、文本到原型）和模间（图像到文本）的相似性，以生成高度可靠的多模态语义共识分数。基于这个分数，我们将生成的伪标签与原始标签进行比较，从而能够精确且自适应地将训练集划分为干净和噪声子集。在三个数据集上的实验结果表明，我们提出的ACCH方法表现出色，证明了其有效性。

引言

随着互联网和移动设备的普及，多媒体数据正在快速增长，图像和文本是最常见的两种数据形式。如何从大规模、异构的数据中有效检索相关信息已成为一个紧迫的问题。跨模态检索（CMR）作为这一领域的核心技术，旨在利用一种模态（例如文本）的数据来检索另一种模态（例如图像）中的语义相关数据。为了在大规模数据集上实现高效的跨模态检索，跨模态哈希（CMH）因其紧凑的存储和快速的检索能力而受到了广泛关注。它通过学习一个共享的哈希函数将不同模态映射到一个共同的汉明空间中，生成紧凑的二进制哈希码，并将复杂的检索问题转化为高效的汉明距离计算。

根据监督类型的不同，CMH方法主要分为两类：无监督和有监督。无监督哈希方法（Fan & Cao (2025); Wu & Li (2024); Yao, Li, Li, Zhang, & Ma (2024); Zhang et al. (2025b) 不依赖于任何标签信息，而是通过聚类和子空间学习等方法发现数据内部的关系。相比之下，有监督哈希方法（Meng, Sun, Liu, Yu, & Wu (2023); Zhang, Yang, Qi, Qian, & Xu (2025a); Zheng, Li, Zhu, Zhang, & Lu (2023); Zhu et al. (2025) 利用丰富的语义标签信息来指导哈希码的学习过程，通常能够获得更好的检索性能。然而，这些方法往往隐含地假设训练标签是完全准确的（Wang et al. (2025)）。在现实世界的应用中，训练数据通常伴随着大量的噪声标签，这些噪声标签可能源于人类注释错误（Song, Kim, Park, Shin, & Lee (2022）、数据收集偏差（Frénay & Verleysen (2013)）或语义歧义（Xiao, Xiao, & Eckert (2012)），导致模型学习到错误的语义关联，从而降低检索性能。因此，减轻CMH中由噪声标签引起的性能下降是一个具有挑战性的问题。

为了减轻噪声标签的影响，已经提出了许多CMH方法。例如，Yang et al. (2022) 提出了一种按固定比例选择干净样本的方法，该方法依赖于对噪声水平的预先估计。在噪声分布动态变化的现实世界场景中，这可能导致后期训练阶段的噪声过滤失败。Wang et al. (2024) 提出使用高斯混合模型（GMM）来拟合损失分布，并根据样本损失值动态分离干净和噪声标签。虽然这些方法有效地利用了统计相关性来过滤噪声，但它们往往无法区分虚假相关性和真实的语义因果关系，尤其是在高噪声环境下，损失边界变得模糊。因此，它们将标签噪声视为数据分布问题，而不是结构性干预，限制了它们从根本上解决由噪声标签作为混淆因素引起的因果扭曲的能力。此外，一些基于自适应学习的方法（Pu et al. (2025)）取得了一些进展，但它们未能解决由噪声标签作为混淆因素引起的模型学习中的因果扭曲问题。

为了解决上述挑战，我们提出了一种新颖的自适应伪标记跨模态哈希（ACCH）方法。与主要依赖统计过滤的传统鲁棒哈希框架不同，ACCH通过因果推断形式化噪声干扰机制，以识别和干预非因果路径。我们的ACCH架构如图1所示，包括两个关键模块：基于样本划分的自适应伪标记（APSD）和噪声哈希的因果去偏（CDNH）。具体来说，APSD模块基于多模态原型学习，使用改进的指数移动平均策略更新图像-文本双模态原型矩阵。这些原型矩阵作为语义锚点，生成高度可信的伪标签。通过将伪标签与原始标签进行比较，训练集被自适应地划分为干净和噪声样本对。对于干净样本，我们应用对比损失来最大化它们的哈希码相似性。对于噪声样本，CDNH模块使用因果对抗训练来从根本上解耦哈希码生成和噪声标签之间的虚假因果关系，从而消除标签噪声的影响。通过APSD和CDNH的协同优化，ACCH框架有效地解决了由噪声标签引起的过拟合偏差和误差累积问题。我们ACCH的主要贡献总结如下：

(1) 我们将因果推断理论引入到噪声标签鲁棒哈希中，并提出了一种基于因果驱动的标签混淆去偏方法。它解耦了哈希码生成和噪声标签之间的因果关系，确保哈希码仅保留真实的语义信息。

(2) 我们设计了一种新颖的APSD机制，融合了不同的相似性来生成更可靠的多模态语义共识分数。这增强了伪标签生成的鲁棒性，并使得训练集能够更准确地划分为干净和噪声样本对。

(3) 在三个基准数据集上的广泛实验结果表明，我们的ACCH方法在各种噪声率和哈希码长度下始终显著优于现有的噪声标签鲁棒CMH方法，证明了其优越性和有效性。

本文的其余部分结构如下。第2节概述了相关工作。第3节详细介绍了我们提出的ACCH方法。第4节分析了实验结果。第5节总结了本文。

相关研究

相关工作

在本节中，我们简要回顾了两个相关主题，包括深度跨模态哈希和噪声标签学习。

提出的方法

在本节中，我们首先介绍文中使用的符号，然后详细阐述所提出的ACCH方法，包括其整体架构和核心组件。

数据集

为了评估我们提出的ACCH方法的有效性，我们在三个广泛使用的跨模态检索基准数据集上进行了实验：MIRFlickr-25K、MS-COCO和IAPR-TC12。训练集用作检索集，其余部分作为测试（查询）集。不同数据集的详细设置见表2。

MIRFlickr-25K Huiskes & Lew (2008)：该数据集包含25,000对图像和文本实例，由24个不同的语义标签进行标注

结论

在本文中，我们提出了一种基于自适应伪标记的因果驱动跨模态哈希（ACCH）方法，该方法通过构建一个由动态原型和因果对抗去偏指导的样本划分协作框架，解决了噪声标签下的跨模态检索挑战。具体来说，APSD模块利用多模态原型的指数移动平均更新机制生成语义共识伪标签，实现了干净的样本和噪声样本的自适应划分

未引用的引用

缺少引用：图3、图4、表1

CRediT作者贡献声明

杨蓓蓓：概念化、方法论、研究、形式分析、撰写——原始草稿。胡勤泰：数据整理、撰写——审阅与编辑。孟敏：概念化、资金获取、资源协调、监督、撰写——审阅与编辑。马泽涛：可视化、研究。李培远：软件开发、验证。吴继刚：资源协调、监督。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。