轻量级目标网络结合跨域多源知识融合技术，用于实现跨模态哈希处理

《Knowledge-Based Systems》：Lightweight target network with cross-domain multi-source knowledge fusion for cross-modal hashing

　　郝杜|刘莉|张华祥|刘东梅|方晓昌
山东师范大学信息科学与工程学院，济南，250358，山东，中国

摘要
跨域跨模态哈希旨在将知识从标记的源域转移到未被标记的目标域，使缺乏注释的目标域能够获得令人满意的检索性能。然而，现有方法在迁移效果和网络复杂性方面仍存在局限性。为了解决这些问题，我们提出了一种新方法，称为“轻量级目标网络与跨域多源知识融合用于跨模态哈希”（LCFH）。该方法使用源域的标注数据对预训练的生成模型进行微调，然后为目标域生成语义对齐的伪标签，从而更有效地传递显式监督。为了进一步减少跨域差异，本文还提出了一种融合监督策略和双分支监督策略，使模型能够适应性地平衡来自源域和目标域的信息。大量实验表明，LCFH 在保持目标域模型轻量级的同时显著提高了检索准确性。我们的方法源代码可以在 https://github.com/dh2425/CFGH 获取。

引言
随着多媒体数据的爆炸性增长，跨模态哈希检索 [1]、[2]、[3]、[4] 由于其高检索效率和低存储成本 [5]、[6]、[7]、[8] 成为信息检索领域的热门研究课题。根据训练过程中是否使用手动注释作为监督信号，现有方法大致可以分为监督式 [9]、[10]、[11] 和无监督式 [12]、[13]、[14] 两种范式。监督式跨模态哈希方法通常通过利用语义标签信息来获得更好的检索性能 [15]。然而，这类方法严重依赖于大规模的标注数据，在实际应用中常常受到限制。相比之下，无监督方法不需要标签，通过挖掘数据的内在结构来学习共享的语义空间 [16]，大大降低了注释成本 [17]、[18]。尽管如此，由于缺乏监督信号，它们的检索性能通常低于监督式方法。

为了在检索性能和注释成本之间取得平衡，近年来研究人员提出了一种基于跨域知识迁移的折中策略 [19]、[20]。这些方法利用域适应技术将监督知识从标注丰富的源域转移到标注稀缺的目标域，从而在不需要额外手动注释的情况下提高目标域的检索性能。代表性工作 DAH [21] 首次将域适应引入深度哈希检索，并在单模态检索中取得了优异性能。随后，CDTH [19] 将这一理念扩展到跨模态检索任务中。CDTH 首先在标记的源域上训练一个孪生网络，然后将其参数转移到目标域网络。通过这种机制，CDTH 显著提高了目标域上的跨模态检索性能。

然而，现有的跨域哈希检索方法主要依赖于目标域模型挖掘的间接语义关联，而不是直接使用来自源域的显式监督信号。DAH 通过最小化域间分布差异来实现特征对齐；CDTH 通过构建语义一致性样本图来进行关系对齐。这些方法仍然依赖于目标域网络本身从源域学习间接语义关联。此外，尽管 CDTH 在检索准确性方面表现优异，但它使用两个具有相同架构的网络进行知识迁移，难以平衡网络复杂性和迁移效果。减少层数会降低迁移性能，而加深网络虽然提高了迁移能力，但会在推理过程中引入更高的开销。

为了解决上述问题，我们提出了一种新方法，称为“轻量级目标网络与跨域多源知识融合用于跨模态哈希”（LCFH）。我们的方法整合了通用领域知识和源域特定知识，减少了知识迁移中的信息损失，并保持了目标网络的轻量级。具体来说，如图 1 所示，LCFH 首先使用监督源域中的标注标签对预训练的生成模型进行微调，将其输出从通用语义描述转换为与源域标签空间严格对齐的结构化表示。然后将该微调模型应用于目标域，生成与源域语义空间一致的美国伪标签。这些由外部生成模型生成并结合了类似任务注释信息的伪标签不仅克服了目标域知识不足的局限，还具备接近真实监督信号的语义结构特性。为了进一步改善跨域信息的学习，本文还设计了两种学习方案：融合监督和双分支监督。在融合监督策略中，LCFH 通过重映射函数将两个域的知识统一为全面的监督信号，并量化样本间跨域一致性的强度，以适应性地调整它们的贡献。在双分支监督策略中，LCFH 构建了两个独立的监督分支，一个利用来自源域知识的监督信号，另一个依赖于目标域的固有结构信息。训练过程中引入了一个可学习的平衡因子，以适应性地调整两种类型知识的贡献比例。

总结来说，我们方法的贡献如下：
• 我们提出了一种新的跨域知识学习和迁移范式。该范式使用源域知识微调生成模型，然后为目标域生成数据，从而充分利用源域知识，同时保持目标模型的轻量化。
• 我们提出了一种融合监督策略。通过引入重映射函数，该策略缓解了域间分布差异，并在训练过程中适应性地增强了域一致样本的贡献，从而提高了知识融合的效果。
• 我们提出了一种双分支监督策略。该策略分别从源域和目标域构建独立的监督信号，并采用双分支架构自动评估两种类型知识的贡献，并在训练过程中动态调整它们的权重，从而实现跨域知识的最优整合。

实验结果表明，与现有基线方法相比，所提出的方法提高了检索准确性和效率。

章节摘要
监督式跨模态哈希
监督式跨模态哈希方法 [22]、[23]、[24] 利用标签信息指导哈希函数的学习。标签表示与数据样本相关的语义信息，用于描述它们的类别和属性。在监督方法中，标签通常以独热格式编码，以标注样本的语义内容 [17]。这种编码形式使标签空间的分布类似于哈希码的汉明空间结构。

符号和问题定义
我们首先定义本文中使用的符号。具体来说，我们使用大写粗体字母（如 W）表示矩阵。Wi?、W?j 和 Wij 分别表示 W 的第 i 行、第 j 列和 (i,j) 个元素。小写粗体字母表示向量（如 w），斜体表示标量（如 w）。符号 (?) 将输入元素映射到 -1 或 1。cos(a,b)=a?b‖a‖‖b‖ 表示余弦相似度。‖?‖F 表示弗罗贝尼乌斯范数。σ 是 Sigmoid 函数。

数据集
根据主流方法 [19]、[28]、[29] 的实验设计，我们选择了 MIR-Flickr25K、NUS-WIDE 和 MS COCO 数据集进行实验。这些数据集的详细信息将在下文描述，图 4 提供了数据集的可视化展示。
MIR-Flickr25K [48] 数据集来自 Flickr 社交媒体平台，其文本内容包含口语、缩写和拼写错误等特征，因此适用于验证检索效果。

结论
为了解决跨域跨模态哈希检索中知识迁移不足和目标网络复杂性高的问题，本文提出了 LCFH。该方法使用源域知识微调生成模型，然后用它为目标域生成数据，从而充分利用源域知识，同时保持目标模型的轻量级。此外，我们进一步提出了融合监督策略和双分支监督策略。

作者贡献声明
郝杜：撰写——原始草稿。刘莉：撰写——审阅与编辑。张华祥：撰写——审阅与编辑。刘东梅：撰写——原始草稿。方晓昌：撰写——审阅与编辑。

利益冲突声明
作者声明没有已知的竞争性财务利益或个人关系可能影响本文所报告的工作。

致谢
本工作得到了中国国家自然科学基金（编号 62176144）、山东省基础研究项目（编号 ZR2024ZD08、ZR2024MF043、2025CXGC010113）和山东省教学改革项目（编号 Z2024450）的支持。