在联邦学习框架下的跨模态哈希技术

《Journal of Visual Communication and Image Representation》：Cross-modal hashing under the federated learning framework

　　黄庆华 | 陆家欢 | 吴飞 | 彭光川 | 高广伟 | 蒋晓园
南京邮电大学理学院，南京，210023，中国

摘要
哈希是一种重要的技术，用于在不同模态下高效检索大规模数据，并且存储需求较低。然而，在实际应用中，大规模数据通常采用分布式存储，而隐私保护的考虑阻止了数据从多个部分进行集中使用。在这种环境下，跨模态哈希研究尚未充分展开。本文提出了一种新颖的跨模态哈希框架——基于联邦学习的对抗性跨模态哈希（FedACMH）。对于本地训练，我们提出了一个名为对抗性跨模态哈希（ACMH）的模型，该模型包括两个模块：基于生成对抗网络（GAN）的特征学习和基于三元组的学习。我们设计了一种对抗机制来学习模态不变的特征，并设计了余弦三元组损失以确保学习到的跨模态哈希码具有强烈的区分能力。此外，我们基于FedAvg开发了一种新颖的聚合策略，即多客户端投票加权聚合，以识别每个客户端模型的贡献，并利用贡献较大的客户端进行聚合。这种聚合策略采用客户端投票过程为每个客户端生成加权向量以实现加权聚合。根据在公开的多模态数据集上进行的实验，FedACMH的表现优于现有的相关方法。

引言
随着包含文本、视频、图像和音频的大量多模态数据的指数级增长，这些多媒体数据的高效检索变得日益迫切。跨模态检索（CMR）[1]、[2]、[3]、[4]是一种通过利用不同模态的实例来准确检索相关实例的技术。实现这一目标的常见方法是将异构数据映射到一个共享空间中，这种做法允许通过计算跨模态数据之间的相似性来进行直接的跨模态比较。CMR的主要目的是弥合不同模态之间的差距，从而促进多模态数据的检索。已经提出了一些基于实值的方法。例如，Zhen等人[5]试图研究模态内部和模态之间的相关性，以获得更具代表性的公共子空间。
与基于实值的检索方法相比，跨模态哈希（CMH）[6]、[7]技术因其在有限存储消耗下高效检索和存储数据方面的优势而受到越来越多的关注。例如，Jiang等人提出的深度跨模态哈希（DCMH）[8]结合了深度特征提取和哈希码学习。然而，实际应用中多模态数据通常分布在多个部分，每个部分仅拥有有限数量的数据。传统的跨模态哈希方法在很大程度上依赖于集中式多模态数据，而这在上述场景中并不适用，而且跨模态哈希中使用的集中式模型训练可能会导致不可避免的隐私泄露。目前对于隐私保护的跨模态哈希研究还不够深入。
为了解决集中式训练带来的问题，研究人员引入了联邦学习（FL）[9]，这是一种隐私保护的框架，多个客户端可以在不共享数据的情况下协作训练机器学习（ML）模型。FedAvg[10]是一种著名的FL技术。在每一轮中，它将更新后的客户端模型传输到服务器，服务器再通过模型平均来更新服务器端模型，而无需交换客户端数据。近年来，FL已成为机器学习领域中一个重要的研究方向，许多研究人员正在探索其在多方协作学习[11]、无线通信[12]、[13]、服务推荐[14]和故障诊断[15]等领域的应用潜力。最近，有一些基于FL的CMR工作被提出。Zong等人提出了一个名为联邦跨模态检索（FedCMR）[16]的解决方案，用于分布式数据存储场景。该方法利用FL来降低处理大量数据时可能面临的隐私泄露风险和高维护成本。Liu等人提出了一个名为基于原型的分层联邦跨模态哈希（PLFedCMH）[17]的方法，该方法以个性化联邦方式制定，并采用类别原型来辅助哈希码学习。此外，Li等人[18]提出了一种基于原型传输的联邦无监督跨模态哈希（PT-FUCH）方法，该方法仅使用未标记的多模态数据。然而，这些结合FL和跨模态检索的尝试仍有改进空间，例如确保特征的强区分能力和有效减少模态之间的语义差异。
图1展示了基于FL的跨模态哈希的总体流程。在本文中，我们提出了一种新颖的基于FL的CMH框架。我们的主要贡献总结如下：
- 我们提出了一个基于联邦学习的对抗性跨模态哈希（FedACMH）框架，用于从分布式存储中检索多模态数据。该框架可以在有效保护多个客户端隐私的同时实现高效的跨模态检索。据我们所知，只有少数近期研究探索了基于FL的CMH框架，这一研究方向仍然相对较少。
- 我们设计了用于本地训练的对抗性跨模态哈希（ACMH）网络，包括两个模块：基于GAN的特征学习和基于三元组的学习。引入了对抗机制以确保生成特征的模态不变性，并使用局部标签分类器有效捕捉不同模态之间的语义一致性。在哈希学习过程中，设计了余弦三元组损失来约束跨模态样本距离，以促进可分性。我们还设计了保持模态内相似性的约束来提高局部模型的模态内区分能力。
- 我们提出了一种基于FedAvg的新型聚合策略，即多客户端投票加权聚合，以衡量客户端模型的贡献并利用贡献较大的客户端。通过客户端投票过程生成的权重向量，实现加权聚合。此外，我们设计了一个局部校正项来减少客户端模型与服务器模型之间的偏差。
- 我们在三个公开的多模态数据集MIRFlickr-25K [19]、NUS-WIDE [20]和MS-COCO [21]上进行了全面实验，结果表明所提出的FedACMH框架能够基于哈希码实现高效的跨模态检索，并且表现优于相关基于FL的跨模态检索方法。

本文的其余部分结构如下：第2节回顾相关研究；第3节介绍FedACMH的详细信息；第4节展示实验结果；第5节得出结论。

跨模态哈希（CMH）方法
目前的CMH方法主要包括无监督CMH方法和有监督CMH方法。无监督方法侧重于通过挖掘不同模态之间的相关性来学习特征投影函数。例如，Hu等人[22]设计了一种新颖的动量优化器，能够在对比学习框架中直接优化哈希操作。Tu等人[23]引入了模态交互机制，以生成更好的模态不变嵌入相似性矩阵来指导训练。

概述
假设有N个客户端，第i个客户端拥有的本地数据集可以表示为Di={(X(i),Y(i),L(i))}(1≤i≤N)，其中X(i)={xj(i)}j=1≤n(i)，Y(i)={yj(i)}j=1≤n(i)，L(i)={lj(i)}j=1≤n(i)，n(i)是Di中的样本数量，xj(i)和yj(i)分别表示Di中第j个图像和文本样本的特征，lj(i)∈Rc表示Di中第j个样本的唯一标签向量，c表示类别数量。利用本地训练集，FedACMH旨在学习哈希码。

实验
为了评估我们基于FL的对抗性跨模态哈希（FedACMH）框架的有效性，我们在三个广泛使用的多标签数据集（包括MIRFlickr-25K [19]、NUS-WIDE [20]和MS-COCO [21]）上进行了广泛的实验比较，以评估其性能。

结论
在本文中，我们开发了一个名为FedACMH的新框架，用于高效跨模态检索。它包括两个模块：ACMH用于本地训练和多客户端投票加权聚合。ACMH旨在同时建模模态内和模态间的区分以及模态间的不变性。此外，联邦聚合模块利用投票策略实现加权聚合，以便利用贡献较大的客户端进行聚合。

作者贡献声明
黄庆华：撰写——审稿与编辑、原始草稿编写、方法论、研究、概念化。
陆家欢：撰写——原始草稿编写、方法论、研究、形式分析。
吴飞：撰写——审稿与编辑、原始草稿编写、方法论、研究、资金获取、概念化。
彭光川：撰写——原始草稿编写、方法论、研究、概念化。
高广伟：可视化、验证、资源准备、形式分析。

利益冲突声明
作者声明他们没有已知的可能会影响本文工作的财务利益或个人关系。

致谢
本项工作得到了江苏省哲学和社会科学研究项目（编号2022SJSZ0044）以及国家自然科学基金（编号62076139）的支持。