迈向基于离散图卷积网络的高效联邦推荐

《Artificial Intelligence》：Towards Efficient Federated Recommendation with Discrete Graph Convolutional Network

　　

摘要 联邦图卷积网络（FedGCN）是推荐系统中新兴的人工智能技术，它允许每个用户持有自己的用户-物品二部子图，并通过协作训练在不存在的全球图中捕获高阶信息。然而，现有的FedGCN工作基于全精度连续嵌入空间，导致客户端的通信和计算开销较高。此外，构建的全局图通常昂贵且次优，如何以低成本构建一个准确且隐私保护的全局图仍然是一个挑战。为了解决这些挑战，我们提出了一种新的隐私保护推荐方法，即用于推荐的联邦哈希图卷积网络（FedHashRec）。具体来说，我们首先设计了一种新的哈希图卷积方法（HashRec），将全精度嵌入映射到汉明空间中，然后学习用户和物品之间的相似性。其次，我们设计了一个具有三重保护者的隐私保护框架（TriPro），通过高效的客户端-客户端和客户端-服务器通信在服务器中构建一个虚假全局图。每个物品的哈希码通过获取虚假用户-物品二部图的信息进行更新，以避免频繁通信。此外，我们提供了严格的理论证明，表明服务器从虚假用户-物品二部图获得的信息是无损的。我们在四个真实数据集上进行了广泛实验，证明我们的方法在准确性和效率方面优于现有的全离散方法。数据集、源代码和脚本可在https://github.com/YannickCodeHome/FedHashRec获取。

引言 推荐系统对用户-物品的历史数据建模，以挖掘用户的潜在偏好并准确预测用户的品味。最近，网络嵌入方法[1]、[2]、[3]因其高召回率而在推荐系统中被广泛研究。其中，图卷积网络（GCN）[4]、[5]、[6]是最广泛使用的推荐技术之一，它通常通过邻域聚合和消息传递机制在用户-物品的二部图中捕获高阶信息，以增强节点的连续嵌入表示并提高推荐性能。通常，原始数据（用户-物品二部图）保留在服务器中进行模型训练，这会暴露数据并引发严重的隐私问题。随着日益严格的数据保护法律法规（如通用数据保护条例（GDPR））的约束，提供个性化服务的平台未经许可不得收集和使用用户的私人数据，这导致了数据孤岛的产生。

联邦学习（FL）[7]、[8]、[9]、[10]提供了一种应对隐私泄露的可行方案，它允许在不使用原始数据的情况下进行模型训练。FL与GCN的结合，即FedGCN，被认为是构建隐私保护推荐系统的新兴研究主题，反映了人工智能技术向隐私保护演进的趋势。在联邦推荐中，全局图并不存在，全局模型的训练通过复杂的客户端-服务器协作完成。然而，据我们所知，更多基于FedGCN的现有工作[11]、[12]、[13]旨在通过全精度建模来提高模型性能，这面临以下两个挑战。（i）高资源消耗。在分布式场景中，邻域聚合需要服务器和客户端之间对高维密集连续嵌入进行频繁通信，导致巨大的通信带宽消耗[14]、[15]。此外，对于邻居较多的客户端，使用全精度连续嵌入训练本地GCN模型非常昂贵，某些客户端可能无法承担。（ii）难以构建全局用户-物品二部图。在隐私保护的前提下，如何基于客户端孤立的局部子图安全高效地构建一个准确的全局用户-物品二部图（不泄露隐私）仍然是一个开放问题。

学习哈希[16]、[17]、[18]、[19]被引入推荐系统以克服高计算开销，这给了我们要的启发。学习哈希的基本思想是构造一个映射函数，将高维连续嵌入映射到汉明空间并生成哈希码（通常是二进制哈希码）。在这种情况下，学习哈希通过将原始的复杂相似度计算转换为汉明空间中的高效检索来加速推理过程。然而，它带来了模型优化的困难问题[20]。由于这个映射函数通常是一个不可行的离散函数，该函数在独立变量的几乎所有不同值处梯度为0，导致反向传播中梯度消失。

一些现有工作[21]、[22]、[23]引入了两种解决方案，即代理函数和近似策略。第一种引入代理函数的方案将模型训练分为两个阶段，即训练和推理。在训练阶段，映射函数是代理函数，它是可微且类似于离散函数的。例如，HS-GCN [21]使用双曲正切函数tanh代替符号函数进行模型优化。在推理阶段，映射函数使用符号函数获取离散哈希码来预测用户品味。然而，这个方案违背了将学习哈希应用于推荐系统的基本目的，即提高模型训练效率。在训练阶段，整个推荐系统的时间消耗超过90%，而推理阶段只占一小部分，这需要二进制内积（XOR操作）。第二种引入近似策略的方案旨在在反向传播中使用近似梯度代替离散函数的导数，以避免梯度消失问题。在这种方案中，训练阶段和推理阶段都在汉明空间中进行，只需要处理梯度消失问题。例如，HashGNN [22]引入了直通估计器（STE）来获取近似梯度，这是使用梯度下降训练离散模型时广泛使用的近似策略。本文选择第二种方案并引入STE来解决梯度消失问题。

为了解决上述两个挑战，我们提出了一种新的隐私保护方法，即用于推荐的联邦哈希GCN（FedHashRec）。为了更好地理解，我们从两部分描述我们的FedHashRec，即图卷积方法和联邦技术。

我们首先介绍我们设计的图卷积方法，即HashRec。具体来说，我们将HashRec的建模过程分为三个组件，即初始化层、传播层和预测层。需要注意的是，与现有工作[22]、[24]、[25]不同，为了更好地表示哈希码的语义，我们将连续嵌入映射到三值汉明空间而不是二值汉明空间。在初始化层中，我们引入离散函数sign将嵌入映射到汉明空间，以确保第一个卷积层的输入是离散的。在传播层中，我们设计了一种卷积规则来学习用户-物品二部图中的高阶信息。该卷积规则的关键在于每个节点哈希码的更新取决于对应邻居传输的主导信号以及这些邻居意见一致性可信度权重。更重要的是，我们需要离散化每个输出，确保中间卷积层生成的哈希码是离散的。在预测层中，我们定义了用户u和物品i的哈希码的净对齐强度，即正负一致信号的数量之差，作为用户u和物品i之间的相似性。为了保证优化的可行性，在反向传播中，我们引入STE来解决离散函数梯度为0的问题。通过堆叠传播层，我们可以学习用户-物品二部图的高阶信息。

然后，我们介绍联邦技术，即TriPro，这是一个具有三重保护者的秘密共享框架。我们发现只有当服务器学习物品i的l层哈希码时，才会存在隐私敏感数据泄露的风险。其中隐私敏感数据是每个用户u的哈希码以及与物品i交互的用户数量，记为hu(l)和|Ui|。为了保护这些数据，我们将每个用户的秘密分为三个功能区：适应区、秘密区和验证区。具体来说，适应区保留用户u的一些物品，包括所有正样本Iu和一些负样本Iu'以混淆恶意攻击者。秘密区保留多个片段，这些片段由用户将自己的哈希码分割而成。验证区包含每个物品的一些片段，每个片段由两部分组成，即哈希码验证段和物品真实性验证位。在秘密共享中，每个用户u随机组合秘密区和验证区的片段，然后将它们与适应区一起打包成多个秘密。然后，每个用户保留其中一个秘密，将其余的秘密发送给其他参与者。此外，如果用户u收到一个秘密，他或她将通过不同的区域将收到的秘密与现有秘密合并以生成虚假秘密。最后，用户u将虚假秘密上传到服务器，这是公开的。服务器利用所有用户的虚假秘密构建虚假全局图并从中提取信息来学习每个物品的哈希码。通过这种方式，每个用户在每次图卷积操作中只需要执行一次秘密共享。此外，我们理论上证明了服务器提取的信息是无损的。

我们将主要贡献总结如下：

- 我们提出了一种基于哈希和GCN的新型隐私保护推荐方法，即用于推荐的联邦哈希GCN（FedHashRec）。据我们所知，这是在FedGCN中首次尝试使用全离散方法基于用户和物品之间的高阶信息建模汉明相似性。

- 我们设计了FedHashRec中的图卷积方法，即HashRec。我们具体做出了以下努力：(i)我们设计了一种基于汉明空间全离散化的新型图卷积方案，根据节点间的关联性捕获用户和物品之间基于高阶信息的汉明相似性；(ii)我们引入了一种新的符号约束损失作为多目标优化项，更好地约束哈希码的更新方向；(iii)我们给出了反向传播的数学理论分析，表明我们设计的图卷积规则是有效的。

- 我们提出了一个具有三重保护者的秘密共享框架，即TriPro。我们将隐私敏感数据放入三个功能区，通过三重保护（即适应区、秘密区和验证区）来抵御恶意用户的攻击。而且我们只需要在每次卷积层中执行一次秘密共享即可获得所有所需信息。此外，我们理论上证明了TriPro中没有信息损失。

- 我们在四个真实数据集上进行了广泛实验，证明我们的方法在准确性和效率方面优于现有的全离散方法。

片段 用于推荐的图卷积网络 图卷积网络（GCN）由于其通过用户-物品二部图的结构性信息建模用户和物品之间高阶交互的强大能力，已被广泛应用于推荐系统中。PinSage [26]是一项早期工作，它将随机游走和图卷积相结合以生成包含图结构和节点特征信息的节点嵌入，提高了模型的鲁棒性和收敛性。NGCF [2]捕获了协作信号在初步...

初步

在本节中，我们首先介绍汉明空间和汉明相似性，然后提供问题定义。我们在表1中列出本文使用的一些符号及其解释。

方法论

我们的FedHashRec由两个组件组成：图卷积方法HashRec和隐私保护框架TriPro。在本节中，我们首先介绍我们的HashRec。

其次，为了更好地优化模型，我们引入了一种多目标优化范式。接下来，我们解释了反向传播中的关键点，这有助于更好地理解我们技术的优势。然后，我们详细介绍了我们的 TriPro。最后，我们提供了 FedHashRec 的复杂性和隐私分析。
实验
在本节中，我们在四个数据集上进行实验，并回答以下研究问题：
• RQ1. 与代表性推荐模型相比，我们的 FedHashRec 表现如何？
• RQ2. 我们的 FedHashRec 和 HashRec 之间的性能差异是什么？
• RQ3. 我们的 HashRec 的资源消耗是多少？
• RQ4. 维度大小 K 和权重参数 λ1 和 λ2 如何影响我们的 HashRec 的性能？
• RQ5. 通过我们的……学到的用户和物品哈希码的质量如何？
结论与未来工作
在本文中，我们研究了一个新兴且具有挑战性的问题，即如何将哈希技术应用于 FedGCN，并在隐私保护、通信效率和模型性能之间取得良好的平衡。对此，我们提出了一种新颖的隐私保护推荐算法，即 FedHashRec，它由联邦框架 TriPro 和哈希图卷积方法 HashRec 组成。具体来说，TriPro 通过三重屏障（即适应区，
CRediT 作者贡献声明
李阳：写作 – 原稿、验证、软件、方法论、调查、概念化。潘维科：写作 – 审阅与编辑、监督、方法论、资金获取、概念化。杨强：监督、资源、资金获取。钟鸣：监督、资源、资金获取。
利益冲突声明
作者声明不存在已知的竞争性财务利益或个人关系，这些利益或关系可能会影响本论文报告的工作。李阳|潘维科|杨强|钟鸣