DPAMMRec：面向多模态推荐系统的分布式隐私图聚合

《Neurocomputing》：DPAMMRec: Distributed private graph aggregation for multimodal recommender systems

　　

摘要

随着互联网和数字经济的快速发展，基于海量多模态数据的个性化服务推荐已成为关键应用领域。然而，现有的图神经网络（GNN）方法依赖集中式图数据，在推荐场景中面临严重的隐私风险。此外，传统隐私保护方法往往引入过多噪声，损害图结构的完整性，导致推荐效用显著下降。为解决隐私-效用权衡问题，本文提出了一种名为DPAMMRec的隐私保护多模态推荐框架。首先，我们设计了一种基于安全多方计算的分布式隐私保护图聚合（DPA）协议。通过将加法秘密共享与分布式噪声机制相结合，DPA能够在密文状态下协同计算邻居聚合，同时满足严格的差分隐私要求。此外，仅在图卷积传播的第一层注入噪声，可在很大程度上保留高阶结构信号。其次，为缓解结构失真问题，我们提出了一种双门控自适应融合机制和对比去噪任务，利用干净的多模态特征作为语义补充，动态修复和校准受注入噪声干扰的结构表示。在三个公开数据集上的大量实验表明，DPAMMRec在提供严格隐私保证的同时，推荐性能显著优于现有的隐私保护基线模型。

引言

在数字经济时代，数据和信息呈指数级增长，推荐系统[9], [24], [26]在缓解信息过载和促进个性化服务发现方面发挥着关键作用。传统推荐系统主要依赖协同过滤技术[28], [34]，通过挖掘历史用户-物品交互矩阵来捕获用户偏好。值得注意的是，基于图神经网络（GNN）的推荐系统[1], [21], [39]通过在用户和物品之间构建复杂的二部图并显式建模高阶协同交互，在捕获底层用户偏好方面展现出巨大潜力。然而，仅依赖稀疏的交互数据不可避免地会导致严重的冷启动问题[2]。因此，多模态图推荐系统[13], [17]，即整合多源异构数据（例如视觉和文本模态），已成为一个新兴前沿。这些系统对于丰富物品表示和实现智能个性化推荐至关重要。

现有的多模态图推荐系统通常采用传统的双视图融合范式，如图1所示。具体来说，结构视图主要利用GNN在用户-物品交互图上执行多跳消息传递，从而提取富含高阶协同过滤信号的拓扑特征。同时，内容视图采用预训练的深度神经网络独立编码物品侧信息（如图像和文本），生成多模态内容特征[10], [31]。通过对图结构特征和多模态内容特征的对齐与融合，这些模型有效地缓解了交互数据稀疏性带来的限制，最终实现更准确的偏好预测。

然而，大多数现有的基于GNN的多模态推荐系统依赖集中式训练范式[32], [43], [45]，这要求将大量边缘设备的原始交互记录和多模态特征数据传送到中央服务器进行统一优化。这种高度集中的数据聚合方案不可避免地引发了严重的隐私泄露和安全隐患[47]。一方面，原始用户-物品交互（即二部图中的拓扑边）不仅包含协同信号，还隐式揭示了高度敏感的个人偏好和私有属性[18], [46]，泄露可能导致严重后果。另一方面，此类架构特别容易受到恶意威胁。不可信的服务器或窃听者可以轻易通过链路预测攻击[11], [38]推断图中的未观察敏感连接。此外，即使限制直接数据共享且仅传输模型更新，攻击者仍可通过梯度反转攻击[8], [51]重建用户的原始私有特征。

为解决这些隐私和安全威胁，通过限制对明文数据的访问并界定推断能力，联邦学习（FL）[19], [33], [44]和差分隐私（DP）[6]已被广泛采用，成为构建可信推荐系统的主流范式。FL使多个客户端协同训练全局模型，仅交换模型参数或梯度，从而降低原始数据泄露风险。本地差分隐私（LDP）通过在客户端直接对数据或梯度应用扰动进一步增强了客户端级隐私[29]。然而，在GNN的逐层传播过程中，本地注入的噪声在邻居聚合期间累积并显著放大，严重损害图结构的语义完整性[7]。此外，大多数现有方法仅专注于保护基于ID的交互隐私，很大程度上忽视了本质上非敏感的公开多模态信息（如物品图像和文本描述）的潜力[14], [30]。因此，它们无法利用这些高价值语义特征来补偿隐私保护机制引起的结构信息损失。

为应对上述挑战，受DPA-GNN[15]启发，本文提出了一种名为DPAMMRec的面向多模态推荐的隐私保护分布式图聚合框架。我们并非简单地将DPA-GNN应用于推荐领域，而是对底层结构适配和下游噪声补偿进行了重大重新设计，以克服高度不平衡的用户-物品二部图和极端数据稀疏性带来的独特挑战。具体来说，我们设计了一种重建的键值对机制，支持二部图上的双向信息流，并将用户-物品图聚合过程卸载到多个半诚实分布式计算节点上。通过结合加法秘密共享机制[5]与单层分布式噪声注入，该框架在严格的差分隐私约束下实现了全局特征聚合，从而杜绝了任何单个用户实际交互边的泄露。同时，它在数学上杜绝了梯度反转漏洞，并严格界定了链路预测攻击的成功概率。更重要的是，在物品多模态内容公开且不敏感的假设下，我们引入了一种双门控多模态自适应融合机制。通过利用模态特定特征的固有语义清晰度，该机制动态校准和补偿注入噪声引起的结构嵌入退化。

具体来说，本文的主要贡献如下：
1. 我们提出了DPAMMRec，一种专为分布式架构设计的隐私保护多模态推荐框架。该框架在严格保护用户交互隐私的同时保持高推荐精度。
2. 我们设计了一种噪声鲁棒的多模态融合机制。通过引入辅助的跨模态对比去噪任务并采用双门控注意力机制来整合结构特征和内容特征，我们有效对齐并增强了受注入噪声扰动的结构表示。这显著缓解了差分隐私引起的效用退化。
3. 我们在多个公开数据集上进行了大量实验。实证结果表明，在严格的差分隐私约束下，DPAMMRec显著优于现有的隐私保护推荐基线，从而为构建安全可靠分布式多模态推荐系统提供了新的范式。

章节摘要

基于GNN的多模态推荐系统

近年来，基于GNN的推荐系统[4], [35]因其捕获高阶协同交互的卓越能力而受到广泛关注。传统GNN推荐模型主要仅依赖用户和物品ID构建二部图，但在极端稀疏数据和冷启动问题场景中性能往往受到严重限制。为缓解此问题，多模态图推荐系统[13], [17], [40]应运而生。

预备知识

用户-物品交互图。设$\mathcal{U}$和$\mathcal{I}$分别为用户和物品的集合，其中$|\mathcal{U}|=N$和$|\mathcal{I}|=M$分别表示用户和物品的数量。我们将历史用户-物品交互建模为二部图$G=(\mathcal{V}, \mathcal{E})$，其中节点集$\mathcal{V}=\mathcal{U} \cup \mathcal{I}$包含所有实体。边集$\mathcal{E}$包含观测到的交互，即如果用户$u$与物品$i$有过交互，则$(u,i) \in \mathcal{E}$。初始ID嵌入矩阵$\mathbf{E}^{ID} \in \mathbb{R}^{(N+M) \times d}$从高斯分布中初始化，其中$d$是嵌入维度。

物品多模态特征

所提方法

概述。本节详细介绍我们提出的隐私保护多模态推荐模型DPAMMRec。如图2所示，DPAMMRec旨在在严格遵守用户交互隐私约束的同时，通过有效利用多模态数据来最大化推荐效用。我们将本节组织为四个关键组件：1) 分布式私有图聚合模块，2) 基于门控注意力的多模态融合模块，3) 门控自适应结构-内容...

隐私分析

本节提供DPAMMRec框架在分布式聚合过程中提供的差分隐私保证的严格理论证明。为明确界定隐私保护边界，我们首先定义推荐系统中的相邻二部图：对于给定的用户-物品二部图$G$，恰好相差一条交互边的两个相邻图$G$和$G'$对应于边级隐私，$\epsilon$是边的隐私预算。

实验

本节进行大量实验以全面评估所提出的DPAMMRec框架的有效性和鲁棒性。具体来说，我们旨在解决以下四个核心研究问题：
- RQ1: 与现有的最先进推荐模型（包括单模态和多模态方法）相比，DPAMMRec在不同隐私预算$\epsilon$下的表现如何？
- RQ2: DPAMMRec的关键组件（如基于门控注意力的多模态融合、门控...

结论

本文提出了DPAMMRec，一种旨在解决基于图的图多模态推荐系统中数据隐私和次优模态融合挑战的隐私保护多模态推荐框架。我们通过引入分布式私有图聚合（DPA）模块实现了对用户交互记录的隐私保护。与传统隐私保护方法不同，我们通过在仅...

CRediT作者贡献声明

Fei Du：原创草稿撰写、软件、方法论、数据整理。Jian Wang：指导、资源。Jingwen Qi：审阅与编辑、形式化分析。Yefei Luo：验证。Jingli Mu：概念构思。

利益冲突声明

作者声明他们不存在已知的可能影响本论文工作的竞争财务利益或个人关系。

致谢

本文得到了中央高校基本科研业务费项目的支持，基金编号2025ZYCX016。

Fei Du于2023年在北京交通大学电子信息工程学院获得学士学位。他目前是北京交通大学自动化与智能学院的一名博士生。他近期的研究兴趣包括多模态推荐系统、隐私保护和数据安全。

Fei Du | Jian Wang | Jingwen Qi | Yefei Luo | Jingli Mu
北京交通大学自动化与智能学院，北京，100044，中国