基于神经协同过滤方法与成对学习策略的联邦学习推荐系统安全加固

《Systems and Soft Computing》：Securing recommendation systems in federated learning based on neural collaborative filtering method with a pairwise approach

　　

推荐系统在提供个性化服务中扮演关键角色，但传统集中式训练需收集用户交互历史，引发显著隐私担忧。研究人员提出一种基于神经协同过滤（NCF）与贝叶斯个性化排序（BPR）损失的隐私保护联邦推荐框架。该方法集成私有集并集（PSU）、安全聚合协议（SAP）与自适应负向过采样，在降低基于梯度的信息泄露的同时维持有效的成对排序性能。所提FedNCF-OptProb策略通过调整采样概率适应用户特定交互特征，解决正负条目更新不平衡问题，尤其适用于用户数据异构且非独立同分布（non-IID）的联邦推荐场景。在MovieLens-100K上的实验表明，该方法在HR@10、NDCG@10与AUC上达到与FedeRank相当的推荐精度；五种随机种子下的统计显著性检验显示性能差异在p<0.05水平不显著。此外，在更大MovieLens-32M子集上的可扩展性实验证明，优化策略相较FedeRank降低通信开销，同时适用于更大型条目目录。总体而言，该框架在推荐质量、面向隐私的训练与通信效率间提供了实用权衡。

研究背景方面，传统推荐系统依赖集中收集用户交互历史与评分，既可能违反通用数据保护条例类法规，又面临未授权方通过交互记录推断种族、性别等敏感属性的隐私泄露风险。谷歌2016年提出联邦学习（Federated Learning, FL）后，协同过滤（Collaborative Filtering, CF）与FL结合成为研究热点，但现有联邦协同过滤仍存在三方面的突出问题：其一，BPR（Bayesian Personalized Ranking）成对损失下物品嵌入梯度满足?W[i]=?∑_j∈J?W[j]，攻击者可借梯度幅值推断用户是否交互过某条目，形成成员推理风险；其二，用户正例远少于候选条目（|I_u⁺|?|I|），导致正例更新频次高于负例，模型偏向正例、排序质量下降；其三，FedeRank采用随机置零正例梯度缓解泄露，但残留风险且损害正例学习。为此，研究人员开展基于NCF与BPR的隐私保护联邦推荐研究，论文发表于《Systems and Soft Computing》。研究结论是：所提FedNCF-OptProb在精度上与FedeRank无统计显著差异，却借助PSU、SAP与自适应负向过采样同步削弱梯度泄露、平衡正负更新并降低通信量，为大尺度联邦推荐提供可行方案。

关键技术方法上，研究人员以MovieLens-100K（943用户、1682条目、10万交互、稀疏度93.7%）为主基准，并在MovieLens-32M抽取100万及300万交互子集做扩展；本地训练采用NCF（三层隐层、嵌入维128、ReLU）配合BPR损失，每轮抽16用户、每正例配k=8负例；隐私侧依次用Bloom过滤器加随机化整数构造PSU提交物品集、用安全聚合协议（SAP，借鉴FastSecAgg）掩蔽单用户梯度、按用户已见数n_u与PSU并集z_u解式(6)得自适应负采样概率p_u^?、p_u⁺；优化器对比SGD、Adam与Lion，评估HR@10、NDCG@10、AUC及Wilcoxon符号秩检验。

研究结果各节浓缩如下。引言与相关工作指出CF+FL可避集中存储，但通信、non-IID与聚合同步是瓶颈；NCF补MF非线性短板，BPR提供成对偏好，PSU与SAP分别补集运算隐私与梯度隐私。威胁模型设诚实但好奇服务器，目标为降成员推理。梯度泄露分析节由BPR损失推得?W[i]=(1?σ(r?_i^u?r?_j^u))H(·)及?W[i]=?∑_j∈J?W[j]，证明确实可由幅值反推正例成员关系。PSU协议节用Bloom过滤器B_u加Z_R随机化与提示向量H_u提交，服务器聚得B?、?并重建?回传，避免直传原始物品集。平衡正负更新节给出式(4)(5)(6)极小化正负数目差、依Δ_u符号分稀疏/多交互用户解p_u^?。整体训练协议节每轮选U^?、建并集、本地自适应采样成D_u^?、取嵌入与W[N]做Adam/Lion单步BPR、无效样本置零、经SAP传(w_i^u?W^u[i], w_i^u, N_Du^??W^u[N], N_Du^?)。实验节表3示CentraNCF-BPR最高（HR@10=0.68/NDCG@10=0.43），FedNCF-AcceptAll为0.65/0.38，FedNCF-OptProb与FedeRank并列0.62/0.35，FedNCF为0.61/0.34；峰值节表4五种子下FedeRank峰HR@10=0.6303±0.0071、OptProb=0.6286±0.0093，NDCG与AUC亦近，表5 Wilcoxon p值均>0.05故无显著差异。p_ratio节以用户511示p_ratio=2.5时正负更新均衡且隐私佳，1.5时偏倚且泄露升。k值节以用户894（k小）与526（k>100）说明小k掩蔽弱、大k通信增但匿名强。可扩展节表6示ML-100K下FedeRank流量845.0MB、OptProb 753.9MB（降约10.8%），ML32M-1M/3M下OptProb稳定在762MB级、请求数5.96M低于6.71M。

讨论与结论部分原文总结：研究人员明言CentraNCF-BPR精度上限但以牺牲隐私换取；FedNCF-OptProb在ML-100K达HR@10=0.62、NDCG@10=0.35，与FedeRank同设下相当，Wilcoxon检验证差异不显著，故非“显著超越”而是“同精度下获更优隐私采样与更低通信”。通信分析证OptProb在ML-100K至ML32M-3M均较FedeRank省流量，适大目录场景。参数p_r=p_u^ratio与k控精度—隐私—通信权衡：小k省资源但弱掩蔽，大k增覆盖但重负载。局限有四：无形式(ε,δ)-差分隐私（DP）保证、未报成员推理攻击准确率、未跑全32M、超参敏感分析不全。未来方向含跨数据集验证、实做成员推理攻击量化、细粒度运行内存画像、用Starfish/Puma等元启发式调k/p_u^ratio/t_u。总体FedNCF-OptProb以PSU+SAP+自适应采样在精度不劣FedeRank前提下降通信、平衡正负频，具规模部署价值。