基于扩散模型改进LightGCN的方法研究

《Mathematics》：Research on Improved Methods for LightGCN Based on Diffusion Models

　　

推荐系统已成为缓解信息过载和提升用户体验的关键工具。其中，LightGCN通过简化图卷积操作在效率与性能上均取得显著成果。然而，在训练数据稀疏场景下，LightGCN易产生同质化推荐结果，难以反映用户真实且多样的偏好。研究人员提出一种基于扩散模型改进LightGCN的方法，命名为Diffusion_LightGCN，旨在通过生成高质量伪用户嵌入提升LightGCN推荐系统性能。不同于现有基于扩散的推荐方法（如DiffuRec、C-DiffRec和CDiff4Rec）直接用扩散模型生成物品、物品分布或伪用户，Diffusion_LightGCN生成的伪用户嵌入作为基于图的协同过滤的辅助训练信号，从而将扩散模型的生成能力与图神经网络（GNN）的传播机制有机耦合。针对传统LightGCN在稀疏数据下嵌入质量退化问题，该方法结合扩散模型生成能力与LightGCN高效传播机制，通过嵌入动态融合机制整合原始嵌入与伪嵌入并优化损失函数，最终提升LightGCN训练效果。结果表明该方法在稀疏数据场景下优于LightGCN。

研究背景方面，互联网信息爆炸使推荐系统成为解决信息过载的核心工具，传统协同过滤与矩阵分解在处理数据稀疏和复杂行为时存在局限，深度学习模型虽提升一定性能但仍存改进空间。图神经网络（GNN）通过用户-物品交互图的邻域聚合可挖掘多跳关联，LightGCN作为简化版图卷积网络（GCN）丢弃特征变换与非线性激活、专注线性传播，显著提升效率，但在交互稀疏时因高阶邻域信息不足导致嵌入质量退化、推荐同质化。扩散模型凭借逐步加噪与反向去噪具备强数据重建能力，可生成覆盖真实分布的多样候选以避免模式崩溃，但现有扩散推荐多独立生成物品或结果，未充分融合图结构传播。因此研究人员开展本研究，提出Diffusion_LightGCN，将扩散模型作为伪用户嵌入辅助生成器与LightGCN传播耦合，以解决稀疏场景表示不足问题。该研究发表于《Mathematics》，意义在于为图神经推荐框架引入生成式增强新范式，在保持LightGCN推理零额外开销前提下提升稀疏数据训练有效性。

关键技术方法上，研究人员在Yelp2018、Amazon-Book、ML-1M三个公开数据集上开展实验，采用Hit Ratio、Precision、Recall、NDCG@5/10/20评估。模型以LightGCN为骨干（3层传播、嵌入维数64、BPR损失中sigmoid换为softplus），扩散模块仅作用于用户侧：以LightGCN第0层原始用户嵌入为去噪目标，前向按β_t调度加高斯噪声，反向用单层MLP去噪网络以复合条件（用户自身嵌入、Top-K余弦相似邻域聚合特征、正弦时间嵌入）预测噪声，训练时两阶段交替优化且伪嵌入detach不回传梯度；伪嵌入与原始嵌入经MLP门控注意力动态融合（权重clamp至[0.1,0.9]）得最终用户表示再算BPR损失。超参经预实验选定：扩散步数5、Top-K邻20、β从0.0001到0.01。

研究结果部分，第3节模型架构表明Diffusion_LightGCN由LightGCN模块、扩散模型模块、动态嵌入融合模块组成，扩散仅训练期生成伪用户嵌入、推理期不采样，计算复杂度分析显示训练耗时约原LightGCN的3至4倍而推理一致。第4节实验中，4.1至4.3显示Yelp2018与ML-1M上Diffusion_LightGCN各指标稳定优于LightGCN及BUIR、SelfCF、SSL4Rec、GDMCF、DiffuRec等基线，NDCG@5在ML-1M从0.31917升至0.32978；但在极稀疏Amazon-Book上因邻域结构不可靠，DiffuRec凭序列条件扩散占优，SSL4Rec也部分超前。4.4消融实验V1去邻域聚合与动态融合、V2去邻域聚合、V3去动态融合改固定0.5加权，证实两模块在稀疏集正向协同，而在稠密ML-1M上邻域聚合反令用户特征过同质化（4.4.2通过余弦相似度分布、UMAP轮廓系数0.033低于V2的0.049、SVD谱能量分散三方面可视化说明），故完整模型在ML-1M略逊V2但仍胜原LightGCN。4.4.3超参敏感分析显示扩散步3至10、Top-K 10至50内性能波动小于1%。4.5伪嵌入作用分析指出注意力权重α_attn初期低随后陡升收敛于0.61至0.64，伪嵌入前期引导冷启动、后期作类正则约束；4.5.2空间距离上伪嵌入L2距8.2187短于原始8.7532、融合后6.1426，最终图传播后降至3.2897且余弦相似0.4719，证伪嵌入在低层空间起距离约束而非方向对齐。4.6对Yelp2018三万一千六百六十八测试用户配对t检验显示十二项指标p均小于0.05、多数小于1×10^-5。

讨论与结论部分，研究人员总结Diffusion_LightGCN在Yelp2018、ML-1M及Amazon-Book整体优于LightGCN，证明扩散生成伪用户嵌入辅助图协同过滤可缓解稀疏退化；但极稀疏长尾场景因依赖可检测相似用户结构而受限，训练成本增至3至4倍、Top-K预处理O(|U|²d)待工业级验证。未来工作将扩展物品侧扩散、自适应噪声调度、结合自监督与多模态。该改良为稀疏推荐提供新视角，伪嵌入实质作低层空间结构化正则，奠定LightGCN高阶传播更好初值。