《Algorithms》：Beyond Model Complexity: A Reproducible Comparison of Classical Machine Learning, Matrix Factorization, Graph Embeddings, and LightGCN for Recommendation
编辑推荐：
推荐系统越来越多地采用图嵌入（Graph Embeddings）和图神经网络（Graph Neural Networks, GNNs）来捕捉用户与物品之间的高阶关系。然而，这些方法的额外复杂性并不一定保证比强大的经典基线和潜在因子基线具有更好的推荐质量。本研究
推荐系统越来越多地采用图嵌入（Graph Embeddings）和图神经网络（Graph Neural Networks, GNNs）来捕捉用户与物品之间的高阶关系。然而，这些方法的额外复杂性并不一定保证比强大的经典基线和潜在因子基线具有更好的推荐质量。本研究提出了六种推荐模型的可复现比较，这些模型代表四个方法论家族：逻辑回归（Logistic Regression）和随机森林（Random Forest）；贝叶斯个性化排序（Bayesian Personalized Ranking, BPR）优化的矩阵分解（Matrix Factorization, MF）；DeepWalk和node2vec；以及LightGCN。实验在MovieLens 1M数据集上使用按用户的时间划分进行。对于每个用户，最近的正交互被分配给测试集，前一个交互分配给验证集，所有更早的正交互分配给训练集。主要评估使用相同的候选集，包含一个留出的正电影和99个采样的未观察电影。性能使用多个截断值下的召回率（Recall）、精确率（Precision）、命中率（Hit Rate）和归一化折损累积增益（NDCG）来衡量，并辅以自助置信区间、配对统计检验、计算效率测量以及按用户活跃度和电影流行度的分析。矩阵分解取得了最佳整体性能，Recall@10达到0.7458，NDCG@10达到0.4558，比最强经典基线随机森林的NDCG@10提高了约56%。基于验证的调优将LightGCN的NDCG@10提高到0.2875；它显著优于逻辑回归，但在Holm校正后与随机森林在统计上无显著差异。调优后的node2vec也显著优于DeepWalk，NDCG@10达到0.1593，尽管两种随机游走嵌入方法的结果仍远低于最强基线。基于流行度的分析进一步显示，经典模型和LightGCN在流行电影上取得了显著更高的排序效果，而矩阵分解在不太流行的物品上保持了相对较强的性能。这些发现表明，在所评估的设置下，更大的模型复杂性并未持续转化为更高的推荐效果，因此强调了强基线、模型调优、标准化评估和可复现实验协议的重要性。
**论文解读**
随着数字内容的快速增长，用户在海量物品中准确发现相关信息变得愈发困难。推荐系统通过估计用户偏好并生成个性化排序来应对这一挑战。协同过滤是其中最重要的范式之一，而矩阵分解（Matrix Factorization, MF）凭借其共享低维潜在空间的表示能力，在隐式反馈推荐中表现尤为突出，特别是引入贝叶斯个性化排序（Bayesian Personalized Ranking, BPR）后，MF成为公认的强基线。近年来，图嵌入（如DeepWalk、node2vec）和图神经网络（如LightGCN）通过显式建模用户-物品二分图上的高阶关系，为推荐系统带来了更强的表示能力。然而，模型复杂性的增加是否必然带来推荐质量的提升，仍是一个悬而未决的问题。已有再现性研究指出，许多神经推荐方法在统一、规范的评估协议下并不一定优于调优良好的传统方法。因此，在共同的时间划分、候选集和评估指标下，跨方法家族进行公平比较显得尤为重要。该研究发表于《Algorithms》，旨在回答上述核心问题。
研究人员设计了一个受控的对比实验，在MovieLens 1M数据集上，采用每用户时间戳划分策略：每个用户最近的正面交互作为测试集，前一个作为验证集，更早的全部作为训练集。对于每个用户，测试候选集包含一个时间上留出的正面电影和99个可复现采样的未观察电影。所有模型共享同一验证和测试候选集、同一指标实现及排序截断点。评估涵盖召回率、精确率、命中率、归一化折损累积增益，并辅以用户级自助置信区间、Friedman检验、Wilcoxon符号秩检验、Holm校正、效应量、训练/推理时间、用户活跃度和电影流行度分层分析。主要比较对象包括逻辑回归、随机森林、基于BPR的矩阵分解、DeepWalk、node2vec和LightGCN。
**4. 结果**
**4.1 整体Top-K性能**
在6种模型的最终比较中，基于BPR的矩阵分解（MF-BPR）在每个截断值上均取得最优结果，Recall@10为0.7458，NDCG@10为0.4558，比最强经典基线随机森林的NDCG@10高约56%。随机森林、调优后的LightGCN和逻辑回归构成第二梯队，NDCG@10分别为0.2921、0.2875和0.2796。两种随机游走嵌入方法表现最弱，但调优后的node2vec相比未调优版本有显著提升。
**4.2 自助置信区间**
用户级1000次重采样的95%自助置信区间显示，MF-BPR的NDCG@10区间与其他模型完全不相交，确立了其显著优势。随机森林、调优LightGCN和逻辑回归的区间相互重叠，表明三者整体性能接近。调优node2vec的区间明显高于DeepWalk，后者仍是性能最低的模型。
**4.3 相关物品排序分布**
由于每个用户只有一个相关测试电影，该电影在候选集中的排序位置可直接反映推荐质量。MF-BPR将相关电影排到平均第8.66位，中位数第4位；随机森林、调优LightGCN、逻辑回归平均排名分别为15.56、16.33和16.78；调优node2vec平均排名25.82，DeepWalk为26.79。MF-BPR也取得了最高的平均倒数排名（Mean Reciprocal Rank）0.3793。
**4.4 统计比较**
Friedman检验显示六个修正模型配置之间存在显著差异，Kendall和谐系数W表明差异程度中等。两两Wilcoxon符号秩检验经Holm校正后，15次比较中有14次显著。MF-BPR显著优于所有其他模型，效应量较大。随机森林与调优LightGCN是唯一在Holm校正后无显著差异的配对，其秩双列相关效应量很小。调优LightGCN显著优于逻辑回归（效应量小），调优node2vec也显著优于DeepWalk。
**4.5 计算效率**
逻辑回归训练最快（1.67秒），随机森林28.99秒，DeepWalk45.45秒。MF-BPR训练用时最长（989.42秒），调优node2vec879.07秒，调优LightGCN344.98秒。MF-BPR尽管训练成本高，但性能优势显著；随机森林在训练时间和效果间取得了良好平衡；调优LightGCN和node2vec的高成本并未换来等价的性能提升。
**4.6 用户活跃度分析**
按用户正面训练交互数分位分组后，所有模型的NDCG@10均随活跃度提高而下降。MF-BPR在每个活跃度组中都是最优，从最低活跃度组的0.5304降至最高活跃度组的0.3661。随机森林、调优LightGCN、逻辑回归的变化趋势相似，而DeepWalk和调优node2vec在最高活跃度组中下降幅度最大。
**4.7 电影流行度分析**
按留出电影的训练集正面交互数分位分组后，模型间差异最为显著。逻辑回归和调优LightGCN高度集中于流行电影：最低流行度四分位组上两者NDCG@10分别仅为0.0002和0.0030，而在最高流行度组中均升至约0.72。随机森林也有类似但稍缓的趋势。MF-BPR表现最为均衡，从最低流行度组的0.2066到最高组的0.7097，对非流行电影的能力远强于经典模型和LightGCN。DeepWalk和调优node2vec呈现相反模式：在最低流行度组效果最好（NDCG@10约0.22–0.24），在最高流行度组反而下降。非个性化流行度基线（仅用训练集电影频次）在采样协议下达到NDCG@10=0.2779，且其流行度梯度比经典模型和LightGCN更极端，说明这些模型对流行物品的偏向部分源于数据本身的频率结构。
**4.8 全目录鲁棒性评估**
将测试阶段候选集扩展为全部未观察电影后，绝对指标大幅降低（因排名难度增加），但模型总体层级基本保持不变：MF-BPR仍最优，其次为随机森林、逻辑回归、调优LightGCN，随机游走方法最弱。该结果说明，99个负样本采样协议下的主结论并非偶然，但也表明采样评估与全目录评估是不同的排序任务。
**4.9 跨种子鲁棒性**
使用三个随机种子（42、123、2026）重跑随机模型，各模型的NDCG@10标准差很小（Recall@10标准差介于0.0009至0.0050），表明主要性能差异并非源自单一随机实现。
**5. 讨论与结论**
讨论部分强调，在统一时间划分和候选集协议下，更大的模型复杂性并未稳定转化为更高的推荐效果。MF-BPR的优越性可能源于其训练目标（BPR）与评估任务（对集内正负样本排序）的高度一致，以及对每个用户和电影学习专用低维向量表示。LightGCN经过调优后虽能显著击败逻辑回归，但与随机森林差异不显著，表明图传播带来的增益是有限且不稳定的。DeepWalk和node2vec的随机游走结构表示没有直接优化用户级排序目标，且孤立节点因零向量嵌入受到不利影响。流行度分层分析揭示，经典模型和LightGCN的预测与物品流行度强相关，MF-BPR则更稳健地处理长尾物品；随机游走模型则意外地倾向于长尾物品，但整体效果较弱。作者认为，模型家族必须在相同条件、强基线、统计检验和计算成本报告下比较，并且流行度敏感评估是理解推荐行为的关键。
研究结论如下：该研究提供了涵盖经典机器学习、潜在因子模型、随机游走图嵌入和图神经网络推荐的可复现比较，所有模型在MovieLens 1M上采用相同的时间划分、固定候选集、负采样程序和Top-K指标。结果表明，在所选协议下，更大的架构复杂性并不能持续保证更好的推荐质量。基于BPR的矩阵分解取得了最强的整体性能，显著优于所有其他模型。随机森林、调优后的LightGCN和逻辑回归构成了性能相近的第二梯队。验证调优使LightGCN显著优于逻辑回归，但效应量较小，且与随机森林的差异在Holm校正后不显著。调优后的node2vec显著优于DeepWalk，但两种随机游走方法仍大幅落后于最强潜在因子和经典基线。电影流行度分析显示，经典模型和LightGCN在流行电影上的排序效果明显更高，而矩阵分解对非流行物品的排序能力更强。所有模型的性能随用户活跃度增加而下降，表明更长的历史可能反映更广泛或动态的偏好，而非更容易的推荐任务。作者强调强传统基线、统一评估条件、统计检验、计算成本报告和流行度敏感评估的重要性。研究结论受限于单一数据集、三个种子的随机稳健性分析以及以LightGCN和node2vec为中心的有限超参数探索。未来工作应扩展到更多稀疏隐式反馈数据集、更大规模的种子分析、更广的基线覆盖和更充分的超参数优化，并关注新颖性、多样性、目录覆盖率和长尾曝光等指标。完整实现和实验产物已公开在项目GitHub仓库中。
