提高推荐系统离线评估中的方法标准

《ACM Transactions on Recommender Systems》：Improving Methodological Standards in Recommender Systems Offline Evaluation

　　摘要：离线评估是推荐系统科学研究中的主要方法，它允许使用预先收集的数据集和计算指标来比较不同的推荐方法，而无需涉及人类参与者。然而，最近的可重复性研究揭示，文献中的许多离线评估缺乏科学严谨性，或者采用了令人对其发现的有效性产生怀疑的研究实践。一个特别常见且最终具有灾难性的缺陷是将新提出的机器学习模型与未调整或调整不当的基线模型进行比较。结合有限的可重复性，这些做法引发了对日益复杂的推荐算法所取得真正进展的严重担忧。在这篇社论中，我们主张加强方法论标准，并总结了进行严格离线评估推荐系统的基本指导和最佳实践。因此，ACM推荐系统交易（ACM Transactions on Recommender Systems）将在所有未来的提交中更加重视方法论的严谨性，特别优先考虑提供全面可重复性材料并明确记录用于基线模型的调整程序的工作。

1 引言
由现代人工智能技术驱动的个性化推荐已成为几乎所有主要在线服务不可或缺的组成部分，从电子商务到媒体流媒体和社交网络平台。在这些平台上，它们不仅提升了用户体验，同时也为服务提供商创造了巨大的商业价值[21]。不幸的是，评估推荐系统的效用在工业实践和学术研究中都本质上是复杂的[14, 39, 47, 52]。与其他机器学习（ML）应用领域（如图像分类或机器翻译）不同，没有明确或独特的基准来定义什么是对特定用户的最佳推荐。实际上，用户偏好和需求是依赖于上下文的、有噪声的，并且会随时间演变。同时，推荐系统通常必须平衡多个利益相关者的目标，包括最大化用户效用和为服务提供商创造商业价值[1]。此外，在许多现实世界的用例中，有效推荐的回报是延迟的，只有通过长期结果（如增加客户保留率）才能显现出来。

多年来，研究社区已经开发或采用了不同的方法论方法来应对评估推荐系统所面临的挑战。文献通常区分了三种主要的评估推荐系统的范式[42, 49]：
(1) 在A/B测试中，组织在较长的时间内并行部署两个或多个生产系统的变体，并比较它们对相关关键绩效指标（KPIs）的影响，如销售量或点击率。
(2) 用户研究同样通常作为随机对照实验进行，参与者被分配到实验组和对照组，但它们发生在明确定义的实验环境中，并且通常依赖于为研究开发的原型系统。与A/B测试不同，用户研究不仅能够分析观察到的用户行为差异，还能分析用户对系统质量的主观感知[25, 34]。
(3) 最后，离线实验包括纯粹基于数据和模拟的评估方法，这些方法依赖于预先收集的数据集和计算指标，而不涉及人类受试者在评估过程中的参与。最常见的离线实践遵循隐藏和预测协议，这通常用于评估监督式ML模型。在这种设置中，一部分已知的用户-项目交互被保留作为测试集，而剩余的数据用于训练。然后通过使用预定义的指标来评估不同模型在测试集上的表现，这些指标可能包括预测准确性度量（如NDCG或Hit Rate），以及捕捉推荐多样性或新颖性等属性的超出准确性度量[24]。

在本文中，我们讨论了与后一种评估方法（即离线实验）相关的严重问题，这是推荐系统文献中最广泛使用的方法论，也是ACM推荐系统交易（TORS）发表的论文的主要评估范式。尽管它们预测模型在线成功的能力有时可能有限，但离线实验仍然是筛选大量模型并识别那些预测准确性低或其他不良属性（如多样性有限或明显的流行偏见[9]）的实用且可扩展的工具。

问题描述：在学术实践中，离线实验主要用于证明新提出的ML模型优于现有的基线方法，作者通常将这些基线方法呈现为当前“最先进”的代表。因此，这类论文通常描述了一个实验设置，其中指定了（i）一组基线模型，（ii）两个或多个公开可用的数据集，以及（iii）用于基准测试的评估指标集合。因此，这类研究的核心是一个大型结果表，报告了这些实验的结果，通常表明所提出的模型——有时简单地标记为“我们的模型”——在所有数据集和指标上都以一定的优势胜过基线模型。乍一看，这种科学程序似乎是透明、稳健且易于复制的，特别是因为学术研究人员越来越多地分享他们提出的ML模型的源代码[43]，并依赖于公开可用的数据集。然而，实际上却出现了一个令人困惑的问题：为什么每年会有数百篇论文发表，每篇论文都报告比最先进水平高出几个百分点的性能改进？

根本原因：实际上，有明确的迹象表明这些声称的改进并不都是有效的，有多种方式可以解释这一现象。一种解释可能在于研究之间实验结果的可比性有限，因为论文经常使用不同的基线模型、数据集和评估协议[46]。这种实验设计的异质性引入了相当大的任意性，使得确定什么是“最先进”的变得困难，因此也难以证明进步的声明。另一种解释是实验研究本身可能缺乏足够的方法论严谨性，甚至可能存在根本性的缺陷。事实上，过去十年发表的大量工作[2, 12, 26, 27, 35, 46]表明，这种情况在文献中占相当大的比例。方法论问题确实很多，包括使用弱或不适当的基线[12, 26]、基线模型的超参数调整不足[11, 35]、采用不可靠或有缺陷的评估实践[18, 27, 46]、依赖于不完整或错误的第三方实现的基线模型[17]，以及推荐系统研究以及ML和AI研究总体上缺乏可重复性[16, 41, 43]。

前进方向：在ACM TORS中，我们致力于维护最高的研究质量标准。鉴于当前研究实践中观察到的不足，我们旨在为社区建立改进的方法论严谨性和可重复性标准。通过积极鼓励作者采用经过验证的实践（如本文后面部分概述的实践），我们希望确保报告的发现不仅稳健可靠，而且真正推动该领域的发展。遵守这些标准增强了单个研究的可信度，促进了研究之间的有意义比较，并最终推动了更有效的推荐系统的发展。

42 背景
推荐系统领域在历史上植根于计算机科学和信息系统的几个其他领域，包括人机交互、社会计算、信息检索和ML。然而，至少从Netflix Prize竞赛（2006-2009年）开始，学术文献越来越多地受到基于ML的研究主导[19]。随着从早期以用户和应用为导向的方法（如[37]）的转变，该领域采用了信息检索和ML中的常见评估实践[5]。这些方法特别是包括在监督式ML中常用的纯离线评估方案。然而，与其他应用ML领域不同，推荐系统研究社区可能出于良好的原因，尚未开发出一套普遍接受的基准问题。不幸的是，这一方面导致了上述情况，即很难确定我们应该超越的最先进水平是什么。这反过来又使得实际确保或证明进步变得困难。尽管如此，每年仍有无数论文声称取得了进步，这表明该领域可能存在重大的方法论问题。至少十五年来，推荐系统文献中一直在讨论这些问题。在2011年的一项早期工作中，Ekstrand等人[10]强调了可重复性的重要性，并提倡使用可扩展的开源评估框架。2013年，ACM RecSys会议的一个整个研讨会专门讨论了推荐模型的可重复性和复制问题[7]。早在那个研讨会上，Konstan和Adomavicius[26]就确定了一些应该应用于算法研究的最佳实践，当时识别出的许多问题似乎至今仍然存在。文献中常见的问题包括以下几点：
可重复性：十五年前，几乎不可能可靠地复制已发表的推荐算法工作。共享代码工件非常罕见。此外，与今天的情况不同，当时Python及其整个ML生态系统已成为算法开发的实际标准，而当时使用了各种不兼容的技术基础。今天，至少对于所提出的模型来说，共享代码已成为一种既定的常见实践，并且至少在竞争激烈的推荐系统研究出版物中是一个明确的评估标准[43]。然而，今天的代码共享主要限于所提出的模型本身。其他技术上需要的相关工件，即证明模型优于给定基线的工件，通常仍然没有共享[43]。具体来说，这些工件包括预处理脚本、基线模型的代码，以及这些基线模型是如何为评估中使用的特定数据集配置和调整的。总体而言，虽然随着时间的推移有所改进，但可重复性仍然是推荐系统研究中的一个主要问题。
基线的选择和调整：在2013年的研讨会论文中，Konstan和Adomavicius[26]通过一项基于调查的研究指出了一个相当常见的方法论问题，即“[结果]仅与较差的‘稻草人’算法（例如，未经标准化的kNN基协同过滤）进行比较”。遗憾的是，在某些方面，这一说法今天仍然非常相关，因为我们每年都会看到大量越来越复杂的模型被发表。具体来说，这一说法涉及两个相关方面。首先，它认为许多论文中选择的基线可能太弱。其次，它表明基线（例如最近邻方法）可能没有得到适当的调整或配置。

在当今的算法论文中，实证评估通常包括多达十几个基线算法并不罕见。其中许多通常被认为是“最先进的”，这一属性可能是基于不同的指标得出的，例如在顶级期刊上发表、被多次引用，或者基于非常新的深度学习架构。不幸的是，这些特征中的任何一个单独的特征，或者它们的任何组合都不能保证基线实际上是强大的。不同的可重复性研究表明，我们可能面临“弱基线传播”的问题[12]。当高调的出版物实际上基于不适当的评估时，就会出现这种现象，最重要的是与未经调整的基线模型进行比较。这些高调的作品实际上可能并不比十年前的简单模型好多少[35]，但它们经常被用作后续研究中的基线。在这些后续研究中，高调的作品随后被更新更快的模型所超越，而这些新模型实际上可能仍然比我们多年前的模型弱。具有讽刺意味的是，有时传统上的最近邻方法，在[26]中被认为是“稻草人”，在许多情况下仍然具有竞争力[30, 45]。最近的研究表明，使许多已发表的评估不合适的主要因素是，所考虑基线的超参数没有针对每个数据集进行系统调整。例如，在[11, 33, 35, 36]中的实验表明，如果适当调整，传统的矩阵分解方法仍然具有竞争力或优于后来的深度学习模型。此外，[43, 44]中的元研究表明，即使对于在顶级期刊上发表的论文，也很少提供关于基线超参数调整的足够信息。在[44]中进一步证明，即使使用有缺陷的实验方法论——其中一些模型被系统地调整，而其他模型则没有——比较中的每个模型都可以被宣布为“赢家”。6. 其他问题。除了可重复性和基线调整问题外，过去几年还发现了一些其他方法论问题。在Sun等人[46]的一项深入研究中，他们提出了这样的问题：我们是否进行了严格的评估？对顶级会议上发表的85篇论文的分析不幸表明，答案在很大程度上是否定的。研究发现了许多潜在问题，包括已发表论文在实验协议细节上的重大不一致性。例如，检查的论文中发现了各种数据集预处理（剪枝）策略，结果表明所选择的剪枝策略可能会影响观察到的算法排名。7. 最后，作者发现大约37%的论文中，所提出模型的超参数是在测试集上调整的，而不是在验证集上调整的。为了缓解上述问题，Sun等人[46]提出了一个基于Python的新工具包，以支持严格和可比较的评估。过去几十年提出了各种标准化的评估框架。然而，由于某些原因，这些框架的采用仍然有限，学者们更倾向于自己实现数据分割、预处理和评估的代码[43]，这不仅引入了不一致性，还可能引入错误。不幸的是，重用现有库和工具包的代码也可能带来自己的问题。Hidasi和Czapp[17]最近观察到，“第三方”版本的常用基线往往没有正确实现。具体来说，这些实现可能导致性能远低于原始实现。这可能会使新模型更容易超越它们，从而进一步产生“进步的错觉”。其他最近的研究指出，在评估过程中使用“采样指标”的普遍做法可能非常不可靠[8, 27]。使用采样指标时，准确性指标是通过评估在相对较少的“负面”样本中“正面”项目的排名来确定的。虽然这个过程有助于提高计算效率，但它可能导致比较方法的排名失真[27]。总的来说，这些观察结果呼吁更多地使用经过验证的工具包来进行推荐系统的离线评估。使用这样的工具包不仅有助于使不同论文之间的评估协议更加一致，还可以提高可重复性，因为像RecBole8这样的工具包不仅包含模型的代码，还可能包含预处理、超参数调整和评估的代码，以及所用数据集的存档版本。此时，值得重申的是，推荐系统的评估本质上是非常困难的。这种困难源于推荐任务的主观性质、缺乏唯一且普遍接受的真实标准、时间和上下文动态带来的不确定性[4]，以及缺乏一套完全建立并一致采用的研究最佳实践。鉴于这些挑战，我们的目的不是指责个别研究人员或整个社区。相反，我们的目标是建设性地为提高方法论标准做出贡献，并支持该领域内更可靠、透明和有意义的评估实践的发展。3. 提高标准：主要指南和期望“说起来容易，让我看看代码。”——Linus Torvalds关于新推荐模型（或算法）的研究大多属于应用机器学习研究的更广泛类别。因此，推荐系统研究继承了许多在一般机器学习中常见的问题，而在人工智能领域更为普遍。例如，Gundersen和Kjensmo[16]多年前就观察到人工智能领域普遍存在可重复性不足的问题。在应用机器学习领域，Armstrong等人[3]在2009年和Makridakis等人[31]在2018年报告了信息检索领域缺乏真正进展的情况。为了应对这些挑战，一些出版机构已经开始采取措施提高其会议的方法论标准。例如，NeurIPS会议系列在2021年为作者和审稿人发布了一份在线检查表[9]。该检查表涵盖了包括可重复性、透明度、研究伦理和提交出版物的社会影响在内的各种主题。其他出版机构，包括几个顶级会议系列（如AAAI或IJCAI）和期刊（如JAIR）[10]，也发布了专门针对可重复性的指南[15]。最后，作为主要的计算机科学组织，ACM引入了一个工件审查和标记流程[11]。ACM推荐系统交易（TORS）在2024年发布了在线指南和检查表，该期刊的审稿表格明确包括了可重复性评估的条目[12]。该期刊的指南既涉及可重复性，也涉及更广泛的方法论问题。与NeurIPS会议系列的指南类似，ACM TORS检查表上的条目不是强制性的，并不需要对每篇提交的论文都进行正面评估。此外，显然并非所有条目都能以客观的方式轻松评估，例如，论文是否清楚地说明了其研究问题和假设，或者论文可能产生的社会影响是什么。然而，有些方面可以以客观的方式很好地进行评估。下面，我们强调了一些对于确保推荐系统研究可靠进展至关重要的方面。因此，从2026年开始，ACM TORS将进一步关注这些方面，并优先考虑符合这些要求的提交。——可重复性和工件共享：如前所述，推荐系统研究的可重复性水平在过去十年中显著提高。然而，正如对在顶级出版物上发表的65篇算法导向论文的分析[43]所示，仍有约25%的论文没有共享任何用于可重复性的材料。另一个事实是，尽管大约75%的论文附带了代码，但共享的材料几乎总是只包括所提出模型的代码。基线代码、数据预处理和超参数调整的代码几乎总是缺失的。此外，虽然使用至少一个公共数据集已成为标准，但数据集在预处理后共享的情况并不常见。大多数情况下，代码的文档也缺乏，例如可运行脚本或软件依赖性的文档。因此，尽管一些源代码被共享，但在[43]中检查的所有论文中报告的实验都不可重复。虽然可能可以复现所提出模型的数值结果，但实际上几乎不可能复现相对于现有技术的改进，而这通常是算法论文的主要主张。因此，为了确保整个实验的可重复性，提交给ACM TORS的算法论文应附带完整的源代码[13]。——基线的选择和调整：如前所述，推荐系统研究的可重复性水平在过去十年中显著提高。然而，正如对在顶级出版物上发表的65篇算法导向论文的分析[43]所示，仍有大约25%的论文没有共享任何用于可重复性的材料。另一个事实是，尽管大约75%的论文附带了代码，但共享的材料几乎总是只包括所提出模型的代码。基线代码、数据预处理和超参数调整的代码几乎总是缺失的。此外，虽然使用至少一个公共数据集已成为标准，但数据集在预处理后共享的情况并不常见。代码的文档也大多缺乏，例如可运行脚本或软件依赖性的文档。因此，尽管一些源代码被共享，但在[43]中检查的所有论文中报告的实验都不可重复。虽然可能可以复现所提出模型的数值结果，但实际上几乎不可能复现相对于现有技术的改进，而这通常是算法论文的主要主张。因此，为了确保整个实验的可重复性，提交给ACM TORS的算法论文应附带完整的源代码[13]。——基线的选择和调整：共享一套完整的工件有助于确保其他研究人员可以复现论文中呈现的数值结果。然而，仅共享代码通常不足以证明通常声称的结果，即新提出的模型是否推进了现有技术。如前所述，定义什么代表现有技术是一项困难的任务。因此，任何论文都应清楚地描述选择实验中基线模型的原因。基线的最新性和它们在某些任务（例如序列推荐、冷启动推荐）中的文献流行度可能是需要考虑的因素。然而，重要的是，应包括额外的基线，这些基线可以从基于流行度的启发式方法到最近邻模型，再到线性模型不等。只有这样，我们才能确保所提出的模型真正推动了该领域的发展。此外，对于每个数据集，系统地调整所有基线的超参数至关重要。因此，提交给ACM TORS的论文应清楚地记录如何为所有模型调整超参数。文档应包括考虑的超参数范围、超参数优化策略以及用于实验的最佳值。总的来说，通过这些核心质量标准，我们希望逐步提高推荐系统文献中发布结果的可靠性。当然，可能存在某些原因导致无法满足上述要求。在某些特殊情况下，例如由于组织限制，研究人员可能不允许共享某些代码部分，或者他们无法共享实验中使用的某些专有数据集。此外，对于某些实验，可能不需要系统地调整基线的超参数。例如，当最佳超参数已经在使用相同实验配置的早期工作中确定时，即使用相同的（预处理过的）数据集和评估程序时，可能就是这种情况。无论如何，重要的是应在提交的论文中记录不共享必要工件的原因。总的来说，虽然我们在本文中重点讨论了可重复性和基线调整，但其他指南和最佳实践也同样重要，也应予以考虑。这些指南在附录中列出，涵盖了整个研究过程的各个方面。论文应理想地从明确阐述研究问题和讨论潜在假设开始。实验必须是可重复的，并且在方法论上是合理的，如上所述，并为所提出的主张提供适当的证据，例如通过深入的消融研究来展示所提出模型组件的价值。除了这些方法论方面，指南还描述了其他最佳实践，如统计显著性测试和避免离线评估中常见陷阱的指南，例如关于使用经过验证的基线模型实现。4. 新出现的挑战在过去十年中，不同的发展使得新推荐系统的离线评估变得越来越具有挑战性。我们在这里重点介绍了其中的三个挑战。模型的复杂性增加。基于深度学习的现代推荐模型不仅在架构或概念上复杂，而且在计算成本方面也非常高。这可能导致系统超参数调整方面的重大挑战。许多复杂架构有许多可以优化的超参数，需要探索数十或数百种组合。鉴于即使对于规模较小的数据集，使用一组超参数调整单个模型也可能需要很多小时，因此对几个相对复杂的基线重复相同的过程可能需要几周时间。事实上，这种计算复杂性可能是大多数发表的论文中没有进行系统超参数调整的主要原因之一——或者至少没有报告。同时，鉴于这种计算复杂性，当前文献中的实验通常基于相对较小的数据集。虽然2006年的Netflix Prize数据集已经包含了1亿次用户互动，但今天很少看到使用行业规模数据集的实验，而像MovieLens-1M这样包含一百万次互动的数据集仍然被广泛使用。研究人员在短期内处理这些问题的一种方法可能是使用更有限但合理的基线模型集。如今，我们经常观察到会考虑多达十几个基线模型。然而，如果这些基线没有一个得到适当的调整（由于计算需求），那么从整个实验中无法得出任何结论[44]。相反，建议研究人员专注于一组较小的基线，对于这些基线，适当的超参数调整过程是可行的。通常，计算复杂性应更经常被视为新推荐模型的一个质量因素。当然，我们不应该仅仅因为当今硬件的限制而在学术研究中局限于简单的模型和架构，当然，并不是每个学术模型都必须为工业部署“准备好”。然而，了解新模型的计算复杂性并公开讨论潜在的局限性似乎很重要。正如前面提到的，在实证比较中始终考虑概念上和计算上更简单的基线似乎是明智的，以确保模型复杂性的增加确实能够带来比现有模型更好的改进。基于大语言模型（LLM）的方法的可复现性。大语言模型在研究领域引起了轰动。在过去几年中，文献中报告了通过多种方式利用LLM在推荐系统中的强大功能所取得的显著进展[28, 51]，包括top-n推荐任务、序列推荐以及交互式场景（如对话式推荐系统）。然而，将LLM与最近出现的大型视觉语言模型集成后，可复现性方面带来了额外的挑战。在这种情况下，一个根本问题在于LLM的随机性，即相同的提示在多次执行时可能会产生不同的结果。此外，许多已发表的论文依赖于通过API调用集成的闭源模型。因此，研究人员无法控制API背后的模型，即使模型版本没有变化，提供该模型的组织也可能定期对其进行更新。虽然在某些情况下确保完全的可复现性可能很难实现，但研究人员通常应努力实现基于LLM的研究的最高可复现性。在这种情况下，典型的措施可能包括尽可能使用公共模型、记录所使用的确切提示、共享LLM生成的嵌入，以及提供整个处理和推荐流程的代码。对于使用随机模型的离线评估，建议多次运行实验以评估报告结果的稳健性和可靠性。

需要将离线结果与以用户为中心的研究相结合。目前大多数基于离线评估的研究主要关注预测准确性作为主要研究目标。由于众所周知，仅关注单一质量方面可能是不够的[32]，因此多年来研究界已经讨论了其他质量方面，如推荐多样性或新颖性。此外，近年来，包括用户导向的解释和交互式推荐范式在内的几个以用户为中心的因素受到了越来越多的关注。同时，社会问题如偏见和公平性也成为了关注的焦点，同时，同时优化多个利益相关者目标的实际挑战也被确定为重要的研究方向。如今，许多这些问题都是通过离线实验设计来研究的。然而，与那些专注于准确性的离线实验类似，存在一定的风险，即离线结果可能无法代表或在现实世界部署中的真正目标，包括业务成功或用户满意度。因此，需要采取不同的措施来避免这种抽象陷阱[40]，这些陷阱可能源于仅使用计算指标来量化给定推荐方法的有效性和质量。在这种情况下，应采取适当的措施。例如，实验应更频繁地基于经过验证的计算指标，即那些已被证明可能与真正感兴趣的质量（例如用户的多样性感知[22]）有良好相关性的指标。通常，似乎还建议用通过替代方法获得的额外定量或定性发现来补充离线结果。例如，仅使用离线指标来评估面向最终用户的解释或对话式推荐系统的响应的质量似乎非常具有挑战性，甚至是不可能的[29]。“案例研究”，例如生成的推荐示例或用户导向的解释，当然是有帮助的，有时可以在文献中找到。不幸的是，这些示例是如何选择的以及它们是否真正具有代表性往往不清楚。相比之下，从更系统的评估中可以期待更可靠的验证，例如通过伴随的实验室研究或与潜在最终用户的调查来补充获得的离线结果。

5. 总结
离线评估是一种强大且成本效益高的方法，用于研究替代推荐模型的特性。然而，越来越多的证据表明，算法研究中实际取得的进展可能在实践中受到现有方法论缺陷的限制。在本文中，我们认为研究界应该努力提高方法论的严谨性，并更一致地采用应用机器学习中的最佳实践。特别是，通过共享复制整个计算实验所需的所有工件来大幅提高可复现性至关重要；同时，确保以方法论上合理的方式进行性能比较，所有竞争模型都经过系统调整以达到最佳性能。ACM TORS致力于维护推荐系统研究的最高质量标准，并将在所有未来的提交中更加重视这些方面。尽管在这些方面加强方法论的严谨性可能会减缓研究产出的速度，但这代表了确保实证发现稳健、有意义并真正推动该领域发展的唯一可行路径。

致谢
我们感谢Joeran Beel和Markus Zanker对手稿提供的宝贵反馈。