综述:推荐系统的发展:方法、进展、范式转变及未来方向
《Computer Science Review》:Evolution of recommender systems: Approaches, advances, paradigm shifts, and future directions
【字体:
大
中
小
】
时间:2026年09月18日
来源:Computer Science Review 17.5
编辑推荐:
摘要:推荐系统是众多数字平台中的重要工具,帮助用户发现相关的产品、内容和服务。传统研究主要关注预测准确性和相关性,依赖协作过滤和矩阵分解技术。随着用户行为和数据形式的日益复杂,现代系统已经超越了简单的评分预测,开始关注公平性、透明度、隐私性、长期参与度和可信度等额外目标。本文系统
摘要:推荐系统是众多数字平台中的重要工具,帮助用户发现相关的产品、内容和服务。传统研究主要关注预测准确性和相关性,依赖协作过滤和矩阵分解技术。随着用户行为和数据形式的日益复杂,现代系统已经超越了简单的评分预测,开始关注公平性、透明度、隐私性、长期参与度和可信度等额外目标。本文系统地回顾了推荐系统的演变过程,涵盖了从早期预测模型到现代以用户为中心和注重信任的系统的发展阶段。每个阶段都从方法论进步和实际应用两个方面进行了讨论。新兴范式包括用于减少偏见的因果推理、用于长期优化的强化学习、联邦学习和保护隐私的学习方法、可解释的推荐技术以及基于区块链的信任机制。这些发展表明,推荐系统正从静态的、基于相关性的预测向适应性强、考虑上下文和以用户为中心的智能转变。通过将研究内容组织成清晰的框架,本文为该领域提供了统一的视角,突出了过去和当前方法之间的联系,并指出了下一代推荐系统的发展方向,这些系统需要在准确性、用户满意度、伦理考量和系统长期有效性之间找到平衡。
1. 引言:信息过载已成为数字时代用户在网络环境中面临的主要挑战。推荐系统(RSs)通过提供个性化内容、产品和服务成为应对这一挑战的关键工具[1]。从电子商务和流媒体平台到社交媒体和新闻聚合器,推荐技术已深深嵌入数字生态系统中。推荐系统的主要目的是预测用户偏好,并推荐最有可能符合他们兴趣的项目。为了实现这一目标,推荐系统通常被设计为实现四个关键技术目标[2]:(1)确保推荐项目与用户的偏好相关(相关性);(2)引入用户之前未接触过的项目(新颖性);(3)提供多样化的推荐以避免重复(多样性);(4)覆盖目录中的广泛项目(覆盖范围)。推荐系统的核心功能在于其分析大量数据以发现驱动个性化推荐的模式的能力。它们利用用户交互信号(如点击、评分、购买和浏览历史)来构建用户画像并预测未来的偏好。这些方法通过解决初始数据有限导致的冷启动问题等挑战,提高了推荐准确性和用户满意度。此外,通过结合上下文信息(例如位置、时间或设备),推荐系统可以提供更相关和个性化的建议,从而增加用户参与度。高质量数据的重要性体现在它对提高精确度、多样性和新颖性的贡献上,这些都有助于提升用户满意度和长期留存率。数据分析技术的进步还使推荐系统能够整合实时反馈,从而动态适应用户行为的演变[3]。
推荐系统的演变反映了技术的广泛进步,从简单的启发式模型发展到利用深度学习、上下文感知和大规模基础模型的复杂数据驱动架构。早期的方法,如协作过滤和基于内容的过滤,为个性化奠定了基础。随着时间的推移,由于稀疏性、冷启动问题和可扩展性限制等问题,人们开发了混合方法和上下文感知模型,以更好地捕捉用户意图和情境因素。近年来,随着机器学习的进步(特别是深度神经网络和基于注意力的模型),该领域经历了快速创新。整合辅助数据源(如知识图谱、用户上下文以及视觉和文本内容)使得推荐系统更加丰富和适应性强。基础模型和智能代理系统的出现开辟了新的前沿,使得推荐变得具有预测性、交互性、生成性和持续学习能力。
本文全面回顾了推荐系统的演变过程,追溯了其从早期启发式、基于规则和统计方法到尖端数据驱动架构的发展历程。我们将该领域的进展分为主要的技术阶段:从基于内容和协作过滤的基础技术,到混合和上下文感知模型的出现,再到引入神经架构和注意力机制的深度学习革命。最近,我们还研究了基础模型、知识图谱和智能代理系统的整合,以实现动态、交互性和生成性推荐功能。在整个回顾中,我们重点介绍了该领域的关键里程碑和变化(图1),包括推荐系统如何适应用户行为、数据可用性和计算能力的变化。同时,我们也探讨了可扩展性、冷启动问题、公平性和可解释性等持续存在的挑战,这些挑战继续影响着研究议程。通过探索几十年来这些系统的演变轨迹,本文提供了对推动进步的技术和范式的历史视角,以及对新兴趋势和未来方向的展望。本研究的主要目的是为研究人员、实践者和系统设计师提供一个关于推荐系统过去和未来的结构化概述。
2. 文献选择方法:本研究旨在对推荐系统进行演变性调查,提供一个连贯的、以里程碑为驱动的领域概览,而不是全面的系统文献回顾。主要目标是识别并组织最具影响力的研究贡献,这些贡献代表了推荐系统中的关键方法论转变和范式转变。为了确保广泛覆盖该领域,我们从主要的学术数据库中收集了相关文献,包括IEEE Xplore、ACM Digital Library、SpringerLink和arXiv。此外,还通过高影响力论文的 backward 和 forward 引用追踪识别了额外的参考文献。搜索过程侧重于识别对推荐系统发展有贡献的基础工作和代表性先进方法。搜索过程由一组与该领域主要研究方向相关的关键词引导,例如“推荐系统”、“协作过滤”、“矩阵分解”、“深度学习推荐”、“序列推荐”、“基于注意力的推荐”和“推荐的基础模型”。
鉴于主题的广泛性,收录标准优先考虑:•引入或显著推进核心方法论的开创性和高引用论文;•代表明显架构或概念转变的作品;•反映因果推理、联合学习、可解释性和智能代理等新兴范式的最新研究。排除的文章包括对推荐系统发展贡献较小的高度特定领域应用,以及现有方法的冗余或渐进式变体。然后,选定的论文按时间和概念里程碑进行组织,形成了一个结构化的叙述,突出了推荐系统从传统方法到现代智能、适应性和以用户为中心的框架的渐进式转型。这种以里程碑为导向的组织方式与本文的主要目标一致,即为研究人员和实践者提供一个清晰且可解释的领域演变图谱。
3. 早期推荐系统:推荐系统的最初发展是出于解决数字环境中信息过载问题的需求,尤其是在1990年代初在线内容量激增的情况下[4],[5]。为了方便用户个性化获取信息并提升用户体验,早期推荐系统采用了各种算法策略来自动化识别并向用户推荐相关项目。这些早期方法大致可以分为三个基础范式:启发式和基于规则的方法、基于内容的过滤以及协作过滤[6]。每种范式都提供了一种捕捉和建模用户偏好的不同机制,在复杂性、可扩展性和个性化方面各有优缺点。启发式方法代表了基于手动定义的规则或项目流行度的最早形式的推荐。这些方法生成简单、易于解释的建议,不需要详细的用户数据,特别适用于资源受限或数据稀缺的环境[7]。基于内容的过滤方法通过利用结构化的项目属性来建模用户偏好,从而实现了更加个性化的推荐。推荐通常是通过计算用户之前互动过的项目与候选项目之间的相似性来完成的,使用余弦相似性或TF-IDF等指标[8]。这些方法假设用户会喜欢与他们喜欢的项目相似的项目。协作过滤则将焦点从项目特征转移到用户行为上,通过识别系统中的用户-项目交互模式来生成推荐。通过利用用户之间的相似性或项目之间的相似性,协作过滤可以在不依赖显式项目元数据的情况下生成推荐[4]。由于其领域独立性和揭示潜在偏好的能力,这种范式成为了一种基础技术。
表1比较了早期推荐系统的三种基础范式。这些方法在原理、数据需求、可扩展性和个性化方面存在差异。启发式方法使用预定义的规则或流行度得分;它们简单易懂但缺乏个性化。基于内容的过滤使用项目特征来建模用户偏好,虽然实现了个性化,但容易过度专业化并且依赖于良好的元数据。协作过滤分析用户-项目交互模式,提供了强大的个性化能力和领域独立性,但面临数据稀疏性、冷启动问题和可扩展性的挑战。
3.1. 启发式和基于规则的方法:启发式和基于规则的推荐系统是最简单和最早的推荐方法之一。这些方法依赖于手动的规则或直观的启发式方法,而不是从用户数据中学习。常见的启发式策略包括:•基于流行度的推荐。根据整体流行度或互动频率推荐项目。例如,向所有用户推荐畅销书或热门新闻文章,而不考虑个人偏好。图2展示了IMDb的Top-5最受欢迎电影的示例。这种基线方法常用于冷启动场景或现代系统中的备用策略[9]。•手动关联规则。如“购买A的用户也应该看到B”这样的业务驱动规则是通过早期共现挖掘技术(如市场篮子分析)手动设计或推导出来的[10]。早期的电子商务平台(如Amazon)在使用更复杂的算法之前,利用这些启发式方法提供基本的交叉销售推荐[11]。图3展示了Amazon基于共现的推荐示例[12]。•基于类别的过滤。推荐仅限于用户之前感兴趣的特定类别(例如某个类型的书籍),没有进一步的个性化。图4展示了eBay中搜索虚拟现实头盔的用户看到的同类产品的例子[13]。
这些方法在速度和可解释性方面具有显著优势。此外,它们效率较高且易于实现,因为不需要复杂的计算或大量用户数据。它们的静态逻辑使得推荐结果透明且可预测,这在某些业务场景中可能是可取的。然而,启发式方法也有重大局限性:它们不提供个性化,对所有用户一视同仁;它们的静态特性也使得它们无法动态适应用户兴趣的变化或有效推荐新项目。因此,尽管启发式方法作为基线或备用解决方案具有价值,但它们缺乏实现真正个性化和吸引人的推荐体验所需的复杂性。3.2. 基于内容的过滤基于内容的过滤通过将项目属性与用户偏好的表示进行比较来向用户推荐项目,而不依赖于其他用户的数据。这种方法的依据是用户会喜欢与其之前喜欢的项目内容相似的项目[8]。基于内容的过滤依赖于三个主要组成部分:•项目概况。每个项目都被编码为一个特征向量,捕捉其描述性属性。这些属性可以包括元数据,如关键词、类别、类型、作者姓名、品牌标签等。图5(A)显示了一个项目概况的例子。特征提取的方法取决于项目内容的性质:–文本内容。从项目描述、标题或评论中提取的特征通常使用术语频率-逆文档频率(TF-IDF)[12]、[13]、[14]和词嵌入(例如Word2Vec、GloVe)[15]等技术。–视觉内容(图像/视频)。可以使用颜色分布、光照、主导色调和平均拍摄长度等特征来描述多媒体项目[16]、[17]。–音频内容。对于基于音乐或语音的推荐,通常使用梅尔频率倒谱系数等特征[18]。下载:下载高分辨率图片(199KB)下载:下载完整尺寸图片图5. 项目和用户概况的例子。(A) 项目概况。(B) 用户-电影评分向量。(C) 用户概况。•用户概况。用户概况是通过聚合用户之前交互过的项目的特征向量构建的(例如,用户喜欢的项目、评分较高的项目或已购买的项目)。该概况总结了用户的偏好。图5(C)显示了一个电影推荐系统的用户概况示例。•相似性测量。推荐的核心在于测量用户和项目概况之间的相似性。根据数据的性质,可以使用几种相似性或距离度量方法:–余弦相似性(公式1)测量多维空间中两个非零向量之间的夹角的余弦值。(1)cosine?(??????????????????????,??????????????????????)=?????????????????????????????????????????????|??????????????????????|?|??????????????????????|它在基于文本的系统中得到广泛应用,其中项目和用户概况被表示为TF-IDF向量。例如,WebMate使用余弦相似性和TF-IDF向量根据用户的浏览历史来推荐网页文档[12]。–欧几里得距离(公式2)表示特征空间中两点之间的直线距离[19]、[20]。(2)Euclidean?(??????????????????????,??????????????????????)=√??∑??=1(?????????????????????????????????????????????????)2–Jaccard相似性(公式3)用于计算二进制或分类属性(如标签或类型)之间的距离[21]。(3)Jaccard?(????????????????????????,????????????????????????)=|????????????????????????∩????????????????????????||????????????????????????∪????????????????????????|尽管基于内容的过滤具有可解释性和有效性,但它面临几个限制,这些限制影响了其适应性。最突出的挑战是过度专业化,系统会反复推荐用户已经消费过的项目,从而限制了新奇性和发现[22]。此外,这种方法严重依赖于项目元数据的可用性和质量;不完整或有噪声的特征表示会显著降低性能[22]。最后,由于推荐是孤立生成的,没有利用社区知识,基于内容的系统可能难以捕捉更广泛的趋势或上下文偏好,这促使人们朝着结合用户和社区见解的协作和混合方法发展。3.3. 协作过滤协作过滤是推荐系统中最有影响力且最广泛采用的方法之一。与基于内容的过滤不同,协作过滤利用用户-项目交互的模式来推断偏好,假设过去行为相似的用户将来可能也会喜欢相似的项目[22]。其核心思想可以概括为“过去意见一致的人往往在未来也会一致”[23]。协作过滤技术操作在一个用户-项目交互矩阵上(图6 (A)),其中行代表用户,列代表项目,条目反映了明确的评分或隐性的反馈,如点击、购买或观看。任务是预测这个矩阵中的缺失值(即用户对尚未交互的项目的喜爱程度)。协作过滤方法主要有两大类:•基于记忆的协作过滤。基于记忆的方法也称为基于邻域的协作过滤,是最早和最易于解释的协作过滤形式之一。它们依赖于用户或项目之间的直接相似性计算来进行预测[22]。基于记忆的方法有两种类型:–基于用户的协作过滤。这种方法识别出一个邻居用户群体,这些用户的过去评分与目标用户的概况相似,并使用他们的偏好来进行推荐[4]。例如,如果用户??1和??2对几部电影的评价相似,而??2喜欢了一部??1尚未看过的电影,那么这部电影可以被推荐给??1。用户之间的相似性可以使用各种度量方法来衡量,如皮尔逊相关性系数(公式4)和余弦相似性(公式5)。皮尔逊相关性系数捕捉评分行为中的线性一致性程度,其值范围从-1(完全负相关)到+1(完全正相关)。较高的值表示用户评分模式之间的相似性更大。余弦相似性将评分向量视为多维点并测量它们的方向相似性。其值范围从0(完全不同)到1(方向相同),表示用户在评分空间中的偏好如何对齐。调整后的余弦相似性通过将评分围绕每个用户的平均值中心化来纠正用户偏见[24]。(4)pearson?(??,??)=∑??∈????,??(????,???ˉ????)?(????,???ˉ????)√∑??∈????,??(????,???ˉ????)23√∑??∈???????(????,???ˉ????)2(5)cosine?(??,??)=∑??∈????,??????,??×????,??√∑??∈????,????2??,??3√∑??∈?????????2??,??基于用户的协作过滤的一个经典例子是GroupLens系统[4],该系统通过推荐Usenet新闻文章开创了这种方法。在GroupLens中,使用皮尔逊相关性系数计算用户之间的相似性,并成功展示了具有相似历史偏好的用户如何通过共享评分提高推荐准确性。图6 (B)展示了使用皮尔逊相关性系数计算用户??与其他用户之间的相似性的示例。一旦计算出用户之间的相似性,基于用户的协作过滤的下一步就是估计目标用户??对未见项目??的预测评分。为此目的最常用的预测器之一是Resnick聚合加权求和(RAWS)模型[4],如公式(6)所示。该模型由Resnick及其同事在1994年提出,用于根据相似用户的意见估计用户对项目的喜爱程度。预测评分取决于四个关键组成部分:*活跃用户的平均评分(ˉ???????)。*每个邻居的历史评分数据(ˉ????和??????)。*用于识别活跃用户邻居的相似性度量(?????????(?????,??))。*选定的邻居数量(???????)。(6)???????,??=ˉ???????+∑?????????=1[?????????(?????,??)?(???????ˉ????)]∑?????????=1?????????(?????,??)预测评分???????,??的准确性取决于这些组件的质量。要使用RAWS模型获得准确的预测,必须同时满足几个条件[23]。首先,需要来自活跃用户的足够数量的历史评分来计算可靠的平均评分。然而,如果这个数据集太小,平均值可能无法准确反映用户的真实偏好。这通常会导致冷启动问题,即系统缺乏为新用户生成有意义推荐的数据。其次,需要足够的邻居评分历史,因为可靠的平均值(ˉ????)和特定项目的评分(??????)确保了邻居对预测的贡献既有意义又准确。第三,用于识别邻居的相似性度量起着关键作用;它必须有效地捕捉真正的行为相似性,通过识别对相似项目表现出一致满意度或不满的用户。最后,选定的邻居数量(???????)也影响预测准确性。RAWS对这一参数非常敏感[4];虽然增加???????通常可以提高预测质量,但超过某个点后,好处会减弱,计算成本也会上升。图6 (C)展示了使用RAWS并对用户??进行预测评分计算的示例,其中??????? =2。除了启发式邻居构建和聚合方案外,还有一些研究将用户相似性估计[25]、[26]和评分预测[23]重新表述为明确的优化问题。这些方法不是仅仅依赖成对相似性度量后进行加权平均,而是通过最小化观察到的评分矩阵上的预定义损失函数来学习相似性结构或潜在表示。–基于项目的协作过滤。基于项目的协作过滤作为对基于用户方法的可扩展性和稀疏性限制的响应而出现。与基于用户的方法不同,基于项目的方法专注于根据用户的历史交互找到项目之间的相似性[24]。其核心思想是,如果用户喜欢一个项目,他们可能会喜欢其他也受到类似评分的项目。这种项目-项目相似性结构通常比用户-用户关系更稳定,使得基于项目的协作过滤在计算上更高效,更适合于电子商务平台等大规模应用[11]。该方法通常包括三个步骤:(1) 计算项目-项目相似性,(2) 生成预测,(3) 推荐前N个项目。每对项目都根据它们从用户那里获得的评分进行比较。常见的相似性度量包括余弦相似性、皮尔逊相关性和调整后的余弦相似性。一旦计算出项目-项目相似性,就可以使用公式(7)计算用户??对项目??的预测评分。在计算出预测之后,系统会推荐用户尚未交互过的评分最高的前N个项目。(7)?????,??=∑??∈??2(??,??)sim?(??,??)?????,??∑??∈??2(??,??)|sim?(??,??)|其中??2(??,??)代表用户??评分最高的前k个项目与项目??的相似度。这种方法利用了用户现有的偏好,同时利用了稳定的项目关系。基于项目的协作过滤的最早实现之一是由Amazon开发的,正如Linden等人所描述的[11]。他们的系统利用预先计算的项目-项目相似性来高效地生成实时、可扩展且可解释的产品推荐,例如“购买此项目的客户还购买了...”这一常见短语(图7)。通过离线计算和存储相似性矩阵,Amazon的方法大大降低了在线推荐期间的计算负担,使得个性化建议可以在几毫秒内生成。下载:下载高分辨率图片(465KB)下载:下载完整尺寸图片图7. 亚马逊基于项目的推荐示例。•基于模型的协作过滤。基于模型的协作过滤代表了从传统基于记忆的方法的进化,解决了可扩展性、稀疏性和预测准确性方面的挑战。与直接依赖于用户-项目相似性的基于记忆的协作过滤不同,基于模型的方法构建了预测模型,这些模型学习用户-项目交互矩阵中的潜在模式。这些模型通过捕捉用户和项目之间的隐藏关系来估计缺失的评分,通常使用机器学习、统计或优化技术[27]。矩阵分解(MF)技术是最广泛使用的基于模型的方法之一[28]。它们将用户-项目评分矩阵(??)分解为两个低维的潜在特征矩阵:一个用于用户(??),另一个用于项目(??)。预测评分?????,??是通过相应的用户和项目潜在向量的点积来计算的:(8)?????,??=???????????其中???? ∈???和???? ∈???分别是用户??和项目??的??维潜在特征向量。MF捕捉了影响偏好的隐藏因素(例如,类型亲和力、风格偏好),有效解决了数据稀疏性问题。其有效性在Netflix Prize竞赛中得到了体现,在那里基于MF的方法显著优于传统的基于记忆的协作过滤[29]。概率和贝叶斯方法将用户偏好和项目属性建模为随机变量,允许系统处理评分中的不确定性和噪声。这些方法使协作过滤方法能够在稀疏数据下更好地泛化,并为结合先验知识提供了原则性框架。例如:–概率潜在语义分析将每个用户的评分行为建模为表示项目类别的潜在主题的混合[30]。–贝叶斯个性化排名使用隐式反馈(点击、购买)而不是显式评分来优化基于排名的目标[31]。–贝叶斯网络捕捉用户和项目之间的概率依赖性,以提高预测的鲁棒性[32]。下载:下载高分辨率图片(165KB)下载:下载完整尺寸图片图6. 用户-项目交互的示例。(A) 用户-项目交互矩阵。(B) 用户-用户相似性向量。(C) 用户-项目预测评分。基于聚类的协作过滤将具有相似评分模式的用户或项目分组。通过降低问题的有效维度,聚类提高了计算效率并减轻了稀疏性问题。例如,可以将具有相似品味的用户分组,并使用聚合的群组偏好而不是单独的评分进行预测[33]。4. 混合和上下文感知方法虽然早期的推荐系统,如基于内容和基于内容的过滤,为个性化奠定了基础,但它们暴露了一些关键限制,最显著的是冷启动问题、数据稀疏性和无法捕捉用户偏好的演变。为了克服这些挑战,研究社区开发了结合多种策略(例如,协作和基于内容的)的混合推荐方法,以利用它们的互补优势。在此基础上,出现了上下文感知方法,结合了位置、设备或活动等情境信息来更有效地定制推荐。此外,还引入了时间方法来捕捉用户偏好随时间的变化,并考虑不断变化的兴趣和顺序行为模式。4.1.**混合推荐方法**
混合推荐系统(Hybrid Recommendation Systems)是作为对早期推荐系统(RS)范式局限性的自然进化而出现的。虽然协同过滤(Collaborative Filtering)能够捕捉用户与物品之间的互动模式,但它在处理稀疏数据和新用户(冷启动用户)时存在困难。相比之下,基于内容的过滤(Content-Based Filtering)严重依赖丰富的物品元数据,这往往导致过度专业化[7]。早期研究人员意识到,结合这些方法可以利用它们的互补优势,在电子商务、媒体流媒体和数字图书馆等不同领域提供更准确和强大的推荐[34]。混合推荐在21世纪初变得突出,这与在线市场和数字内容平台的快速增长相吻合。例如,亚马逊最初应用了基于物品的协同过滤,并结合了从内容中提取的特征来改进交叉销售推荐,这凸显了混合系统在大规模商业应用中的实际价值[11]。该系统有效地结合了基于物品的协同过滤的可扩展性和基于内容的特征的可解释性,为数百万用户提供了实时的个性化推荐。
一种广泛接受的分类方法是根据组成推荐系统的组合方式来划分混合推荐方法[7]:
- **加权混合推荐**:不同推荐系统的预测结果通过加权求和(公式9)进行结合[35][36]。例如,在电影推荐中,可以结合协同过滤和基于内容的过滤:协同过滤根据用户相似性预测评分,而基于内容的过滤则根据电影属性预测评分。
$$\hat{r}_{ui} = \sum_{m=1}^{M} w_m \cdot \hat{r}_{(m),u}$$
其中 $\hat{r}_{(m),u}$ 是第 $m$ 个推荐系统对用户 $u$ 对物品 $i$ 的预测评分,$w_m$ 是其权重,且 $\sum_{m=1}^{M} w_m = 1$。加权混合推荐方法促进了各种推荐系统的无缝集成,在个性化和覆盖率之间取得了平衡。
- **切换混合推荐**:根据条件(如数据可用性或用户活动)动态选择使用哪种推荐系统[37]。例如,当新用户没有评分(冷启动用户)时,系统依赖基于内容的预测;否则,使用协同过滤。
- **级联混合推荐**:使用一个推荐系统生成候选项目列表,然后由第二个方法对其进行优化[38][39]。例如,基于内容的过滤可能生成与用户偏好相似的项目,而协同过滤则根据用户所在群体中的用户偏好对这些项目进行排序。
- **特征组合/增强**:一个推荐系统的输出作为另一个推荐系统的输入特征[40]。例如,通过自然语言建模(MF)学习到的用户潜在因素可以与物品内容向量结合在一个混合预测模型中。
- **元级混合推荐**:一个系统(如基于内容的用户画像)学习的模型成为另一个系统(如协同过滤)的输入表示[34]。第一个元级混合推荐系统是 Web 过滤系统 Fab[41][42]。
- **混合混合推荐**:多个推荐系统并行运行,它们的结果直接呈现给用户,无需通过二次方法进行聚合或排序[43]。每个组件独立提供推荐,为用户提供多种视角。例如,一个电影推荐系统可能会并排显示来自协同过滤和基于内容的过滤的建议,让用户能够探索熟悉和新颖的内容[34]。混合混合推荐在电子商务和媒体平台中特别有用,因为多种推荐策略可以增强用户参与度和满意度。
早期的实现探索了线性组合和投票方案[7]。最近的研究采用基于图的混合方法和神经网络融合来捕捉复杂的用户-物品关系,提供更加灵活和高精度的推荐[3]。与单一方法的推荐系统相比,混合推荐系统在准确性和覆盖率方面始终表现出改进,这通过 RMSE、精确度和召回率等指标得以衡量[34]。它们通过在协同信号较弱时利用内容元数据来处理冷启动场景,反之亦然。然而,集成多种方法会增加系统的复杂性和计算成本,需要仔细设计以避免引入偏见或降低可解释性[34]。
**4.2. 上下文感知和时间感知的推荐方法**
随着推荐系统从早期的基于内容和协同过滤模型发展到更复杂的形式,研究人员意识到用户偏好是动态变化的,它们会随着用户的情况和时间的推移而变化。这一认识促使了上下文感知推荐系统(Context-Aware RS)的出现,这些系统明确将上下文信息纳入推荐过程,以生成更相关和个性化的建议[44]。在许多实际应用中,一个物品的相关性不仅取决于用户和物品的属性,还取决于交互的上下文。上下文指的是在交互时描述实体(如用户、物品或环境)的任何信息。主要的上下文类型包括:
- **时间上下文**(例如,一天中的时间、一周中的某一天、季节)。用户的偏好通常会根据选择的时间而变化[45][46]。例如,早晨通勤时的音乐偏好与晚上的不同。在电子商务中,购物行为在工作日和周末以及节假日等季节性事件期间也会有所不同,这些都可以用于时间感知的推荐。时间上下文可以通过带有时间戳的交互数据、衰减函数或基于序列的神经网络在模型中明确纳入[47]。
- **位置上下文**:用户的物理位置可以显著影响推荐的相关性。位置感知推荐系统利用 GPS 或基于网络的位置数据来推荐附近的兴趣点、餐厅或活动[48][49]。高级模型将位置信息与社交和时间因素结合,以优化移动用户的个性化体验[50]。
- **社交上下文**:社交信号包括用户的社交网络或群体成员身份对偏好的影响。利用社交上下文的推荐系统会推荐在朋友、同行或基于兴趣的社区中受欢迎的项目[51][52]。例如,Facebook 的推荐引擎经常整合朋友的评分或活动模式来建议内容,这增强了用户的信任和参与度[53]。社交上下文可以通过基于图的模型、信任网络或社交嵌入来编码,实现结合个体和社区层面信号的混合策略[54]。
- **用户活动上下文**:用户活动上下文考虑用户的当前活动、任务或行为状态[54][55]。例如,可穿戴设备或健身应用可以根据用户正在进行的活动推荐适合的运动音乐列表,或者在用户休息时推荐较短的视频片段。整合活动上下文通常涉及多模态数据,如传感器读数、设备使用模式或应用日志,这些数据可以整合到序列或上下文感知模型中以提高相关性[56]。
- **其他上下文维度**:除了这些核心类型外,现代的上下文感知系统还经常结合天气条件、情绪、生理状态和环境设置作为上下文变量[56][57][58]。例如,基于位置的天气上下文可以影响服装或事件的推荐,而来自可穿戴设备的生理信号可以指导健康相关内容的推荐。这些丰富的上下文信号使系统能够动态适应用户的情况,从而提供更精确和吸引人的推荐。
在传统系统中,模型中仅出现用户和物品的身份。相比之下,上下文感知方法通过增加或替换标准的用户-物品交互模型来扩展这些信息[44]。例如,在预测音乐或电影选择时,可以将一天中的时间编码为一个离散的上下文变量。结合这些信号可以显著提高预测的准确性和多样性,相比不考虑上下文的模型而言。上下文信息可以通过三种主要策略融入推荐过程(图 8):
- **上下文预过滤**:在这种方法中,使用上下文信息在应用传统的二维推荐系统(使用用户-物品交互矩阵)之前对输入数据集进行过滤[59]。其思想是将多维(用户±物品±上下文)数据缩减为符合当前上下文(如时间、位置或活动)的特定子集,然后从这个子集中生成推荐。例如,在一个上下文感知的电影推荐系统中,只有在使用相似条件(如周末观看)时产生的评分被用来训练或更新基础模型,确保生成的推荐与该上下文相关[44]。预过滤使系统能够在不修改核心结构的情况下利用现有模型,同时适应上下文的变化。
- **上下文后过滤**:首先生成一个不考虑上下文的标准推荐列表,然后应用上下文信息来调整或重新排序候选列表,要么过滤掉在给定上下文中不相关的物品,要么提升更符合上下文的物品[60]。例如,如果用户通常在周末看喜剧,当检测到相应的上下文(如周末)时,可以过滤出专门的喜剧推荐列表。这种策略保留了基础推荐系统的优势,同时通过上下文调整增强了相关性。
- **上下文建模**:在上下文建模中,上下文被明确集成到推荐模型本身中,通常是通过扩展效用(评分)函数来包含上下文维度。这可以采取矩阵或张量分解模型的形式,将上下文作为额外的潜在维度,或者采用同时学习用户、物品和上下文嵌入的上下文感知神经网络架构[61]。通过直接将上下文特征嵌入模型,上下文建模方法可以捕捉用户偏好、物品特征和上下文因素之间的复杂交互,通常在准确性和个性化方面优于预过滤和后过滤技术。
**5. 深度学习在推荐系统中的革命**
深度学习的出现从根本上改变了推荐系统,使模型能够捕捉用户和物品之间的复杂非线性交互,并从异构数据中学习丰富的表示。传统的推荐方法,如协同过滤和浅层自然语言建模(Shallow MF),在建模用户偏好方面是有效的,但在处理稀疏交互、新用户或物品以及高维非结构化数据方面存在困难。深度学习通过利用神经架构自动提取潜在特征和建模复杂模式克服了这些限制。这场革命不仅提高了预测精度,还为内容增强型、序列型和混合型推荐奠定了基础,构成了现代工业规模推荐系统的支柱。
**5.1. 从浅层模型到神经交互学习**
第一波深度学习在推荐系统中的应用出现在2014-2017年左右,这是由于经典协同过滤和MF的局限性所推动的。传统的MF将用户和物品表示为潜在向量,并通过线性点积来预测交互[28]。虽然对于评分数据中的广泛模式有效,但线性模型无法捕捉现实世界用户偏好中的复杂非线性关系。为了填补这一空白,引入了神经架构。基于自动编码器的方法是最早期的方法之一。Ouyang等人[62]提出使用神经网络重构部分观察到的用户-物品评分矩阵以捕捉隐藏模式。AutoRec[63]通过使用更深的自动编码器扩展了这一概念,在MovieLens和Netflix等基准数据集上取得了优于传统MF的性能。神经协同过滤(Neural Collaborative Filtering, NCF)进一步推动了这一趋势。He等人[64]将广义矩阵分解(Generalized Matrix Factorization, GMF)与多层感知器(MLP)结合起来,同时捕捉线性和非线性用户-物品交互。这种混合结构使模型能够学习更丰富的表示,并更有效地处理稀疏数据。这些早期的神经方法确立了关键原则:建模非线性交互的能力、处理稀疏评分的能力以及将学习到的表示与历史交互相结合的能力。它们为后续的深度学习方法(包括基于内容的、序列型和注意力驱动的方法)奠定了基础。
**5.2. 用于内容和混合方法的深度表示学习**
在NCF和自动编码器成功之后,研究人员利用深度架构从异构内容中学习更丰富的表示。与仅依赖于交互的协同过滤不同,这些模型整合了非结构化数据、文本、图像和元数据,从而实现更加个性化的推荐。例如,VBPR[65]使用卷积神经网络(CNN)从产品图像中提取视觉特征,通过结合基于图像的潜在表示来处理时尚推荐中的冷启动物品。类似地,DeepCoNN[66]将并行CNN应用于评论文本,生成捕捉细微文本信息的用户和物品嵌入。混合模型也出现了,将协同信号与内容特征结合起来。DeepFM[67]结合了因子分解机(建模低阶线性交互)和深度神经网络(捕捉高阶非线性模式),在点击率预测和个性化推荐方面表现出色。这些创新表明,深度架构能够有效结合多种数据源,提高了现实世界推荐系统的灵活性和鲁棒性。
**5.3. 序列型和会话型建模**
认识到用户偏好是动态变化的,研究人员开发了序列型和会话型推荐系统,这些系统明确建模了交互的顺序。例如,在电子商务中,用户浏览笔记本电脑后可能会探索配件如包或外设鼠标(图 9)。会话型推荐关注短期的交互序列,而序列模型则捕捉多个会话之间的依赖性。
**图 9. 会话型推荐的一个例子**
因子化个性化马尔可夫链(Factorized Personalized Markov Chains [68]是一个关键里程碑,它将长期偏好的人类因素分析(MF)与短期物品转换的一阶马尔可夫链结合起来。同样,TimeSVD++[69]考虑了时间偏差,模拟用户兴趣和物品流行度随时间的变化。随着深度学习的革命,循环神经网络(RNNs)被应用于序列推荐系统中。GRU4Rec [70] 利用门控循环单元(Gated Recurrent Units)来模拟会话级别的动态变化。相比之下,分层RNNs [71] 结合了会话级和用户级的RNNs,以捕捉跨会话的短期和长期偏好。卷积架构提供了一种替代方案。Caser [72] 将最近的用户交互视为“图像”,应用水平和垂直卷积来捕捉联合级别和点级别的序列模式。NextItNet [73] 使用扩张卷积来高效地建模非常长的序列,在某些工业级应用中有时甚至超过了RNNs的表现。
5.4. 注意力机制和基于Transformer的方法
虽然RNNs和CNNs能够捕捉局部序列模式,但它们在处理长距离依赖性、并行化和异构信号方面面临挑战。注意力机制通过选择性加权最有信息量的交互来应对这些挑战。SASRec [74] 为序列推荐引入了自注意力(self-attention),关注相关的过去项目以预测下一个交互。BERT4Rec [75] 使用双向自注意力(bidirectional self-attention)和掩码项目预测(masked item prediction),学习考虑到过去和未来交互的上下文化嵌入。
除了序列模式外,注意力机制还与辅助信息相结合。知识感知注意力模型 [76], [77], [78] 整合了项目特征、类别和用户元数据,而多行为注意力(multi-behavior attention)捕捉了多种交互类型(点击、购买、点赞)。STAMP [79] 通过关注最后一个项目和会话表示来聚焦于短期的会话级意图。FDSA [80] 将这一方法扩展到特征级注意力,模拟项目及其属性之间的转换,以揭示更丰富的行为模式。
这些基于注意力和Transformer的模型现在构成了现代序列推荐(RSs)的基础,结合了准确性、可解释性和可扩展性,使得从电子商务到流媒体服务等各种工业应用成为可能 [81], [82]。
6. 基础模型和智能推荐系统
序列推荐系统(RSs)的演变已经从基于记忆的方法发展到深度神经架构、序列建模和基于注意力的Transformer。这些进步显著提高了表示学习和预测准确性。大多数现有的RSs仍然本质上是预测性的;它们根据历史数据估计用户与项目交互的可能性。即使在建模序列或长期偏好时,目标通常也是即时预测准确性,而不是长期的战略优化。
最近出现了两种新的范式,重新定义了RSs的范围和能力:基础模型(foundation models)和智能推荐(agentic recommendation)(图10)。基础模型提供了通用的语义表示,可以适应排名、检索、解释和对话交互。通过使系统在更广泛的层面上理解用户意图、项目语义和上下文信号,基础模型扩展了RSs的表示和认知能力。基于这种增强的表示能力,智能RSs将推荐视为一个连续的决策过程,而不仅仅是一个静态的预测任务。系统不选择预测相关性分数最高的项目,而是作为一个自主代理,考虑当前推荐如何影响未来的用户状态、参与度和系统目标。在这种观点下,每个推荐都可能改变用户行为的轨迹。表2总结了RSs的概念演变,强调了目标是如何从即时偏好估计转变为长期序列决策优化的。这一进展反映了从短视的预测模型向能够进行策略性交互和知识传递的自主系统的转变。
下载:下载高分辨率图片(295KB)
下载:下载全尺寸图片
图10. 基础模型和智能推荐系统的方法。
表2. RS范式的比较。
**范式** | **核心关注点** | **系统性质** | **在推荐中的意义**
|---------------------------------|-------------------|------------------|------------------|
| **经典RSs** | **偏好估计** | **反应式** | 基于历史交互估计即时相关性分数,而不建模长期效应。
| **深度学习RSs** | **表示学习** | **预测性** | 学习非线性用户-项目交互函数和潜在表示,以提高一步预测准确性。
| **基于基础模型的RSs** | **通用语义建模** | **可转移性** | 利用大规模预训练模型提供跨领域知识、多模态理解和可适应的推荐能力。
| **智能RSs** | **序列决策优化** | **自主性** | 学习策略来选择行动(推荐),通过与用户的持续交互最大化长期累积奖励。
6.1. 基于基础模型的方法
基础模型在RSs中的整合标志着一个重大转变,从特定任务的模型转向可以跨领域、模态和任务进行泛化的广泛预训练模型。这一范式使RSs能够利用以前无法实现的语义理解、多模态信息和推理能力。为了系统地回顾这一演变,可以根据基础模型在推荐流程中的功能角色将其分为以下几类:(1) 表示增强、(2) 生成式推荐、(3) 对话式推理和(4) 跨领域迁移。
早期基础模型的应用侧重于从非结构化数据中提取丰富的语义特征来改进用户和项目嵌入。例如,大型语言模型可以对产品进行文本描述,而多模态模型可以将图像、视频或音频特征纳入潜在表示 [83], [84]。这些改进的嵌入提高了个性化水平,更好地处理冷启动项目,并支持跨领域推荐。典型的流程包括使用预训练模型生成项目或用户查询的嵌入,然后将其与传统的协作信号或浅层嵌入结合进行最终预测 [85], [86], [87], [88]。
生成式推荐模型不仅预测候选项目的相关性分数,还直接生成推荐、序列甚至基于用户历史和内容的文本解释。预训练和多模态基础模型的引入使这些系统能够处理异构数据(文本、图像、音频、视频),并以灵活、考虑上下文的方式生成推荐。早期的生成式方法包括BERT4Rec [75],它采用双向Transformer来模拟序列交互。通过考虑会话中的过去和未来项目,BERT4Rec能够生成在上下文中连贯的下一项目推荐。类似地,GRU4Rec [70] 使用循环架构来捕捉基于会话的依赖性并生成推荐序列。随着大型预训练模型的兴起,研究人员扩展了这一范式:
• 基于GPT的RSs [89], [90], [91] 将用户交互历史作为提示,生成排名项目甚至文本建议。该模型利用预训练语言模型的语义理解来推荐未见或小众项目。
• 多模态生成模型,如GeneRec [92] 和GC4MRec [93],结合文本描述、图像或其他模态来生成基于多种输入类型的推荐。这些模型不仅通过学习用户-项目交互来生成推荐,还通过理解详细的项目内容特征来生成推荐。
• 基于提示的推荐框架,如P5 [94], RPP [95] 和KnowPath [96],将多种推荐任务统一为文本到文本的生成问题,允许预训练Transformer在单个框架中生成下一项目推荐、项目解释或前k项推荐。
这些生成式模型有几个关键优势。首先,它们提供灵活性,因为它们可以生成序列、文本解释或结构化输出,而不仅仅是简单的项目排名列表。其次,它们支持跨领域泛化,因为预训练嵌入使系统即使在交互数据稀少的领域也能推荐项目。第三,它们通过融合文本、视觉和音频表示来实现多模态集成,使推荐系统能够处理异构项目目录并提供考虑上下文的丰富推荐。
另一个重要方向是利用基础模型的推理和语言理解能力来实现交互式、对话式推荐 [97], [98], [99]。在这种范式中,用户可以用自然语言指定偏好、提出查询或在会话中提供反馈,系统解释这些输入以生成适应性推荐。这种方法支持多轮对话、个性化指导和动态偏好 elicitation。经过指令调优或对话增强的语言模型作为支柱,将自然语言命令转换为推荐行动。这些系统架起了预测性推荐和交互式AI助手之间的桥梁,提供了更自然和个性化的用户体验。
基础模型还促进了跨领域的知识传递。通过在大规模、异构数据集上进行预训练,这些模型捕获了可以最小化额外训练就能适应新推荐任务的通用模式 [100], [101]。这种迁移实现了零样本或少样本推荐,从而显著减少了对目标领域密集交互数据的依赖。跨领域基础模型可以共享用户或项目嵌入,利用多模态知识,或微调特定任务的头部以支持历史数据稀缺领域的推荐。
6.2. 智能推荐系统
智能RSs通过将推荐视为一个连续的决策过程,而不是静态的预测任务,扩展了传统的推荐范式。在传统系统中,目标是估计相关性分数并对项目进行排名。相比之下,智能系统考虑每个推荐如何影响未来的用户行为、参与度和系统目标。每个推荐被视为环境中的一个行动,系统学习最大化长期结果的策略,而不仅仅是即时的点击率或评分准确性。这种视角自然与强化学习一致,其中用户-系统交互被建模为马尔可夫决策过程。早期的工作探索了奖励驱动的推荐策略,系统根据反馈(例如点击、购买、停留时间)调整其推荐以优化累积奖励。例如,Reinforcement Learning for RS框架 [102], [103] 使用Q学习或策略梯度随时间学习最优的项目选择策略。
最近的进步将基础模型整合到智能范式中,使系统能够在做出序列决策时推理多模态用户和项目嵌入 [104]。例如,预训练语言模型可以编码文本评论、查询和提示以指导决策,而多模态表示为策略学习提供了更丰富的状态信息。这种组合使智能系统不仅能预测用户偏好,还能预测和塑造复杂环境中的用户轨迹。智能RSs可以根据其决策焦点进行分类:
• 奖励驱动的策略,使用强化学习优化参与度或长期留存 [102], [103]。
• 探索-利用框架,平衡流行项目的推荐和新兴趣的发现 [105], [106]。
• 基于模型的规划,使用预训练或生成模型模拟潜在的用户反应以指导推荐 [107], [108]。
7. 新兴趋势和范式转变
RSs的最新进展反映了从静态的、基于相关性的预测模型向自适应的、可信赖的、与人类需求一致的人工智能系统的根本转变。这一演变是由于对鲁棒性、更强隐私保障、更高透明度和超越短期参与的优化的需求不断增加。总体而言,新兴的研究方向表明了推荐建模、优化和管理的范式转变。
传统的RSs主要依赖于从历史交互数据中进行的相关性学习。然而,相关性并不意味着因果关系:曝光偏见、未观察到的混杂因素和反馈循环可能会扭曲学习到的偏好并强化流行偏见。为了应对这些限制,因果RSs [109], [110], [111], [112] 明确地建模了干预效应和反事实推理。它们的目标包括:
• 区分内在用户偏好和曝光机制。
• 估计反事实结果(“如果我们推荐这个项目会怎样?”)。
• 减轻结构偏差,如位置和流行效应的影响。
这种转变标志着从被动模式识别向干预意识、决策意识的建模的转变,与长期智能优化目标紧密对齐。同时,对数据隐私和合规性的日益关注加速了联邦RSs的研究。联邦RSs不在中央服务器上集中用户数据,而是在用户设备上本地训练模型并汇总模型更新,而不传输原始交互数据 [113], [114], [115], [116]。这种分布式学习范式支持隐私保护、去中心化个性化以及符合数据治理法规。更广泛地说,它代表了从集中式数据垄断向分布式智能架构的转变,其中个性化源于协作且注重隐私的模型训练。
随着RSs变得越来越复杂,特别是随着深度模型和基础模型的集成,模型的不透明度已成为一个关键问题。在越来越自主和智能的设置中,可解释性不再是可选的,而是用户信任和责任的重要组成部分。最近的工作研究了生成自然语言解释 [117], [118],识别特征重要性推理的机制 [119],以及将推荐与用户可理解的逻辑结构对齐 [120]。这些发展将领域推向以人类为中心的人工智能,其中可解释性、透明度和信任被视为主要系统目标,而不仅仅是辅助特征。
强化学习进一步通过将其重新定义为序列决策过程,重塑了推荐范式。强化学习型RSs不是最大化即时点击率,而是优化长期累积奖励,认识到每个推荐都会影响未来的用户状态、偏好和平台结果。离线强化学习的进步使得可以从日志数据中稳定地学习策略,而无需冒险的在线探索 [121], [122],而基于模型的用户模拟方法则近似环境动态以支持规划而非贪婪反应 [123]。多目标奖励优化将强化学习扩展到超出单一指标的参与,综合考虑用户满意度、多样性、公平性和业务目标 [124], [125]。此外,将强化学习与大型预训练和多模态基础模型相结合,增强了状态表示、奖励估计和泛化能力 [123], [126]。这些发展表明了向序列化、交互式智能的转变,在这种智能中,系统优化行为轨迹和长期生态系统健康,而不仅仅是做出孤立预测。
最后,基于区块链的RSs引入了一种分布式范式,以解决集中式平台固有的信任、透明度和数据所有权问题 [127], [128], [129]。通过利用分布式账本,用户互动和反馈可以以防篡改、可验证的格式被记录下来,从而降低被操纵的风险,例如虚假评论或刷赞攻击。智能合约进一步实现了自动化的激励机制,奖励可靠的贡献,同时确保推荐过程的可审计性。这种方法反映了向以用户为中心、注重信任的推荐生态系统的转变,在这种系统中,数据控制是去中心化的,算法结果是透明的。尽管如此,可扩展性和与大规模学习模型的集成仍然是一些未解决的挑战,这通常促使人们开发基于链上/链下的混合架构。
8. 基准数据集的演变
基准数据集的可用性和特性极大地影响了推荐系统(RSs)的发展。本节重点介绍了在RS研究中最广泛使用和引用最多的数据集,这些数据集塑造了该领域不同阶段的方法学进展。这些数据集体现了从简单的评分预测任务向大规模、多模态和情境感知推荐场景的转变。表3和表4总结了这些数据集及其关键特性,包括规模、反馈类型和应用领域,提供了它们在不同推荐范式中演变和使用的结构化概述。
表3. 推荐系统数据集比较:规模和稀疏度
年份 数据集 用户数 项目数 反馈类型 最小FB/用户评分 规模 稀疏度(%)
1998 MovieLens 100K 943 168 2 100,000 20 [1,5.0] 93.70
2003 MovieLens 1M 604 039 00 1,000,209 20 [1,5.0] 95.75
Jester 73,421 1100 1,000,000 15 [-10.00,+10.00] 86.38
2009 MovieLens 10M 71,567 10,681 10,000,054 20 [0.5,5.0] 98.69
Netflix Prize 480,189 17,770 100,000,000 NA [1,5.0] 98.83
2011 Delicious Bookmarks 186 769,226 437,593 1 [0,1] 99.66
Last.FM 189 212,523 186,479 1 [0,1] 99.21
MovieLens + IMDb/Rotten Tomatoes 211 310,197 855,598 20 [0.5,5.0] 96.03
Film Trust 150 820 713 5,497 1 [0.5,4.0] 98.86
2014 Amazon Review Data 2014 6,643,669 2,441,053 34,686,770 NA [1,5.0] 100.00
2016 MovieLens 20M 138,493 27,278 20,000,263 20 [0.5,5.0] 99.47
KGRec-Music 51 998 640 751,351 – [0,1] 98.33
KGRec-Sound 20,000 21,552 22,117,698 – [0,1] 99.51
2017 HotelExpedia 108 948 722 14,344 20 [1,5.0] 95.96
2018 MovieLens Latest Small 61 097 421 00,836 20 [0.5,5.0] 98.30
Serendipity 2018 104,661 49,151 10,000,000 1 [0.5,5.0] 99.81
Personality 2018 182 035,196 1,028,751 12 [0.5,5.0] 98.39
2019 MovieLens 25M 162,541 62,423 25,000,095 20 [0.5,5.0] 99.75
MovieLens 1B Synthetic 2,197,225 855,776 1,223,962,043 NA [1,5.0] 99.93
Learning from Sets of Items 2019 854 13,012 458,970 23 [0.5,5.0] 95.87
MIND 1,000,000 160,000 15,000,000 5 [0,1] 99.99
2022 KuaiRec 717 610,728 12,530,806 100 [0,1] 83.72
2023 MovieLens Latest 330,975 86,537 33,832,162 1 [0.5,5.0] 99.88
Rating Disposition 2023 672 468,044 3,908,657 20 [0.5,5.0] 99.15
2024 MovieLens 32M 200,948 87,585 32,000,000 20 [0.5,5.0] 99.82
MovieLens Beliefs 441 890,638 2,046,124 1 [0.5,5.0] 99.49
2025 MovieLens Beliefs - Updated 441 810 5,071 2,046,124 1 [0.5,5.0] 99.56
表4. 推荐系统数据集比较:类型和内容
年份 数据集 反馈类型 应用 其他数据
1998 MovieLens 100K 显式 用户性别、年龄、职业、类型、时间
2003 MovieLens 1M 显式 用户性别、年龄、职业、邮政编码、时间
Jester 显式 笑话
2009 MovieLens 10M 显式 电影类型、95,580 标签、时间
Netflix Prize 显式 电影标题、发行年份
2011 Delicious Bookmarks 隐式 社交书签 双向用户关系、书签、标签、时间
Last.FM 隐式 音乐 双向用户关系、标题、图片、类型、导演、演员、国家、Rotten Tomatoes评分、11,946 标签、时间
MovieLens + IMDb/Rotten Tomatoes 显式 电影类型、导演、演员、国家、13,222 标签、时间
Film Trust 显式
2014 Amazon Review Data 2014 显式 电子商务 类型、标题、价格、评论、评论有用性、时间
2016 MovieLens 20M 显式 电影类型、465,564 标签、时间
KGRec-Music 隐式 音乐 文本描述、标签
KGRec-Sound 隐式 声音 文本描述、标签
2017 HotelExpedia 显式 酒店
2018 MovieLens Latest Small 显式 电影类型、3683 标签、时间
Serendipity 2018 显式 电影类型、标题、导演、演员、发布日期、45,198 标签、标签谱系、推荐、时间
Personality 2018 显式 电影 个性数据、时间
2019 MovieLens 25M 显式 电影类型、带有1500万相关性的标签谱系数据、时间
MovieLens 1B Synthetic 显式 电影
Learning from Sets of Items 2019 显式 电影 含有12,549部电影的数据集
MIND 隐式 新闻 类型、标题、摘要、时间
2022 KuaiRec 隐式 短视频 社交信息(友谊)、类型、时长、作者、视频类型、标签、时间
2023 MovieLens Latest 显式 电影 类型、2,328,315标签、标签谱系、时间
Rating Disposition 2023 显式 电影 时间
2024 MovieLens 32M 显式 电影 类型、2,000,072标签、时间
MovieLens Beliefs 441 890,638 2,046,124 1 [0.5,5.0]
2025 MovieLens Beliefs - Updated 441 810 5,071 2,046,124 1 [0.5,5.0]
最早的也是最流行的数据集包括MovieLens 100K(1998)和MovieLens 1M(2003)数据集[130],这些数据集引入了基本的用户-项目评分矩阵范式。这些数据集包含了显式的评分以及有限的用户和项目元数据,至今仍是评估协同过滤方法最常用的基准数据集之一。大约在同一时期,Jester数据集[131]是最早的大规模连续评分数据集之一,使得研究能够超越传统的离散评分尺度。随着领域的发展,更大、更广泛采用的数据集如MovieLens 10M和MovieLens 20M数据集[130]以及Netflix Prize数据集成为可扩展推荐模型的标准评估数据集。这些数据集在推进协同过滤技术方面发挥了核心作用,并揭示了包括稀疏性和可扩展性在内的关键挑战。
向隐式反馈和社会感知推荐的重大转变是由广泛使用的数据集推动的,例如Delicious Bookmarks数据集[132]和Last.FM数据集[132],这些数据集结合了用户互动、标记行为和社会关系。这些数据集促进了基于图和社交推荐方法的发展。在这个阶段最具影响力的大规模工业数据集是Amazon Reviews数据集[133],它涵盖了数百万用户和项目,涉及多个领域,是评估极端稀疏性和大规模推荐模型的最常用基准数据集之一。最近流行的用于序列和会话推荐的基准数据集包括MIND[134]和KuaiRec数据集[135],它们提供了点击流、行为和时间交互数据。这些数据集已成为基于序列和强化学习的现代推荐系统的标准基准。最近,对MovieLens数据集[130]的扩展,如MovieLens Latest、MovieLens 25M和MovieLens 32M,继续作为大规模推荐研究的主要基准。新的数据集,如MovieLens Beliefs数据集[136],进一步通过引入偏好引导和用户信念建模来扩展这一领域。
总体而言,这些数据集是RS研究中应用最广泛的标准数据集,它们的演变清晰地反映了该领域从协同过滤向深度学习、序列建模和新兴的基础模型驱动推荐范式的转变。
9. 下一代推荐系统
推荐系统领域正在经历从静态的、基于相关性的预测向适应性强的、智能的、以用户为中心的平台的转变。由于用户行为的复杂性不断增加、异构数据的可用性以及人们对隐私、信任和长期参与度的重视越来越高,现代研究致力于扩展推荐系统的功能,而不仅仅是提高即时准确性。新兴趋势反映了这一演变,包括因果推理以区分曝光效应和真正的用户偏好、使用联邦学习进行隐私保护的个性化、使用强化学习进行序列和长期优化,以及使用可解释的AI来增强透明度和用户信任。同时,基础模型和多模态表示使得推荐代理更具通用性和交互性,而基于区块链的系统则提供了去中心化、可验证和注重信任的数据管理机制。这些方向指向了一个不仅高效,而且适应性强、符合伦理且符合人类和社会目标的推荐系统范式的转变。
9.1. 神经符号和混合推理
传统的基于深度学习的推荐系统在模式识别方面表现出色,但缺乏明确的推理和约束意识。最近的研究探索了将神经网络与符号推理相结合的方法,以提高可解释性并执行特定领域的规则或伦理约束[137],[138]。未来的系统可以更紧密地将神经符号推理与多模态嵌入和基础模型结合,提供不仅准确而且逻辑一致和可解释的推荐。应用包括内容审核、公平意识推荐和符合监管要求的个性化。
9.2. 自监督和持续学习
自监督学习已被应用于推荐系统,以利用大量的未标记交互数据[139],[140]。持续学习方法旨在在不完全重新训练的情况下逐步适应用户偏好[141]。下一代推荐系统可以持续适应动态环境中的用户偏好,减少灾难性遗忘,并整合跨领域知识以保持相关性,即使在社交媒体或流媒体平台等不断变化的生态系统中也是如此。
9.3. 跨领域和迁移学习
跨领域推荐系统利用一个领域的知识来改进另一个领域的推荐,帮助解决数据稀疏性和冷启动问题[100],[101],[142]。这些模型通常使用共享的潜在空间或嵌入。未来的研究可以探索基于基础模型的迁移学习,其中大型预训练的多模态模型为项目和美国提供通用表示,从而实现跨领域的零样本或少样本推荐。
9.4. 沉浸式和情境感知推荐
传统的推荐系统通常依赖于静态的交互历史,如点击、评分或购买记录,这些历史无法捕捉用户的动态环境和行为。新兴的沉浸式和情境感知推荐方法旨在通过将实时情境信号(如位置、设备、时间、环境因素、手势甚至生理信号)整合到推荐过程中来克服这一限制。这些系统在虚拟现实、增强现实和混合现实应用中特别相关,因为用户的交互是多模态和顺序的,系统必须能够适应性地做出响应以保持用户参与度[143]。
该领域的潜在未来方向包括整合基础模型来处理多模态情境,从而在沉浸式环境中实现零样本或少样本个性化。将情境感知建模与代理框架结合起来可以使系统在尊重用户目标和偏好的同时主动引导用户行为。此外,强化学习和因果推理可以应用于根据不同情境条件下的预测结果来优化推荐,从而提高有效性和长期参与度。随着沉浸式技术和传感器的普及,情境感知推荐系统将成为创造适应性强、智能和个性化用户体验的核心。
9.5. 基于基础模型和大规模预训练的推荐系统
最近在推荐系统方面的进展越来越多地利用了基于基础模型的技术,这些模型是在大规模异构数据集上预训练的,以提高推荐质量、泛化能力和适应能力[144]。与传统的协同过滤或浅层神经方法不同,基于基础模型的推荐系统可以处理多模态数据(文本、图像、音频、视频),处理稀疏交互,并在零样本或少样本情况下生成推荐,使其非常适合现代工业规模的应用。基于基础模型的推荐系统的一个关键优势是它们能够在不同领域和任务之间进行泛化。除了准确性之外,基础模型还促进了代理式和交互式的推荐行为。通过将推荐视为一个顺序决策过程,预训练模型可以预测长期用户参与度,模拟替代用户轨迹,并动态调整推荐。这一方法的潜在方向包括:
- 利用预训练嵌入进行多模态和跨领域推荐。
- 通过应用知识蒸馏、剪枝或参数高效的微调来压缩和优化基础模型,以便在资源受限的环境中部署大型模型。
- 通过使基础模型推理能够考虑干预措施并减轻推荐中的偏见,实现因果和反事实推理。
- 通过将基础模型扩展到联邦或加密学习环境中来保持隐私保护的同时,从大规模预训练中受益。
9.6. 以用户为中心、值得信赖和符合伦理的推荐系统
随着推荐系统变得更加自主、多模态和代理化,人们越来越意识到仅凭准确性是不够的。现代推荐系统必须以用户为中心、值得信赖并且符合伦理,不仅要考虑用户偏好,还要考虑公平性、透明度和长期福祉。这一趋势代表了从纯粹的数据驱动预测向负责任、以用户为中心的推荐的转变。以用户为中心的设计强调个性化,尊重用户目标、情境和代理性。与仅优化点击或参与度不同,以用户为中心的推荐系统考虑长期满意度、多样性和推荐的偶然性[145]。信任和可解释性对于建立用户信心至关重要。随着推荐系统采用复杂的神经和代理架构,它们的决策过程往往变得不透明。可解释的推荐方法通过自然语言解释或特征重要性可视化来生成透明的理由[117],[118],[119]。知识感知的注意力机制可以帮助用户理解项目属性、情境因素或历史行为如何影响推荐[146]。公平性和偏见缓解也是关键。推荐系统可能会无意中强化训练数据中存在的社会、文化或流行偏见。现代方法结合因果推理和反事实分析来识别和减轻这些偏见,确保不同用户群体的推荐公平。保护隐私的个性化是另一个重要组成部分。联邦学习和加密计算允许模型在不需要访问原始数据的情况下学习用户偏好。
潜在的未来方向包括:
- 允许用户指导推荐过程、提供明确反馈并共同构建用户体验的交互式和代理式用户参与推荐系统。
- 结合强化学习、以用户为中心的目标和伦理约束的长期福祉优化,以确保推荐提高用户满意度和社会成果。
10. 结论
本文全面而系统与此同时,未来的研究应当探索如何在数据有限、分布式或对隐私敏感的情况下实现个性化,同时保持推荐的准确性。建立值得信赖的推荐系统是另一个重要方向,这需要将公平性、可解释性、透明度和用户控制更好地融入推荐过程中。此外,未来的系统应该超越仅仅优化即时的相关性和用户参与度,转向兼顾用户满意度、多样性、福祉、公平性和社会影响的长期目标。这些方向表明,下一代推荐系统将越来越多地作为自适应、交互式的智能系统运行,使该领域从单纯预测用户偏好转向理解用户需求、支持决策制定,并使推荐结果与更广泛的人类和社会目标保持一致。