基于联合动态注意力与图变换器的知识推荐

《Neurocomputing》：Knowledge recommendation with joint dynamic attention and graph transformer

　　摘要：知识图谱为推荐系统提供了结构化的辅助信息，被广泛用于解决数据稀疏、冷启动问题以及有偏的交互信号问题。然而，现有的基于知识理解的推荐方法仍存在若干局限，包括对知识图谱语义的利用不足、信息传播过度、邻居聚合存在噪声，以及因过度平滑或过度压缩导致的性能下降。为解决这些问题，本文提出了DAGT，这是一种基于联合动态注意力与图Transformer的知识感知推荐框架。DAGT首先为目标物品构建固定长度的采样知识图谱序列，从而无需全图传播即可捕获物品层面的语义信息；随后借助轻量级的图Transformer从采样的关系-实体对中学习经过知识图谱增强后的物品表示。同时，引入动态注意力机制来根据历史交互物品建模用户偏好。通过同时学习物品层面的知识图谱语义与用户层面的偏好信号，DAGT为推荐任务提供了更具表现力的用户-物品表示。在四个真实世界数据集上的大量实验表明，DAGT在点击率预测和Top-K推荐任务中的表现均优于现有的主流方法。

引言：随着在线服务的快速发展，用户通常会面临海量候选物品，这使得识别符合其兴趣的物品变得十分困难。推荐系统旨在通过估算用户偏好并对潜在相关物品进行排序，从而减轻这一信息负担。协同过滤是最常用的推荐范式之一，因为它能够从历史用户-物品交互中学习用户偏好。然而，基于协同过滤的方法仍存在数据稀疏、冷启动问题以及推荐偏差等局限。为缓解这些问题，人们开始将社交网络、多媒体内容等其他辅助信息引入推荐模型中。在这些信息源中，知识图谱为物品及其相关实体提供了结构化的语义关联，能够帮助丰富超出已观察交互记录的用户和物品表示。现有的基于知识理解的推荐方法可大致分为基于嵌入的方法、基于路径的方法以及基于GNN的方法。基于嵌入的方法通常将实体和关系编码为连续向量表示，再将其融入推荐模型中。尽管这类方法高效且灵活，但往往需要单独处理知识图谱三元组，难以保留实体与关系之间的复杂结构依赖。基于路径的方法则利用知识图谱中的语义路径连接用户、物品及相关实体，从而提升推荐结果的可解释性并捕捉关系顺序信息。不过，这些方法往往需要复杂的路径搜索或预定义的元路径，其性能也可能严重依赖于专家设计的路径模式。基于GNN的方法则应用图神经网络在用户-物品图和知识图谱上传递信息，有助于捕捉高阶连通性以用于推荐。然而，重复的消息传递可能会引入无关邻居，并导致典型的GNN问题，如过度平滑和过度压缩。因此，如何在控制噪声传播的同时有效利用知识图谱信息，仍是基于知识理解的推荐领域面临的重要挑战。Transformer模型在表示学习任务中表现出色，尤其是在自然语言处理和计算机视觉领域。受其自注意力机制的启发，近期研究开始将Transformer架构应用于图表示学习。与传统主要依赖局部消息传递的GNN不同，图Transformer能够更灵活地建模节点间的依赖关系，且不受直接相连邻居的限制。这一特性有助于缓解基于GNN的模型存在的过度平滑和过度压缩等问题。因此，图Transformer方法为建模复杂的图结构数据提供了有力方向。要将图Transformer集成到基于知识图谱的推荐系统中，需要考虑三个问题：第一，如何高效地将基于Transformer的建模方法应用于大型图结构？由于自注意力的计算成本会随序列长度增加而上升，直接对物品的所有知识图谱邻居进行建模并不现实，因此需要采用固定长度采样策略来为目标物品构建简洁且信息丰富的知识图谱序列；第二，如何在减少噪声传播的同时提取有用的知识图谱信息？多跳聚合可能会引入无关实体，尤其是当邻居中包含关联度较低或存在噪声的三元组时，因此需要设计一种物品层面表示模块，能够在不依赖不受控制的全图传播的情况下捕获语义相关的邻居；第三，如何从历史交互中表征用户偏好？用户历史记录包含了个性化兴趣的直接证据，但不同交互过的物品对目标推荐的贡献程度往往不尽相同，因此模型需要区分历史物品的重要性，而非对所有交互一视同仁。为解决上述局限，我们提出了DAGT，这是一种能够同时学习物品层面的知识图谱语义与用户层面偏好表示的知识感知推荐模型。DAGT旨在解决现有基于知识理解的推荐方法中存在的知识图谱信息捕获不全、信息传播过度、过度压缩和过度平滑等问题。在DAGT中，物品特征学习与用户偏好学习通过两个互补的模块来实现。在物品表示学习方面，DAGT借鉴了Graph-BERT和Nodeformer的思想，针对每个目标物品采样相关的关系-实体对，构建以该物品为中心的紧凑知识图谱序列，然后通过轻量级图Transformer对采样序列进行编码，从而在不依赖全图传播的情况下捕获物品层面的语义信息。为提升效率，DAGT的Transformer编码器中去掉了全连接层，从而减少了模型参数和计算成本。在用户偏好学习方面，DAGT采用动态图注意力机制来聚合用户的历史交互物品，使得不同交互过的物品对最终的用户表示的贡献程度有所不同。这样一来，DAGT就能够同时建模经过知识图谱增强的物品特征与个性化的用户偏好。总体而言，DAGT从物品层面语义建模和用户层面偏好建模两个方面提升了基于知识理解的推荐效果。本研究的主要贡献如下：第一，我们设计了以物品为中心的知识图谱采样策略，用于构建固定长度的关系-实体序列，这有助于捕获有用的物品相关知识图谱信息，同时提升模型的可扩展性；第二，我们提出了DAGT，该模型结合了用于物品特征表示的轻量级图Transformer与用于用户偏好表示的动态注意力机制；第三，在四个真实世界数据集上的实验表明，与现有的主流方法相比，DAGT具有优异且稳定的性能提升效果。

问题阐述：在本节中，我们将介绍两种结构化数据——用户-物品交互图与知识图谱，随后介绍基于知识理解的推荐系统的常见任务以及本文所采用的评估指标。图1展示了电影数据集中的交互图与知识图谱的示意图。

相关工作：本节回顾了与基于知识图的谱推荐及图Transformer模型相关的研究。首先介绍现有的代表性基于知识图的谱推荐方法，包括基于嵌入、基于路径、基于GNN、基于大语言模型以及其他近期提出的方法。随后，总结与DAGT设计密切相关的图Transformer相关研究。

方法论：本节将详细介绍所提出的DAGT建模方法。首先介绍该模型的整体框架，然后逐一阐述模型的各个组成部分。

复杂度与可扩展性分析：本节将对我们的模型进行更深入的分析，将其与当前最先进的模型进行对比，进而阐明其在各类推荐场景中的应用潜力。虽然目前已有许多基于图Transformer的方法用于小型图上的图分类任务，也有一些近期研究聚焦于大型图上的节点分类任务，但对于大型应用场景下该模型的可扩展性进行探讨仍然十分重要。

实验与结果分析：本节从多个角度对DAGT进行评估，包括推荐准确性、各模块的贡献度、参数敏感性、效率、可扩展性以及鲁棒性。具体而言，实验分析围绕以下六个研究问题展开：问题1：DAGT的点击率预测性能如何？问题2：DAGT的Top-K推荐性能如何？问题3：DAGT的主要模块分别做出了哪些贡献？问题4：DAGT对不同超参数的敏感度如何？

讨论与结论：现有的基于知识图的谱推荐方法仍面临诸多挑战，包括噪声信息传播、知识图谱语义利用不足、过度压缩以及过度平滑等问题。在本文中，我们提出了DAGT，这是一种结合了物品层面知识图谱序列建模与用户层面动态偏好学习的推荐模型。具体而言，DAGT为目标物品构建采样后的知识图谱序列，并通过轻量级图Transformer对其进行编码，从而获得经过知识图谱增强的物品表示。

CRediT作者贡献声明：杨丁利：撰写——初稿、方法论、撰写——审阅与编辑；曾扬扬：方法论、研究实施；冯昊：项目管理；赵向超：概念构思；柴佳伟：软件实现、概念构思；傅少斌：监督指导；叶崔：资金筹集、概念构思；张世超：资金筹集、概念构思。

利益冲突声明：作者声明不存在任何可能影响本文研究工作的已知财务利益或个人关系。

致谢：本研究得到了湖南省教育厅科学研究基金（项目编号24B0062）、人工智能安全国家重点实验室开放资助项目（项目编号2025-14）、湖南省自然科学基金（项目编号2023JJ30412）、中国教育部人文社会科学研究青年基金（项目编号19YJC860047）以及国家自然科学基金（项目编号61836016、62276095、81701780）的支持。杨丁利博士毕业于中国西安的西安电子科技大学，目前是中国长沙湖南师范大学的副教授，他的研究兴趣包括机器学习、数据挖掘以及医学图像处理。

杨丁利|曾扬扬|冯昊|赵向超|柴佳伟|傅少斌|叶崔|张世超
中国长沙湖南师范大学信息科学与工程学院