面向基于评论推荐的位置感知注意力神经网络

《Neural Networks》：Position-aware Attentional Neural Network for Review-based Recommendation

　　

摘要
在电子商务中，用户评论已成为提高推荐准确性的最有效来源之一，因为它们提供了关于用户偏好和物品特征的丰富语义信号。然而，大多数现有基于评论的系统主要通过利用词汇和语义线索来推荐物品，而忽略了令牌和句子的位置分布。在实践中，评论表现出明显的空间规律，纳入这种模式可以增强捕获关键信息的能力。为了解决这一局限性，我们提出了位置感知注意力神经网络（PAAN），它明确将位置作为评论中的中心信号。具体来说，PAAN 引入了一种位置感知激励模块，该模块将显式可学习的位置嵌入与上下文特征相结合，以重新校准注意力并突出信息丰富的令牌。通过建模重要信息在评论中出现的位置，PAAN 提高了判别性偏好信号的提取能力，特别是在稀疏的用户 - 物品交互中，评论内容提供了关键的辅助证据。此外，双重交叉注意力机制进一步通过对齐增强的评论特征来协调用户和物品表示之间的交互，确保相关性是以结构连贯且个性化的方式学习的。大量实验表明，我们的方法在评分预测任务中始终优于现有的基于评论的推荐方法。与基线方法相比，我们的模型在五个高度稀疏的数据集（数字音乐、健康与个人护理、家居与厨房、电影与电视和 Yelp）上，均方误差（MSE）平均改进 2.49%，平均绝对误差（MAE）平均改进 4.86%。代码可在 https://github.com/YuanpengJiang/PAAN_Recommender 获得。

引言
随着信息量的不断扩大，人们在海量内容中面临着严重的信息过载问题。为了缓解这一问题，推荐系统通过多维建模用户偏好和物品特征来高效过滤和排序候选物品，已成为不可或缺的工具。早期的协同过滤（CF）方法（Hu et al., 2008）和矩阵分解（MF）方法（He, Liao, Zhang, Nie, Hu, Chua, 2017, Koren, 2008）主要从评分矩阵或交互记录中推断潜在的用户偏好。随着神经推荐的发展，基于图的模型（如 NGCF (Wang et al., 2019) 和 LightGCN (He et al., 2020)）进一步将用户和物品表示为图节点，使得高阶协同信号能够通过邻域聚合进行传播。最近，提出了自监督图推荐模型（如 SGL (Wu et al., 2021) 和 SimGCL (Yu et al., 2022)），以从交互图中学习更健壮的用户和物品表示。然而，这些方法主要依赖用户 - 物品交互和图结构，而忽略了用户生成评论中包含的丰富语义信息。

事实上，评论通常反映个人观点和详细的产品描述，使其成为推荐中宝贵的补充信号（Chen et al., 2018）。与仅提供粗粒度信号的数值评分不同，评论包含关于情感、意图和方面级满意度的细粒度语言证据。因此，最近的研究试图将评分和评论结合，以更好地学习用户和物品表示。例如，RI-GCN (Cai et al., 2022) 建模了感知评论的用户 - 物品交互，而带有层级注意力网络的预训练 Transformer (Yen et al., 2024) 捕获了上下文评论语义。最近的工作，如 APH (Liu et al., 2025) 和 ARRR (Zhang et al., 2025)，进一步通过超图建模或评分 - 评论表示融合探索方面级评论信息。总体而言，这些方法通过捕获评论中的语义、方面级或关系信息来增强用户 - 物品交互的表示。

然而，大多数现有模型专注于全局语义建模，而忽略了评论序列中固有的结构位置信息。如图 1 所示，四个评论示例涵盖了真实产品、电影和本地服务场景，表明位置信号并不局限于单一的评论领域。一般来说，评论可能表现出话语结构，其中首句通常介绍主要意见，中间部分阐述具体特征，结尾句倾向于总结或传达情感结论。这种结构性的话语模式在很大程度上影响了评论的整体语义方向，因此具有重要的表示价值。

尽管这些示例具有大致相似的位置结构，但每个位置承载的信息在不同领域可能有所不同。产品评论通常将功能判断放在物品属性和使用效果周围，电影评论通常将意见嵌入在情节、表演或连续性的讨论中，而 Yelp 评论倾向于围绕服务流程细节（如等待时间、食物质量和最终选择）来组织偏好。因此，位置建模的价值不在于假设固定的写作模板，而在于捕获领域特定证据在评论中的分布方式。例如，在 Lauren 的一星评论中，开场白“多廉价的混乱”和结尾备注“我不会推荐浪费你的时间”共同决定了负面立场，而中间的句子如“幸运的是”或“修好了损坏的物品”可能会在位置无关聚合下削弱这一信号。因此，显式引入位置感知模块有望揭示评论内的潜在话语结构，并提高模型区分和解耦情感信号的能力。

尽管以前的工作应用了 CNN、LSTM 和注意力机制（在一定程度上考虑了顺序顺序），但这些模型通常只是隐式编码位置。在网络的深层中，位置信号往往被稀释，限制了它们对语义表示的影响。具体来说，CNN 和 LSTM 可以在浅层捕获局部序列依赖，但它们在较高抽象级别保持位置结构的能力会减弱。最近的基于 Transformer 的推荐器，如 CL4SRec (Xie et al., 2022) 和 DuoRec (Qiu et al., 2022)，进一步加强了序列依赖建模，但它们主要针对用户行为序列，而不是评论文本内的话语结构。简而言之，现有方法只部分利用了位置信号，使得结构信息未被充分开发。

为了解决这些局限性，我们提出了基于评论的位置感知注意力神经网络（PAAN），这是一种将位置信息显式集成到评论建模中的新型推荐模型。PAAN 由两个关键组件组成。位置感知（PA）激励模块将显式可学习的位置嵌入与上下文特征相结合。它重新校准不同评论片段的注意力，并保留通常在深层被稀释的结构线索。双重交叉注意力（A）机制将评论表示与用户和物品标识对齐。总之，这些设计使 PAAN 能够捕获位置规律和细粒度语义交互。因此，本文的贡献如下：
• 我们提出了 PAAN，这是一个基于评论的推荐框架，专注于利用评论的位置表示能力。据我们所知，PAAN 是第一个系统利用词元级结构位置信号的基于评论的推荐模型。
• 我们为推荐系统引入了位置感知激励模块。通过将显式可学习的位置嵌入与多统计池化和前馈网络相结合，它自适应地生成位置敏感的注意力权重，增强了模型对评论内容结构布局的感知。
• 我们进一步设计了一种双重交叉注意力机制，从两个角度对齐用户和物品评论，有效增强了评论语义与用户/物品 ID 嵌入之间的交互，以丰富表示质量。
• 在五个真实基准数据集上的大量实验表明，PAAN 在各种评估指标上显著优于最先进模型，验证了其有效性和健壮性。

本文其余部分组织如下。第 2 节提供了相关工作的全面概述，突出了推荐领域的最新进展。第 3 节详细介绍了提出的方法，包括我们模型的架构设计和关键组件。第 4 节描述了实验设置、评估指标，并呈现了实证结果的彻底分析。最后，第 5 节总结了我们工作。

章节片段
相关工作
在本节中，我们简要回顾了两条与本工作相关的研究路线，即用于推荐的评论语义建模和用于推荐的网络表示学习。
方法论
在本节中，我们首先对基于评论的推荐任务进行形式化定义，随后概述了 PAAN 架构。然后，我们详细阐述了整合评论文本和位置信号的嵌入融合策略，并呈现了位置感知激励模块的设计。最后，我们描述了双重交叉注意力机制，该机制也结合了融合策略来建模用户 - 物品交互。
实验
在本节中，我们进行了大量实验，以全面评估所提出的 PAAN 模型的有效性。实验旨在回答以下研究问题：
• RQ1：与最先进的基于评论的推荐模型相比，PAAN 的表现如何？
• RQ2：与标准的基于 Transformer 的序列建模相比，提出的位置感知建模在提高健壮性和预测准确性方面有多有效？
• RQ3：位置感知激励和双重
结论
在本文中，我们提出了一种新颖的位置感知注意力神经网络（PAAN），用于基于评论的推荐，它通过位置序列激励和双重交叉注意力利用用户和物品评论中的结构和语义信息。具体来说，位置感知激励模块通过强调富含情感的位置来重新校准序列表示，而双重交叉注意力机制捕获用户和物品评论之间的双向依赖关系

CRediT 作者贡献声明
Yuanpeng Jiang：写作 – 原稿，可视化，验证，软件，形式分析。Teng Long：写作 – 审阅与编辑，监督，概念化。Zhangbing Zhou：写作 – 审阅与编辑，监督。

利益冲突声明
作者声明，他们没有任何已知的竞争财务利益或个人关系，这些关系可能已经影响或似乎影响本文报告的工作。

致谢
本工作部分由国家自然科学基金（资助号 62002332）和中国地质大学（北京）高性能计算平台支持。

Yuanpeng Jiang|Teng Long|Zhangbing Zhou