基于超图注意力神经网络的多模态推荐

《Pattern Recognition》：Multimodal recommendation based on hypergraph attention neural networks

　　

• 提出一种多模态超图注意力推荐模型。
• 利用LightGCN进行多模态深度融合，探索商品之间的关联。
• 将GAT与超图消息传递相结合，实现局部和全局依赖的优化。
• 广泛的实验验证了所提方法的有效性和优越性。

引言

推荐系统已广泛应用于电子商务[1]、短视频[2]和社交媒体[3]等领域，通过挖掘用户行为实现个性化内容分发。随着内容从文本扩展到图像、音频和视频等多模态形式，单模态方法难以有效建模用户兴趣和物品特征。多模态推荐系统（MRS）[4]、[5]通过将多模态数据与协同过滤信号进行整合来解决这一问题，以增强用户和物品表示，提升个性化水平。

随着图神经网络（GNN）的成功，研究者利用用户-物品交互和多模态内容构建异构图，以捕获高阶语义。VBPR [6]将视觉特征引入矩阵分解，以揭示影响用户偏好的维度。GRCN [7]通过用户-物品关系指导多模态特征融合，裁剪噪声边。将自监督学习和注意力机制引入多模态推荐系统模型的工作包括MGAT [8]、DualGNN [9]和BM3 [10]。尽管图神经网络在推荐系统中取得了良好性能，但随着这些系统变得越来越复杂——特别是在用户-物品关系复杂或涉及多方交互的情况下——传统GNN在很大程度上未能充分捕获用户和物品数据中的高阶语义结构，从而限制了模型准确理解用户偏好和物品属性的能力。

为进一步捕获复杂的多模态语义，近期研究将超图神经网络（HGNN）引入多模态推荐[11]。LGMRec [12]构建隐式属性驱动的超图以实现全局偏好建模；MMHCL [13]通过对比学习构建用户-用户和物品-物品超图以建模多模态语义和高阶结构，缓解数据稀疏性和冷启动问题。与传统图相比，超图方法能够更全面地捕获高阶跨节点关系，同时保留低阶信息，提升准确率和鲁棒性。然而，超图单独使用仍存在局限性：它不足以捕获低阶细粒度关联，如隐式用户-物品偏好，且缺乏显式跨模态注意力机制以实现异构空间间的语义对齐，导致融合效果次优。

为应对这些挑战，需要整合GNN、HGNN及其他先进技术，以克服单一图的局限性，并通过多层次特征增强提升表示和预测精度。此外，注意力机制可根据上下文动态调整特征权重，非常适合多模态贡献不均衡的场景。本文提出了多模态超图注意力推荐（MHAR）模型，通过两个阶段融合多模态语义和高阶关系：第一阶段，在物品关联图和用户-物品交互图上执行双通道轻量图卷积，聚合模态语义和行为特征；第二阶段，一个图注意力增强的超图学习框架联合建模多头GAT与超图消息传递，克服GNN的跳跃限制，优化局部细粒度交互和全局高阶依赖。本文的主要贡献总结如下：

• 提出一种多模态超图注意力推荐模型，有效整合来自多个模态的异构信息以提升推荐准确性。
• 利用LightGCN进行多模态特征深度融合，使模型能够探索物品之间的复杂关联。
• 将GAT与超图消息传递相结合，联合优化局部邻域依赖和全局结构关系，从而提升学习表示的表达力和鲁棒性。

本文其余部分组织如下。第2节回顾相关工作。第3节定义基础知识并形式化任务。第4节详述所提MHAR模型。第5节描述实验设置，第6节呈现结果与分析。第7节讨论局限性和未来工作，第8节总结全文。

小节节选

基于图神经网络的多模态推荐

典型的多模态推荐系统模型通常利用预训练神经网络从不同模态中提取特征表示，并与用户行为特征联合建模。MGCN [14]统一建模多模态节点和行为节点以缓解模态冗余。HPMRec [15]将提示感知的多模态传播与模态建模相结合。GUME [16]增强图结构和用户模态表示以支持长尾物品。SMORE [17]在频域融合多模态信号。

基础知识

设??={??}和??={??}分别表示用户集和物品集。每个用户??∈??和物品??∈??都有一个ID嵌入???∈???和???∈???，其中??为嵌入维度。用户-物品交互由矩阵??∈?^|??|×|??|表示，其中????,??=1表示存在交互，否则????,??=0。基于??，我们构建用户-物品交互图??={??∪??,??}，其中每个非零????,??对应图??中用户??和物品??之间的一条边。

此外，我们利用多模态特征作为物品内容。原始模态……

整体模型框架

本节介绍我们多模态推荐框架的问题定义和架构概览。如图1所示，模型由三个核心组件组成。

首先，双通道模态特征学习包含两条并行路径。第一条路径通过计算模态内余弦相似度并应用k近邻稀疏化来构建模态特定的物品图；文本和视觉邻接矩阵随后通过可学习权重融合为统一的……

数据集

我们在三个Amazon基准数据集[36]上评估我们的模型：(1) Baby（母婴）、(2) Sports and Outdoors（运动与户外）和(3) Clothing, Shoes and Jewelry（服装、鞋履与珠宝，分别简称为Baby、Sports和Clothing）。我们对每个数据集使用5-core设置对用户和物品进行预处理。对于视觉特征，我们使用从预训练模型[37]中提取的4096维CNN特征。文本特征是384维向量，通过对拼接的物品标题、类别和品牌进行编码生成。

性能比较

表2总结了MHAR与所有基线模型在三个数据集上的性能对比。所有基线模型的结果直接引自其各自原始论文。我们用粗体表示最佳性能，用下划线表示第二佳性能。评价指标旁的向上箭头（↑）表示数值越高性能越好。

(1) 所提模型的优越性

如图2表2所示，MHAR在所有指标上均取得了最佳或接近最佳的性能。

局限性与未来工作

尽管取得了最先进的性能，MHAR仍有以下局限：

模型效率与部署瓶颈：超图建模捕获了高阶语义，但引入了复杂的多节点连接，增加了计算和存储成本。这限制了其在大规模、低延迟推荐场景中的部署。

模态失衡与生成能力局限：仅依赖文本和图像限制了感知能力。该模型专为商品推荐设计……

结论

我们提出了MHAR，一种多模态超图注意力推荐框架。它使用双图传播用户-物品交互并聚合物品语义，通过GAT精炼局部表示，并构建超图以建模全局属性级关系。在三个数据集上的实验表明，该方法相较基线模型取得了一致的提升。我们的工作表明，将GAT与超图建模相结合能够有效地实现局部-全局协同，通过模态特定的关联图与CRediT作者贡献声明

Diqi Men：撰写——初稿撰写、可视化、软件、方法学、调查研究、概念构思。Huifang Feng：撰写——审阅与编辑、监督、方法学、概念构思。

资助

本研究部分由国家自然科学基金（NSFC）（资助号72461030）支持。

未引用参考文献

[44]

利益冲突声明

作者声明不存在任何可能影响本文所报道工作的已知竞争性经济利益或个人关系。

致谢

本研究部分由国家自然科学基金（NSFC）（资助号72461030）支持。

Diqi Men | Huifang Feng