MITRec：用于多模态推荐的模式交织张量化分解方法

《Expert Systems with Applications》：MITRec: Modality Intertwined Tensorization Decomposition for Multimodal Recommendation

多模态推荐系统通过融合用户行为与视觉、文本等多模态特征提升推荐精度，但现有方法难以有效捕捉高阶跨模态语义交互。本文提出MITRec框架，创新性地采用模态交织张量分解机制，将视觉与文本特征的高阶交互映射为样本特定的兼容信号，并辅以层次化注意力模块实现多层级语义细化。实验表明，该方法在Baby、Sports、Clothing数据集上NDCG@10指标分别提升6.37%、8.45%、12.92%，显著优于基线模型。

　　

张艳|王帅|张慧斌|李志飞

湖北大学计算机科学学院，武汉，430062，中国

摘要

多模态推荐旨在通过联合建模用户的历史行为和物品的多种模态来提升个性化推荐的性能。现有方法往往难以有效捕捉模态之间的高阶语义交互，这限制了学习到的表示的表达能力和准确性。为了解决这个问题，我们提出了一种名为MITRec的多模态推荐中的“模态交织张量化”分解方法。该张量化分解机制将视觉和文本特征之间的结构化跨模态交互总结为一个特定于样本的兼容性信号，该信号在后续的融合和分层注意力细化过程中补充了特定于模态的嵌入。为了增强模型的区分能力和推荐性能，分层注意力模块通过提取和细化多个层次的语义特征来捕捉关键信息。实验结果表明，MITRec在多个评估指标上始终优于现有方法，在Baby、Sports和Clothing数据集上的平均提升分别达到了5.01%、6.70%和10.26%。源代码可在以下链接公开获取：https://github.com/HubuKG/MITRec。

引言

随着来自不同模态（如图像、文本和音频）的信息不断涌现，多模态推荐系统（MRS）（Zhou, Zhou, Zeng, Zhang, & Shen, 2023a）在各种在线平台上变得越来越重要。通过将用户的历史行为与物品的视觉和文本内容相结合，MRS可以更全面、更精确地建模用户偏好。这不仅提高了推荐结果的覆盖率和多样性，还显著提升了个性化推荐的质量和准确性，为用户提供了更准确、更相关的服务。

现有的多模态推荐方法主要关注将不同模态的特征与用户或物品标识符（IDs）（He, McAuley, 2016, Liu, Wu, Wang, 2017, Wang, Wei, Yin, Wu, Song, Nie, 2023）融合，以增强推荐模型的表示能力。一组方法直接通过线性变换或特征连接（Huang, Li, Li, Zheng, & Liu, 2023）将视觉和文本特征与ID信息结合起来，旨在获得更丰富的用户或物品表示。另一组方法引入了注意力机制（Chen, Zhang, He, Nie, Liu, Chua, 2017, Li, Fu, Zeng, Feng, Zhao, Wang, Zhang, 2025, Liu, Cheng, Sun, Wang, Nie, Kankanhalli, 2019），以动态突出与用户偏好高度相关的模态信息，从而提高推荐准确性和个性化程度。尽管这些方法在一定程度上推动了多模态推荐系统的发展，但它们仍存在明显的局限性。首先，它们往往难以完全捕捉用户-物品交互中的深层依赖关系，特别是对于行为稀疏的用户，可能导致对用户偏好的理解不足。其次，传统的特征融合策略（如简单的连接或线性加权）表达能力和适应性有限，难以灵活满足不同用户和物品的多样化需求。因此，开发更具表现力和适应性的多模态融合机制仍然是提高推荐性能的关键挑战。

近年来，随着图神经网络（GNNs）（Du, Wang, He, Li, Tang, Chua, 2020, Mao, Zhu, Xiao, Lu, Wang, He, 2021, Wang, Wei, Yin, Wu, Song, Nie, 2023, Xu, Chen, Wang, Hu, Kim, Ngai, 2025a）在推荐系统中的广泛应用，研究逐渐从传统的协同过滤转向了更复杂的基于图的建模（Kim, Jang, & Sung, 2025）。多模态推荐方法（Yuan, Qi, Wu, Wang, Guo, Li, Zhao, 2025, Zhang, Zhu, Liu, Zhang, Wu, Wang, 2022）受到了越来越多的关注（Tong, Zhang, Liu, Wang, & Wang, 2024），旨在充分利用用户行为数据以及图像、文本和视频等多种内容模态。目标是更好地捕捉用户偏好并提高推荐性能。现有研究主要遵循两种趋势来建模高阶语义关系。一方面，一些方法通过整合视觉和文本模态信息构建用户-物品交互图，然后应用图卷积来传播和聚合特征，有效捕捉潜在的用户偏好和兴趣（Xu, Chen, Yang, Li, Wang, Ngai, 2025b, Xu, Liang, Han, Ning, Lin, Chen, Wei, Zhang, 2025d）。另一方面，一些方法设计了模态感知的辅助图结构，以更好地探索不同模态之间的互补性，增强特征表示和信息传播（Zhang, Zhu, Liu, Wu, Wang, Wang, 2021, Zhou, Zhou, Liu, Zeng, Miao, Wang, You, Jiang, 2023c）。这些方法不仅在理论上丰富了多模态信息融合的策略，而且在实践中提高了推荐系统的准确性和泛化能力。它们为构建用户档案和更深入理解用户需求提供了重要的方法论支持。

然而，这些方法仍然存在一些局限性，例如融合深度不足和结构建模粗糙，这在处理异构模态特征和复杂语义关联时尤为明显。如图1（a）所示，大多数现有方法依赖于浅层交互建模，其中用户点击或购买行为直接输入到融合模型中进行多模态偏好预测。这些方法往往忽略了潜在的结构互补性和跨模态的高层次、分层语义交互，难以有效捕捉用户的深层偏好。因此，设计一种能够深入建模跨模态语义关联并实现高效交互融合的方法至关重要，从而增强多模态推荐系统的表示能力和个性化性能。

尽管现有的多模态推荐方法取得了进展，但大多数方法仍然将不同模态视为松散耦合的特征源。特别是，当前的融合策略大多忽略了模态之间的跨维度语义共现（例如，颜色-风格），因此无法明确建模结构化的模态互补性。这一限制导致多模态表示较为浅层，限制了模型捕捉用户细粒度偏好的能力。现有的多模态推荐方法大致可以分为三类：（1）早期融合方法，将多模态特征与ID嵌入连接或线性组合；（2）基于注意力的方法，自适应地重新加权不同模态；（3）双线性交互融合方法，捕捉成对相关性而不明确建模结构化的跨维度语义依赖性。虽然这些方法取得了一定的进展，但它们通常依赖于浅层特征聚合，缺乏对结构化跨维度语义共现的明确建模，或者引入了不必要的计算开销而没有细粒度的交互控制。基于上述分析，我们提出了一种名为MITRec的“模态交织张量化”分解方法，用于多模态推荐，如图1（b）所示。与依赖特征连接、线性加权或独立模态建模的现有多模态融合方法不同，MITRec在特征维度层面明确建模了结构化的跨模态交互。MITRec的核心是模态交织张量化（MIT）机制，它构建了一个跨模态的张量交互空间，并将其压缩为一个特定于样本的兼容性信号，该信号总结了视觉和文本特征之间的结构化耦合。这个信号并不取代特定于模态的语义；相反，它补充了保留的视觉和文本嵌入，并通过分层注意力模块与它们结合，以实现更细粒度的多模态语义细化。同时，MITRec结合了分层注意力模块，在多个语义层次上捕捉细粒度交互，从而更好地建模跨模态的结构依赖性，实现更准确、个性化和可解释的推荐。实验结果表明，MITRec在三个真实世界数据集上优于现有方法。

我们的主要贡献总结如下：

•

我们提出了一种模态交织张量化机制，从结构化的视觉-文本交互中派生出一个特定于样本的兼容性信号。与连接或线性融合不同，它捕捉张量级别的跨模态耦合，并将其压缩为一个用于分层细化的全局线索，而不是一个独立的高维表示。

•

我们设计了一个分层注意力增强模块，在融合的多模态表示上引入了渐进的多层语义注意力建模，使模型能够捕捉单层注意力机制难以建模的细粒度跨模态交互。

•

在Baby、Sports和Clothing数据集上的广泛实验表明，MITRec始终优于现有的多模态推荐方法。特别是在NDCG@10指标上，我们的方法分别实现了最大6.37%、8.45%和12.92%的提升。

相关研究

相关工作

本节回顾了与我们工作相关的现有研究，重点关注多模态推荐系统和多模态融合策略。我们首先总结了具有代表性的多模态推荐方法，并分析了它们在建模跨模态交互方面的局限性。然后，我们回顾了最近的多模态融合技术，并强调了现有融合范式与所提出的模态交织张量化方法之间的差异。

方法论

本节系统介绍了所提出的MITRec框架。我们首先概述了多模态推荐问题，并展示了MITRec的总体架构，如图2所示。然后详细描述了框架中的每个关键组成部分，包括特定于模态的特征提取、模态交织张量化和分层注意力增强，强调了它们的功能、实现以及在推荐中的作用

实验

本节通过对三个真实世界数据集的广泛实验，对所提出的MITRec模型进行了全面和多维度的评估和比较。我们首先详细描述了实验设置，包括使用的数据集、评估指标、实验环境和基线模型以及超参数配置。然后对实验结果进行了系统和深入的分析，涵盖了整体性能比较、消融研究等

局限性与未来工作

尽管MITRec表现出强大的性能，但我们承认它仍存在一些局限性。首先，与简单的多模态融合策略相比，基于张量的交互建模引入了额外的计算和内存开销，这可能会影响超大规模推荐场景的可扩展性。其次，我们的实验评估是在广泛使用但相对较旧的Amazon多模态基准数据集上进行的。这些数据集提供了可控且可复现的

结论

在本文中，我们提出了一个创新的多模态推荐框架，该框架有效地整合了来自不同模态的特征，提高了推荐性能和计算效率。我们引入了一种模态交织张量化融合机制来建模多模态特征之间的高阶交互。分层注意力机制用于动态分配跨模态和层次的重要性权重，更好地捕捉深层关系

未引用的引用

缺失的引用：算法1

作者声明

[张艳]：撰写——原始草稿，监督。

[王帅]：方法论，撰写——原始草稿。

[张慧斌]：概念化，撰写——审阅与编辑。

[李志飞]：项目管理，监督，撰写——审阅与编辑。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。