一种融合大语言模型生成内容的多模态信息深度混合推荐方法

《Information》：A Deep Hybrid Recommendation Method for Multimodal Information Integrating Content Generated by Large Language Models Chao Duan, Wenlong Zhang, Zhongtao Yu, Senyao Li, Xuelian Wan and Qionghao Huang

　　

项目描述信息在辅助用户理解项目基本情况以及作为推荐系统的重要辅助信息方面发挥着关键作用。传统方法通过平台后端数据或网络爬虫技术获取此类数据，但这些数据往往具有静态性、相对固定性和描述性不足等局限。近年来，生成式预训练变换器（Generative Pre-trained Transformer, GPT）等大语言模型（Large Language Models, LLMs）已成为自然语言处理领域的强大工具，为基于LLM的推荐带来了新的希望。然而，大语言模型生成的文本信息是否有助于提升推荐精度？生成式人工智能（Artificial Intelligence, AI）产生的信息如何与现有的多源异构信息有效融合？本文提出了一种融合大语言模型生成内容的多模态信息深度混合推荐方法（Deep Hybrid Recommendation Method for Multimodal Information Integrating Content Generated by Large Language Models, DML）。研究人员首先探索利用大语言模型生成电影的详细描述信息；接着，对生成的文本信息与现有电影类别信息、用户人口统计数据等多源异构信息进行加权融合；最后，利用融合后的信息预测电影评分。结果表明，融合大语言模型生成内容的多模态信息深度混合推荐方法相对于现有基线模型具有显著的性能优势。

## 研究背景与动机

随着互联网及其服务的快速发展，推荐系统通过个性化推荐弥合海量信息与用户之间的鸿沟，广泛应用于电子商务、社交媒体和流媒体服务等领域。项目描述文本信息在推荐系统中扮演着至关重要的角色，是连接用户兴趣与项目特征的关键桥梁。传统推荐系统虽通过数据驱动方法优化用户反馈，但用户意图复杂多变，加之现有研究依赖的多源异构数据常受个人偏见、人为错误和高劳动成本影响，且平台数据提取可能导致数据异常等问题，使得推荐性能提升面临瓶颈。

近年来，以GPT为代表的大语言模型在自然语言处理任务中展现出强大智能，其基于大规模语料库的语义理解与生成能力，为推荐系统带来了新机遇。然而，将大语言模型应用于推荐领域仍面临双重挑战：其一，大语言模型生成的文本信息是否真正有助于提升推荐准确性；其二，如何将生成式AI产生的信息与用户-项目交互数据、用户人口统计信息、项目类别信息等确定性多源异构数据有效整合。针对上述问题，研究人员提出了DML模型，旨在通过LLM驱动的数据增强与深度多模态信息融合，实现推荐性能的突破。该研究成果发表于期刊《Information》。

## 关键技术方法

本研究采用的核心技术方法包括：基于Gemini-2.0-flash大语言模型的迭代式电影文本生成技术，通过精心设计的六维度提示模板（涵盖类型风格、叙事结构、视听语言、情感主题、目标受众、主创人员）生成500-1000词的详细电影描述，并建立基于词数、维度覆盖率和格式的三重质量评估迭代机制；采用编码器-解码器架构结合多头注意力机制的多模态特征提取技术，对电影文本、电影类别、用户人口统计信息及用户-电影交互信息进行分层特征学习；基于可学习权重系数（λ₁+λ₂=1）的多模态特征加权融合技术，平衡文本特征与其他集成特征的重要性；在公开的MovieLens ML-100K和ML-1M数据集上进行模型验证，采用8:1:1划分训练集、验证集和测试集，并使用Adam优化器进行训练。

## 研究结果

**LLM驱动的数据增强模块**：研究人员利用Gemini-2.0-flash模型，以电影标题为输入，结合精心设计的提示模板生成详细电影文本。提示模板要求覆盖六个维度——类型与亚类型、叙事核心与结构、风格与视听语言、情感与主题共鸣、目标受众与观看情境、关键创意贡献者，并设置了严格的格式约束（全小写、'|'分隔符、无句末标点等）。建立的迭代优化机制最多执行5次生成尝试，通过词数核查、维度覆盖率检测和格式校验确保生成质量。对电影《童梦失魂夜》（The City of Lost Children, 1995）的生成结果可视化分析表明，模型能够精准捕捉影片在类型融合、叙事结构、视觉美学、情感主题等多维度的核心特征，验证了LLM在电影文本生成任务中的有效性。

**多模态数据特征提取模块**：该模块包含四个子模块。电影文本特征提取采用嵌入层（Embedding）、多头注意力机制（Multi-Head Attention, 注意力头数h=5）、一维卷积神经网络（Conv1D, 核大小为5，维度缩减800→400→200）、最大池化（MaxPooling1D）及双向长短期记忆网络（BiLSTM, 隐藏层大小为200）的分层架构，最终通过全连接层输出文本特征向量F_text。电影类别特征提取采用基于去噪自动编码器（aSDAE）的结构，原始特征经归一化后通过编码器（含全连接层、注意力机制和Z层瓶颈层）压缩至50维，再由解码器重构。用户特征提取采用与类别特征类似的编码器-解码器结构处理人口统计信息。用户-电影交互特征提取则将交互数据与辅助信息拼接后，输入由全连接层、注意力机制、归一化层和瓶颈层构成的编码器。

**多模态特征加权融合与推荐预测**：引入权重系数λ₁和λ<sub>2对电影文本特征Ftext与融合特征Y（电影类型与用户特征融合）进行加权融合得到X，再与用户-电影交互特征PF及补充特征Z（50维用户特征瓶颈层向量）结合，通过维度适配矩阵映射和点积运算，最终输出预测结果P。

**整体实验结果**：在ML-100K数据集上，DML取得RMSE为0.8781（标准差0.00281）、MAE为0.6882（标准差0.00309）的优异性能；在ML-1M数据集上，RMSE和MAE分别为0.8356（标准差0.000812）和0.6542（标准差0.000701）。结果表明该方法能有效捕捉用户兴趣与项目特征间的潜在关联，缓解传统模型依赖单一交互数据导致的语义信息不足问题。

**与核心基线对比**：与最强基线模型相比，DML在ML-100K数据集上RMSE提升约0.94%、MAE提升约1.24%，在ML-1M数据集上RMSE提升约0.60%、MAE提升约0.46%。这一性能提升源于LLM生成文本语义信息的有效学习，以及多模态信息与评分感知行为特征、属性特征的深度融合。模型在不同数据规模下均保持稳定表现，展现出良好的鲁棒性和实际应用潜力。

**超参数调优结果**：嵌入维度分析显示，ML-1M数据集在嵌入维度为64时预测误差最小且未出现过拟合，ML-100K数据集则在嵌入维度为200时达到最优，表明较小数据集可容纳更多特征细节。权重系数分析表明，当λ1=0.9时，两个数据集均达到最优性能，说明文本特征在融合中应占据较高比重。学习率分析显示，两个数据集在0.005的学习率下均取得最佳表现。

**消融实验**：通过去除关键模块验证各组件贡献。去除LLM生成文本导致性能显著下降，证明生成文本对推荐效果至关重要；去除多头注意力机制降低模型性能，证实关注辅助数据中的重要信息有益于推荐；去除自动编码器部分同样导致性能下滑，表明多模态数据利用对提升推荐质量具有积极意义。仅使用大模型生成文本的单模态实验结果仍较理想，反映出推荐质量受用户侧和项目侧信息共同制约。

## 讨论与结论

与Acharya等研究成果相比，DML的性能提升主要源于三方面：精心设计和反复优化的提示模板使生成文本更精准地描述电影信息；多模态信息融合通过丰富供需双方信息搭建有效桥梁；大语言模型文本生成技术的持续进步。与MultiFEFR、MAAMF等模型相比，DML不仅提供项目侧多种类型信息，还充分利用最新LLM优势，在生成过程中保持文本动态性。

研究局限性包括：数据集局限于电影领域，其他领域需重新设计提示模板；仅采用单一Gemini模型，未广泛对比多种LLM的生成质量与推荐效果；大模型输出的动态性和技术快速迭代可能导致实验结果波动；未涉及从图像或视频直接提取信息的更先进技术。

研究结论部分指出，本研究探索了利用大语言模型生成电影文本描述作为推荐模型辅助信息以提升预测准确性的方法。提出的DML模型通过多源异构信息融合解决了这一问题，具体采用精心设计的提示通过大语言模型生成电影文本描述，并与现有电影类别、用户人口统计信息进行加权多模态融合以预测电影评分。实验结果及消融实验均验证了DML技术的有效性和优越性。未来研究将进一步探索大语言模型在对话式推荐系统等领域的巨大潜力，并增强推荐的可解释性。</sub>