通过提示式大型语言模型(Prompt LLM)实现的知识增强多任务学习,用于金融新闻推荐

《Neural Networks》:Knowledge-Enhanced Multi-Task Learning via Prompt LLM for Financial News Recommendation

【字体: 大 中 小 】 时间:2026年04月24日 来源:Neural Networks 6.3

编辑推荐:

  金融新闻推荐系统通过整合多源异构知识(如知识图谱、专家数据库和在线文本)和构建分层提示模板,结合多任务学习框架(推荐、情感分析、主题分类、流行度预测),有效提升推荐性能和少样本场景适应性。

  
潘晓明|孙少波|齐双|高俊
中国合肥工业大学计算机科学与信息工程学院

摘要

财务新闻推荐系统对于帮助投资者和金融分析师获取关键市场信息至关重要。最近,将外部知识纳入推荐算法中作为补充数据,旨在缓解冷启动和数据稀缺带来的挑战。然而,当前的研究在将来自不同来源的知识整合到基于提示的框架中时面临挑战。此外,用于推荐任务及相关任务的多任务学习方法可以提高推荐效果。然而,对于新闻本身的属性(如情感、主题和流行度)的全面考虑被忽视了。为了解决这些问题,我们提出了一种新颖的多任务提示大型语言模型(LLM)方法,用于财务新闻推荐,该方法有效统一了外部知识。在这项研究中,我们首先开发了一种双重知识增强策略,将结构化和非结构化的财务知识整合到推荐过程中,以丰富对新闻的语义理解。其次,我们设计了分层知识提示模板,使LLM能够为特定任务学习多样化的知识。最后,我们实现了一种多任务提示集成机制,利用任务间的依赖性共同优化推荐、情感分析、主题分类和流行度预测任务。实验结果表明,我们的方法在真实的财务新闻数据集上显著提高了性能,特别是在小样本场景中。

引言

财务新闻推荐系统对于使投资者和金融分析师快速获取关键市场信息和投资机会至关重要。基于用户的浏览历史和市场动态,财务新闻推荐系统筛选并提供最相关的财务信息和分析。研究表明,财务新闻可以预测股票、债券和原油等资产的价格(Maqbool等人,2023年)。此外,财务新闻具有高度的时间敏感性,并涉及公司之间的复杂关系(Ren等人,2019年)。财务新闻的独特特性,如其与市场波动的强相关性以及公司之间的复杂网络,使其与其他领域的新闻不同。这些特性为财务新闻推荐带来了独特的技术挑战。
过去十年数字信息的普及带来了新闻推荐方法的新时代。传统的算法,包括支持向量机(SVMs)(Cui和Shi,2014年)和随机森林(RFs)(Belkacem等人,2020年),在处理新闻推荐任务的复杂性方面发挥了重要作用。随着深度学习方法的发展,卷积神经网络(CNNs)(Kim,2014年)和循环神经网络(RNNs)(Gabriel De Souza等人,2019年)等模型的应用激增,这些模型为分析用户偏好和内容属性提供了创新方法。最近,预训练的语言模型(PLMs)在多个自然语言处理(NLP)领域树立了新的标杆,如BERT(Zhang等人,2021年)和GPT(Al Naffakh等人,2024年)。这些模型在理解语言细微差别方面表现出色,前提是它们针对特定的下游任务进行了微调。但是,PLMs需要针对不同的下游任务进行微调,训练目标的变化可能会影响其适应性。为了解决这一差距,已经开发了提示大型语言模型(LLMs)的方法,并广泛应用于各种任务(Zhao等人,2024年;Brown等人,2020年;Zhang和Wang,2023年)。与传统的微调方法不同,提示学习策略允许通过重构任务直接利用LLMs的潜力,而无需额外的网络架构调整。研究表明,这种方法在多个推荐任务中优于传统的微调方法,特别是在小样本条件下(Zhang和Wang,2023年;Chen等人,2025年)。这使得LLMs能够通过将用户行为建模为自然语言来处理推荐任务。LLMs(如GPT-3(Brown等人,2020年);Llama 2(Touvron等人,2023年))由于其庞大的参数规模和大量的预训练数据,在语义理解和生成方面显示出显著优势。为了充分发挥LLMs的推荐能力,我们为推荐任务定制了特定的提示。
现有的方法主要依赖于通用的领域数据,未能有效地将领域特定知识整合到特定任务中(Zhang和Wang,2023年;Chen等人,2022年)。因此,这些模型往往无法达到其他领域中领域特定应用的性能水平(Hu等人,2023年;Liu和Yang,2024年)。为了提高财务新闻推荐的性能,必须结合捕捉财务领域独特方面的外部知识。这种外部知识可以提供原始新闻数据中不存在的额外上下文和洞察力,从而提高推荐的准确性和相关性。为了解决这个问题,已将外部知识作为辅助信息纳入推荐系统(Ren等人,2019年;Iana等人,2024年)。这些模型利用富含领域知识的文本语料库来学习专门的术语和表达。财务领域提供了多层次的丰富知识资源,包括知识图谱(KG)(Wang等人,2021年)、专家数据库(León和Machado,2011年)和在线财务信息,这些信息以多种形式存储。然而,由于这些知识源之间的结构差异(例如三元组、SQL数据库、在线文本),现有模型难以有效地将它们整合起来进行训练。这些结构差异限制了模型处理和推荐真实财务数据的效率,可能导致分析结果出现偏差。
此外,研究表明,多任务学习可以提高推荐性能(Bi等人,2022年;Bai等人,2022年)。它通过利用任务间的相关信息来提高整体性能,这一策略已成功应用于带有知识相关任务的推荐系统的联合训练(Wang等人,2019年;Yan等人,2021年;Zhang等人,2024年)。在新闻推荐任务中,情感、主题和流行度等属性至关重要(Zhang等人,2019年)。当前的方法没有充分考虑这些属性,导致推荐效果不佳,尤其是在用户互动有限的情况下(Wang等人,2021年)。考虑到财务新闻推荐的独特挑战和外部知识的潜在好处,我们的工作旨在开发一种将外部知识整合到多任务学习框架中的新方法,以提高财务新闻推荐的性能。因此,如何将这些属性整合到多任务学习框架中以进一步提高财务新闻推荐的效率也是一个重要的研究方向。
为了克服这些限制,我们提出了一种通过提示LLM进行财务新闻推荐的知识增强多任务学习方法。我们的方法结合了领域特定的知识提示和多任务学习框架,充分考虑了财务新闻的丰富属性。首先,我们使用两种知识增强策略将外部知识整合到财务新闻推荐和分类任务中,利用LLM统一来自各种来源和格式的知识。其次,基于语义信息和外部知识,我们设计了一系列结构化的知识提示模板。这允许LLM使用多样化的知识提示进行特定任务的学习。最后,为了利用任务间的相关性并提高推荐准确性,我们实现了多任务提示集成策略。这种方法结合了新闻推荐和分类任务,并将多任务学习与提示学习相结合,显著提高了模型的效率。在真实的财务新闻数据集上的广泛实验表明,我们的方法有效提高了财务新闻推荐的准确性。
我们将研究的主要贡献概括如下:
我们提出了一种新颖的多任务提示学习方法,用于财务新闻推荐,该方法整合了各种新闻属性(如情感、主题、流行度)以提高推荐性能和准确性。
我们使用各种知识增强策略将来自KGs、专家数据库和在线财务来源的外部知识整合进来。这些知识被统一起来,为财务新闻推荐提供丰富的领域特定信息。
我们设计了知识增强的提示模板,使LLM能够使用外部知识进行特定任务的学习和预测。
我们的方法在真实的财务新闻数据集上的实验验证了其有效性。消融实验进一步揭示了不同组件对系统性能的贡献。

部分片段

使用KG进行推荐

在推荐算法领域,研究人员专注于将外部信息(如KGs)纳入新闻推荐任务。例如,RippleNet模型通过在整个KG中传播用户兴趣来提高推荐引擎的性能(Wang等人,2018年)。Lee等人(Lee等人,2020年)使用富含主题的KGs来增强新闻推荐。Yang等人(Yang等人,2022年)提出了一种对比学习方法来优化KG的利用

整体框架

图1展示了我们设计的知识增强提示LLM框架,该框架采用多任务学习同时处理财务新闻推荐和分类任务。首先,在知识增强过程中,我们设计了两种不同的方法将外部知识整合到财务新闻推荐和分类任务中。其次,我们将这些外部知识与提示工程技术结合,生成特定任务的提示模板。

知识提取和统一

财务新闻包含了关于公司、行业、个人、概念和产业链的复杂多维信息。为了准确识别这些实体,我们使用了命名实体识别(NER)技术(Liu等人,2024年)。此外,我们引入了结构化的财务知识图谱作为知识增强的关键资源。财务知识图谱描述了金融市场中的实体E之间的关系

数据集

本研究使用了来自三个不同财务知识来源的数据。首先,我们引入了来自FR2KG(Wang等人,2021年)的结构化知识图谱,这是中国最大的财务知识图谱。FR2KG包含了17,799个实体和26,798个关系的全面编译。其次,我们使用了一家中国证券公司提供的非结构化知识库,其中包含财务分析报告和词典

新闻推荐任务

表2对各种模型在推荐任务中的性能进行了深入评估,使我们能够得出后续的见解。
首先,神经网络模型(CNN)的准确性相对较低,与DKN相比表现不佳。CNN使用卷积层和最大池化提取新闻特征,但未能充分利用知识图谱和用户历史信息。神经网络模型主要依赖于内部新闻特征,而没有整合

核心组件的消融研究

在我们的消融研究中,我们分析了财务新闻推荐系统中的四个核心组件的影响:外部知识整合、情感分析、主题分类和流行度预测。我们逐步移除每个模块,并评估其对整体推荐性能的独立贡献。
如表7所示,移除任何模块都会导致推荐系统性能下降。这一发现突显了每个模块在改进性能方面的重要性

计算效率分析

为了全面评估我们框架的计算效率,我们在相同的硬件和软件环境下对我们的财务新闻数据集进行了训练时间和推理延迟的基准测试。我们将我们的方法与四个强大的基线(KGIL、PNR-LLM、LKPNR和ONCE)进行了比较。
表9总结了效率结果。我们的方法一个周期需要62分钟,推理延迟为523毫秒,介于LKPNR之间。这反映了模型容量之间的实际权衡

结论

在本文中,我们开发了一个知识增强提示LLM框架,使LLM能够有效地利用外部知识进行特定任务的学习和预测。我们的系统消除了不同知识源之间的不一致性,并将所有信息整合为统一格式。这种外部知识的融合增强了模型的鲁棒性,显著提高了推荐性能。此外,通过整合各种新闻属性,

未引用的参考文献

Zeng等人,2022年

CRediT作者贡献声明

潘晓明:写作 – 审稿与编辑、撰写原始草稿、可视化、验证、软件、方法论、数据整理。孙少波:撰写原始草稿、可视化、验证、监督、软件、数据整理、概念化。齐双:资源、项目管理、调查、形式分析。高俊:资源、项目管理、方法论、调查。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。

致谢

我们非常感谢华展证券对这项研究的慷慨支持。我们还要向匿名审稿人表示衷心的感谢,他们的深思熟虑和宝贵建议对提高本文研究的深度和清晰度起到了关键作用。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号