用于高效金融文本分析的自适应分层个性化联邦学习

《Neurocomputing》：Adaptive layerwise personalized federated learning for efficient financial text analysis

　　

冯秦政|周一志|秦宇辰|刘宁|齐恒

中国大连市大连理工大学计算机科学与技术专业，邮编116024

摘要

联邦学习为金融机构之间进行隐私保护的模型训练提供了一种有前景的解决方案。然而，在联邦学习中应用大规模金融语言模型会带来通信开销大、模型个性化难度高以及隐私风险等问题。为解决这些问题，我们提出了一种具有高效通信能力和个性化功能的联邦学习框架。具体而言，基于模型的层次结构特点，我们将模型分为全局共享层和本地保留层，从而避免上传个性化参数，以保护隐私并提升个性化水平。此外，我们还引入了一种基于超网络的重要性评分机制，并结合动态阈值策略，使每个客户端能够根据自身特点灵活决定每轮需要上传的层。这种选择性上传机制能够在提升个性化程度的同时保障通信效率，进一步增强对潜在攻击的防御能力。在金融情感分析数据集上的大量实验表明，我们所提出的方法具有高效性和优越性。

引言

现代金融机构往往需要分析大量复杂且高度异构的非结构化数据，如客户行为、市场评论以及财务报告文本。以BERT和FinBERT为代表的预训练大规模语言模型，凭借其强大的语义表达能力，在金融文本分析任务中展现出显著优势[1]、[2]。不过，这类模型通常依赖集中式训练和大规模数据，而实际上金融文本往往分散在不同机构中，且具有较高的隐私敏感度和严格的监管要求，这使得集中式数据共享变得困难[3]。

在这种情况下，当金融机构无法直接共享数据时，联邦学习[4]便能让它们在不泄露原始信息的前提下协作训练全局模型[5]、[6]。尤其是在金融文本分析任务中，联邦学习为部署像FinBERT这样的大规模语言模型提供了可行路径。为展示这种建模方式，图1展示了一个文本分析场景下联邦金融建模的典型架构，其中多个金融参与方基于自身的文本数据（如风险日志、财务报告和市场新闻）进行本地训练，再通过模型更新参与全局聚合。

然而，将FinBERT这类大型预训练语言模型直接引入联邦学习仍面临诸多实际挑战，包括较高的通信开销[7]以及数据的高度异构性[8]、[9]。在这种条件下，单一的统一模型往往难以在所有参与方中都取得理想性能，这就导致了模型通用性与个性化之间的矛盾。因此，个性化联邦学习[10]、[11]便成为了一个重要的研究方向，其目标是在训练更符合各参与方本地数据特点的个性化模型的同时，保留全局共享的知识。通过实现本地模型适配，个性化联邦学习能够大幅提升任务的相关性和稳健性，尤其是在高度异构的环境中。

现有的个性化联邦学习方法在应用于金融文本分析任务时仍存在局限性。具体而言，金融模型通常规模庞大且结构复杂，而现有方法对参数共享的控制不够精细，往往会导致较大的通信开销。此外，现有方法提供的模型个性化程度不足，也无法充分适应金融场景中不同客户端在语言和语义方面的差异。同时，它们也无法有效降低传输敏感特征表示所带来的隐私风险，因为许多后门攻击和推理攻击都会利用模型更新来重构客户的私有信息。因此，如何在大规模金融文本建模中实现高效率、强个性化以及可靠的隐私保护，仍然是一个重大挑战[12]。

为解决这些难题，我们提出了一种用于金融文本分析的高效通信型联邦大型模型框架，该框架能够在个性化、通信效率及隐私保护之间取得平衡。具体来说，我们以在金融领域广泛应用的预训练语言模型FinBERT为基础，通过结构分析将其整体架构分为两部分：前几层作为共享层参与联邦聚合，而后几层则完全作为个性化层保留在本地，仅参与本地训练，不会被传输或聚合，从而从结构上避免了因上传个性化层参数而可能带来的隐私泄露风险。同时，我们还引入了一种基于超网络的层重要性评估机制。在本地训练完成后，客户端会生成反映其自身特征的嵌入向量，通过超网络为每个共享层生成上传得分，并借助自适应阈值机制自动选择最具价值的组件用于全局聚合，进而进一步降低通信负荷。为验证所提方法的有效性，我们在Financial PhraseBank[13]和Financial Sentiment Analysis (FSA)[14]这两个典型的金融情感分类数据集上进行了实验，并在随机划分和非独立同分布划分的条件下将我们的方法与基线方法进行了比较。实验结果证明了我们方法的有效性和优越性。

我们的主要贡献可总结如下：

• •
  我们提出了一种基于模型结构划分和超网络控制的高效通信型个性化联邦学习方法，设计了共享层上传与个性化层完全本地保留的策略，提升了模型的安全性和个性化能力。
• •
  我们引入了一种自适应的逐层重要性评估机制，结合动态阈值对要上传的层进行筛选，仅保留对全局建模最有价值的共享参数，从而在保证模型性能的同时大幅降低了通信量。
• •
  我们在公开的金融文本数据集Financial PhraseBank和Financial Sentiment Analysis上进行了充分实验，验证了所提方法在随机划分和非独立同分布划分场景下的有效性，同时在保持准确率的前提下降低了通信成本。

章节节选

相关工作

在本节中，我们从两个方面回顾相关研究：2.1节介绍联邦学习的相关内容，2.2节探讨联邦学习的通信效率优化问题。

方法论

本节首先在3.1节阐述我们要解决的问题，整体介绍联邦学习的本地和全局层面，并定义本节中使用的主要符号。随后，3.2节概述了整体的方法框架和流程。接着，我们在3.3节和3.4节分别介绍了两种创新点：分割模型机制以及基于超网络的层次重要性选择机制。最后，我们会进行

实验部分

本节将对我们提出的方法进行实验评估。4.1节介绍了我们旨在解决的研究问题。4.2节详细说明了实验中使用的数据集和评估指标。接下来，4.3节总结了各种基线方法。最后，4.4节描述了实验的配置和设置。

结果与讨论

本节首先在5.1节分析了不同个性化层划分策略下模型精度与通信效率之间的权衡关系，确定了能在可接受的通信开销下保持良好性能的最佳个性化层数量。然后，在5.2节中，我们展示了每个客户端不同层的上传频率。5.3节将我们的方法与几种基线方法进行了对比。5.4节则展示了消融实验的结果。

结论与未来工作

本文提出了一种专为大规模金融文本分析设计的、具有高效通信能力和个性化功能的联邦学习框架。基于FinBERT模型，我们的方法将该框架与分割模型以及自适应的逐层上传策略相结合，有效降低了通信成本，同时保持了模型的性能和个性化水平。这种方法不仅提升了训练效率和可扩展性，还通过保留

CRediT作者贡献说明

冯秦政：撰写——初稿、可视化、方法论、形式化分析、概念设计。周一志：撰写——审阅与编辑、验证、方法论、研究分析。秦宇辰：研究分析。刘宁：研究分析。齐恒：监督、项目管理。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究成果的已知财务利益关系或个人关系。

冯秦政于2024年在中国大连理工大学获得学士学位，目前在该校攻读研究生学位。他的研究兴趣包括联邦学习和金融智能领域。