冻结大语言模型下面向联邦金融收益预测的路由原型适配器

《Electronics》:Routed Prototype Adapters for Federated Financial Return Prediction with Frozen LLMs

【字体: 大 中 小 】 时间:2026年08月30日 来源:Electronics 2.9

编辑推荐:

  金融收益预测日益依赖金融文本与结构化市场协变量,但在跨金融机构适配大语言模型(LLM)时仍具挑战,因为原始数据无法集中且客户端常呈现异构、非平稳的市场信号。研究人员研究了基于数据本地化的联邦金融收益预测与冻结LLM,旨在共享有用的跨客户端适配同时保留客户端特定

  
金融收益预测日益依赖金融文本与结构化市场协变量,但在跨金融机构适配大语言模型(LLM)时仍具挑战,因为原始数据无法集中且客户端常呈现异构、非平稳的市场信号。研究人员研究了基于数据本地化的联邦金融收益预测与冻结LLM,旨在共享有用的跨客户端适配同时保留客户端特定的预测行为。研究人员提出一种联邦路由适配器框架,其中服务器维护一个轻量适配器原型池,每个客户端通过投影方向路由选择这些原型的个性化混合,并在所选混合上基于私有客户端数据学习局部残差适配器。服务器随后通过精确最小范数分解将上传的残差更新映射回共享原型空间,以实现通信高效聚合。该框架保持原始金融数据与客户端私有预测头本地化,上传残差仅为模型更新,若无安全聚合或差分隐私等附加机制,不应被解释为形式化隐私保证。在FNSPID、Qlib CSI300/CSI800与Open FinLLM预测基准上,该方法取得最佳总体性能,较最强联邦PEFT基线将CSI300 RankIC从原值提升至新值,并将FNSPID MAE从原值降至新值。这些结果表明,在数据本地化、通信受限与异构联邦设定下,组合式共享适配加局部残差个性化是金融LLM部署的可行方向。
研究背景方面,金融收益预测是量化投资与风险管理核心问题,LLM为融合新闻、财报等非结构化文本与结构化市场协变量提供新机会。但金融市场信号噪声高、非平稳且跨机构高度异构,真实机构无法集中私有数据且面临不同局部市场体制。现有集中式金融LLM与单适配器假设脱离机构实际;标准联邦学习(FL)聚合单一全局更新会模糊机构特定结构,个性化FL的全局—局部拆分固定,近期联邦PEFT(Parameter-Efficient Fine-Tuning)多聚焦单一全局适配器或固定双分支,未显式建模多部分重叠适配方向的共享。因此研究人员开展冻结LLM下异构联邦金融收益预测研究,提出以小型共享原型池替代“单一全局适配器”的范式。
作者在《Electronics》发表该文,核心结论是:组合式共享原型适配加局部残差个性化,能在数据本地化、通信受限与异构非平稳金融联邦场景下优于现有联邦PEFT与个性化FL方法,并在文本驱动回归、CSI300/CSI800排序与股票涨跌分类上取得最优。
主要关键技术方法概括(不超250字):研究人员以Llama-3.2-1B-Instruct为冻结主干,在注意力投影层插LoRA式适配器;服务器维护M个适配器原型(adapter prototype)并广播其投影签名;客户端用Rademacher随机矩阵将校准批次(calibration batch)的适配器梯度投影至低维,按内积对齐分数经KL镜像下降(KL mirror descent)更新单纯形路由(simplex route);以路由混合适配器为基点学局部加性残差(residual adapter),仅上传残差、路由与样本数;服务器用精确最小范数分解将残差映射回原型空间做加权聚合。数据来自FNSPID新闻—价格对齐集、Qlib CSI300/CSI800(Alpha158/360)及Open FinLLM(BigData22/ACL18/CIKM18),按行业或Dirichlet非IID切分客户端,时序划分防前窥。
研究结果部分,按原文小节浓缩如下。
第三章方法表明,原型池与个性化预测通过凸混合共享原型表达客户端适配点,冻结主干仅训路由混合适配器与私有头;投影方向路由以低维Rademacher投影比对客户端校准梯度方向与服务器EMA原型签名,KL镜像下降保单纯形与平滑性;局部残差学习在路由混合上做E步AdamW得残差,服务器依最小范数解δ(i,m)=πi,mΔi/∑jπj,mnj精确重构并聚合,更新原型池。算法复杂度中路由开销O(dq+Mq)、上传O(d+bits)优于全适配器。
第四章实验设置使用冻结Llama-3.2-1B-Instruct、M=4原型、q=256投影、β=0.05路由步长、η=0.1服务器步长、E=5本地步,公平性协议对齐主干与通信轮次。主结果在CSI300将RankIC较FedEx-LoRA提升,FNSPID上MAE/MSE最低,Open FinLLM上ACC与MCC最高,证明投影路由+残差优于单全局或双适配器。消融中去局部残差致CSI300 RankIC降最多,去原型池次之,固定路由、去KL、朴素聚合均退化,证实各部件必要。参数敏感显示M=4、q=128~256、中等β/η/E稳健。路由稳定性追踪表明路由熵平滑下降、崩溃率低、原型负载均衡;校准批16兼顾噪声与代价。路由热图显示科技消费聚原型1、防御医疗聚原型2、金融地产聚原型3、能源材料高波动聚原型4,异质性得分高者残差范数与RankIC增益更大。Dirichletα越小(异构越强)本方法相对FedEx-LoRA优势越大(α=0.1时差约0.012,α=1.0时约0.004)。五类市场体制(Bull/Bear/HighVol/Recovery/Neutral)下本方法各体制RankIC最高且跨体制标准差与最差掉落最小,HighVol下达0.041优于MASTER 0.029与FedEx-LoRA 0.033。通信—性能权衡上每轮每客户端传量较FedEx-LoRA从X MB降至Y MB同时RankIC提升。参与率ρ=0.3为默认优解,客户端数扩至50仍保优。模态消融中文本+序列化结构协变量最优,Rademacher与Gaussian投影近等价。
讨论与结论翻译:本研究探讨了异构机构数据分布下冻结LLM的联邦金融收益预测。研究人员提出路由适配器框架,为每个客户端组合共享适配器原型并辅以轻量局部残差,在无集中私有数据下实现共享适配与个性化修正。经验结果表明,客户端特定路由与残差学习持续提高预测质量,尤在非IID客户端与变市场体制下,凸显将异构性作为金融LLM适配一等因子的重要性。局限在于上传残差为私有数据衍生的模型更新,在诚实但好奇服务器下可能泄露分布,须结合安全聚合、差分隐私等方为形式化隐私协议;实验仅至多20客户端未扩至百千级;行业切分未覆盖地理/资产类/交易周期差异;仅用1B级冻结LLM。未来可扩展至在线流、隐私增强与多机构富文档决策。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号