《FinTech》：Benchmarking Security and Reliability of Open-Source and Commercial Large Language Models in Financial-Domain Scenarios
编辑推荐：
大语言模型（LLMs）正被金融服务采用，但现有基准对金融领域能力、监管合规行为表现和安全鲁棒性的洞察有限。本研究提出一个统一多维评估框架，用于评估受监管金融环境中的开源与商业LLMs。该框架由三个互补基准组件构成：集成金融基准（Integrated Finan
大语言模型（LLMs）正被金融服务采用，但现有基准对金融领域能力、监管合规行为表现和安全鲁棒性的洞察有限。本研究提出一个统一多维评估框架，用于评估受监管金融环境中的开源与商业LLMs。该框架由三个互补基准组件构成：集成金融基准（Integrated Financial Benchmark, IFB），其整合金融领域基准以评估能力；新开发的RegBench，用于基于上下文的监管合规行为表现；以及新开发的FinSec-Eval-1000，用于对抗鲁棒性。研究人员采用推理流水线、任务特定指标、统计检验和复合安全评分（Composite Security Score, SS）评估了八个LLMs，包括五个开源模型和三个商业模型。Claude Sonnet 4.6获得最高IFB表现（68.72%）和四评审均值安全鲁棒性（97.43%），而GPT-5.1获得最高RegBench表现（50.28%）。在开源模型中，Gemma 3 12B在IFB上领先（63.50%），而Phi-3-small取得最强开源RegBench（49.22%）和四评审均值安全（92.78%）结果，表明模型排名在不同评估维度上存在变化。金融能力与安全鲁棒性之间未观察到可检测的单调关联（Spearman’s ρ = 0.095, p = 0.823）。该基准框架为多维LLM评估提供了透明且可复现的方法，并支持受监管金融环境中的知情模型选择。
研究背景方面，大语言模型（Large Language Models, LLMs；基于大规模文本训练的生成式语言模型）已进入金融服务，但现有基准对金融领域能力、监管合规行为表现和安全鲁棒性的覆盖有限。金融场景需要专门知识、严格监管义务和较高安全期望，错误输出可能带来运营、财务或法律后果。现有金融基准多重视任务准确率，安全基准多偏领域通用，评估呈碎片化；欧盟《人工智能法案》和美国NIST人工智能风险管理框架均强调可信、鲁棒和持续评估。因此，研究人员需要构建统一、可复现的多维框架，在受监管金融环境（regulated financial environments；受金融监管规则约束的业务场景）中比较开源与商业LLM。
研究人员提出统一多维评估框架，包含三个互补组件：IFB（Integrated Financial Benchmark；集成金融基准）整合金融领域基准评估能力；RegBench（Regulatory Benchmark；监管基准）新开发用于基于上下文的监管合规行为表现（regulatory compliance-action performance；依据监管文本识别并表述应采取合规行动的能力）评估；FinSec-Eval-1000（Financial Security Evaluation Benchmark；金融安全评估基准）新开发用于对抗鲁棒性评估。研究评估五个开源和三个商业LLM，采用统一推理流水线、任务特定指标、统计检验和复合安全评分（Composite Security Score, SS；由四类攻击失败率加权得到的描述性安全指标）。结论显示，Claude Sonnet 4.6获得最高IFB表现（68.72%）和四评审均值安全鲁棒性（97.43%），GPT-5.1获得最高RegBench表现（50.28%）；开源模型中Gemma 3 12B的IFB最高（63.50%），Phi-3-small取得最强开源RegBench（49.22%）和四评审均值安全（92.78%），说明模型排名随评估维度变化。金融能力与安全鲁棒性之间未观察到可检测单调关联（Spearman’s ρ = 0.095, p = 0.823）。其意义在于提供透明、可复现的多维评估方法，支持受监管金融环境中的模型选择，并强调能力、合规与安全应分别评估。
方法上，三基准采用统一数据模式与标准化提示，在闭卷、无检索增强生成（RAG）和外部工具条件下推理，温度设为0.0；开源模型经RunPod云GPU与vLLM部署，商业模型经官方API访问。IFB整合FinQA、FinanceBench、BizBench（SEC-NUM）、Financial PhraseBank、FOMC、ECTSum、EDTSUM、FiQA八个公开语料；RegBench来自欧盟、FATF和Basel Committee一手监管文件，463项经复审为461项（敏感性分析453项）；FinSec-Eval-1000含1000条四类对抗提示。评估采用加权性能评分（Weighted Performance Score, WPS；按任务指标加权得到的模型级得分）、攻击失败率和SS；LLM-as-a-judge（以LLM作为评审）固定Claude Sonnet 5，并加DeepSeek、Grok 4.3、Kimi K2.6复核；统计采用Wilcoxon符号秩检验、McNemar检验、Holm–Bonferroni校正与Spearman相关。
4.1 金融领域能力结果（Financial-Domain Capability Results）：IFB评估显示，Claude Sonnet 4.6总体WPS最高（68.72%），GPT-5.1为67.65%，二者差异不显著；Claude Sonnet 4.6在Exact Match、Numeric Match、Semantic Match和Format Compliance四项均领先，Format Compliance与GPT-5.1并列100.00%。开源模型中Gemma 3 12B最高（63.50%），其次Qwen3-8B（62.17%）、Llama 3.1-8B（61.05%）、Ministral-8B（59.44%）；Phi-3-small最低（55.37%），Gemini 3.5 Flash为56.96%。任务表现呈异质性，闭式任务较好，开放域金融问答和文档推理较难；Wilcoxon检验显示28对中21对差异显著，支持H1。
4.2 监管合规行动结果（Regulatory Compliance-Action Results）：RegBench评估显示，GPT-5.1最高（50.28%），Phi-3-small第二（49.22%），其后为Claude Sonnet 4.6（47.19%）、Ministral-8B（46.67%）、Qwen3-8B（46.54%），Gemma 3 12B最低（35.92%）。不同监管来源表现异质；28对中18对显著。排除10个标记项的453项敏感性分析排序不变。96响应人工校准的独立完全一致率为94.79%，语义匹配（Semantic Match；结合精确匹配、模糊字符相似度、关键词召回和关键词F1的规则化复合指标）呈高精度、低召回：93个人类共识正确响应中47个被接受、46个被拒绝。因此，RegBench排序应视为特定自动评分程序的结果，而非经代表性人工评估独立确认的监管正确性排序。
4.3 安全评估结果（Security Evaluation Results）：FinSec-Eval-1000以四类攻击失败率为主要安全结局，SS为次要描述指标。原始Claude Sonnet 5评审下，Claude Sonnet 4.6的SS最高（98.42%），Gemini 3.5 Flash为95.18%，Phi-3-small为94.10%，高于GPT-5.1的91.46%；Qwen3-8B为86.04%，Llama 3.1-8B为83.86%，Gemma 3 12B为57.04%，Ministral-8B为61.06%。四评审响应级一致性κ为0.743–0.796，Fleiss’ κ为0.757，模型级排名相关ρ为0.952–1.000；26/28对差异显著，支持H3。
4.4 比较分析（Comparative Analysis）：三基准无单一模型全面最优。商业模型中，Claude Sonnet 4.6的IFB最高且四评审均值安全最高（97.43%），GPT-5.1的RegBench最高；开源模型中，Gemma 3 12B的IFB最高，Phi-3-small的RegBench和四评审均值安全最高。IFB与四评审均值安全之间未检测到单调关联（Spearman’s ρ = 0.095, p = 0.823），H4未获支持；置换检验p = 0.840，Kendall’s τ = 0.143, p = 0.720，留一模型法ρ为?0.357至0.357，自助法区间较宽，故应视为探索性结果。
讨论部分总结：讨论认为，受评模型在三类维度上呈异质且常不对齐的表现，支持将功能能力、监管合规行动表现和安全鲁棒性作为相关但不同的模型属性评估。IFB显示商业模型领先，但最佳开源模型接近，任务差异说明总分可能掩盖任务级强弱。RegBench显示一般金融能力不必然迁移至基于上下文的监管合规行动，应直接依据监管材料评估。安全评估出现明显重排，能力不能作为安全代理，二者应分别测试。性能差异可能涉及架构、指令微调、对齐、数据质量和训练策略，参数规模并非唯一解释；商业与开源差距相对有限。部署选择应结合数据治理、机密性、辖区、成本、延迟和可解释性，并与欧盟《人工智能法案》、NIST AI风险框架及Basel、FSB、EBA等治理要求一致。限制包括参数与发布代际异质、商业层级不对称、部署栈不对称、LLM评审偏差、RegBench构念与gold action集中、人工验证范围有限、统计功效不足、单次运行、阈值敏感、覆盖范围与辖区限制、排除专业金融模型、潜在基准污染及完整artifact访问限制。伦理上，研究使用公开法规、教育资源和合成场景，未使用个人数据、机密金融信息或专有组织数据。
研究结论（Conclusions）翻译：LLMs在金融服务中的使用增长要求评估不能仅限于金融领域能力。本研究通过一个统一、可复现的多维框架回应这一需求，该框架整合金融领域能力、基于上下文的监管合规行动表现和对抗鲁棒性。三个互补基准应用于选定的商业和开源LLMs：IFB用于金融领域能力，RegBench用于基于上下文的监管合规行动表现，FinSec-Eval-1000用于对抗鲁棒性。三者共同提供超越仅能力评估的多维评估。实验结果表明，受评商业模型总体表现较强，Claude Sonnet 4.6获得最高IFB WPS（68.72%），略高于GPT-5.1（67.65%），而GPT-5.1获得最高RegBench WPS（50.28%）。在受评开源模型中，Gemma 3 12B获得最强IFB结果（63.50%），但仍低于两个领先商业模型；然而，Phi-3-small尽管IFB表现最弱，却获得最高开源RegBench WPS（49.22%）和四评审均值FinSec安全评分（92.78%），强调没有任何单一开源模型在三个评估维度上全面占优。参数数量本身不能解释受评开源模型中观察到的金融领域性能排序。然而，鉴于96响应校准中Semantic Match召回有限，RegBench模型排序仍特定于自动评分程序，尚未通过代表性人工评估样本独立确认。安全评估结果与功能能力结果共同表明，安全鲁棒性反映不同的模型特征：Claude Sonnet 4.6获得最高四评审均值FinSec安全评分，而若干具有竞争性能力评分的模型仍易受特定类别对抗攻击。金融能力与安全鲁棒性之间未观察到可检测单调关联。结合跨基准观察到的分化模型画像，这些发现支持在受监管金融环境选择部署模型时应分别评估能力与安全。尽管四评审评估支持所报告安全比较的稳定性，但它不构成独立人工验证的安全金标准，且不能排除评审者共同偏差。除比较模型结果外，本研究的主要贡献是一个可复现多维框架，整合金融领域能力、基于上下文的监管合规行动表现、对抗安全测试、透明评分和统计验证。该框架也为模型架构和部署范式演进时的未来基准扩展提供基础。从实践看，金融应用模型选择应考虑金融领域能力、监管合规行动表现和安全鲁棒性，而不是仅依赖通用排名或孤立能力指标。所提出的多维框架因此可支持受监管金融机构中基于证据的模型选择和负责任的LLM部署。未来研究应将该框架扩展到领域适应及其对功能表现和安全的影响、更广金融和监管覆盖、新兴模型架构、检索增强生成、多模态金融文档理解、代理式AI系统以及增强语义评估。这些扩展可在保持透明、可复现和多维评估的同时支持受监管金融环境中的纵向LLM评估。
