针对10-K季度报告中的管理层讨论与分析（MD&A）部分以及财报电话会议记录中的特定财务立场检测任务，对大型语言模型进行了基准测试

《Scientific Reports》：Benchmarking large language models for target-specific financial stance detection in 10-K MD&A sections and earnings call transcripts

　　

摘要

财务披露中包含了关于公司业绩的丰富叙述性信息，但由于其篇幅较长、术语专业性强以及语言具有目标依赖性，因此进行句子层面的分析颇具挑战性。现有的财务情感分析方法通常仅评估整体的积极或消极倾向，而无法具体分析对公司特定财务目标的立场。在这项研究中，我们为Form 10-K报表中的管理层讨论与分析（MD&A）部分以及季度财报电话会议记录（ECTs）中的特定财务目标立场检测引入了一个句子层面的评估标准。该标准专注于三个财务目标——债务、每股收益（EPS）和销售额——并为每个与目标相关的句子分配积极、消极或中性的标签。语料库来自五家上市公司。由于公司数量和财务目标范围有限，这项研究主要作为自然语言处理（NLP）方法的评估基准，并不能广泛适用于所有财务披露情况。为了提高可扩展性，训练数据集使用ChatGPT-o3-pro进行标记；而未参与训练的测试数据集则由人工标注员独立标注，并形成人类共识的标准。基于这一评估标准，我们在零样本（zero-shot）、小样本（few-shot）、思维链（Chain-of-Thought）和文档上下文（document-context）三种提示条件下，对四种主流大型语言模型进行了评估。模型性能通过准确性、宏观平均精确度、召回率和F1分数进行衡量，并通过配对统计测试来分析各模型之间的差异。结果表明，大型语言模型（LLMs）可以为特定财务目标立场的检测提供有用的参考基准，但不同模型、文档类型、目标和提示策略下的表现存在差异。GPT-4.1-mini和Gemma4-31B的整体表现最为出色，其次是Llama 3.3-70B和Mistral Small 3.2-24B，不过没有一种模型或提示策略在所有条件下都占据绝对优势。在无文档上下文条件下，模型的Macro-F1分数最高。然而，这一结果应更多地理解为标注协议本身的特点——即标注员无法获取完整文档背景——而非说明文档背景通常无助于评估。这些发现既凸显了基于LLMs的财务立场检测方法的潜力，也指出了其存在的局限性，尤其是需要在更广泛的行业范围内进行验证以及进行经济层面的评估。