面向异构论元的文档级新闻事件抽取的因果感知大语言模型智能体框架

《Neural Networks》：Causality-Aware LLM-Agent Framework for Document-Level News Event Extraction with Heterogeneous Arguments

　　

## 摘要

随着新闻报道中非结构化文本数据的爆炸式增长，迫切需要对事件进行自动抽取以支持及时的决策制定。本文致力于解决具有异构论元结构的文档级多类型新闻事件抽取这一富有挑战性的任务。与句子级抽取不同，该任务必须处理包含多类不同事件的长文档，每种事件类型都配有独特的一组角色（论元）。现有的事件抽取方法难以应对长篇新闻文章中的信息不完整和线索高度分散的问题。为解决这些问题，我们提出了一种因果感知的大语言模型智能体框架，利用大语言模型（LLMs）和基于智能体的抽取策略。首先，我们的方法使用基于LLM的事件检测器来识别文档中的事件触发词和类型，即使在事件提及稀疏或跨段落分布的情况下也能有效工作。其次，论元抽取智能体对每个事件执行状态感知的逐角色抽取。它初始化一个特定模式的角色队列，并利用问答反馈（包括返回的文本片段、置信度分数和NULL判定）来调整后续查询的构建和本地上下文的选择。这样可以在保持预测基于源文本片段的同时获得更完整的论元。第三，我们引入了因果推断模块，将事件与因果关系关联起来，当明确提及缺失时，利用这些关系来推断或验证某些论元（例如共享的位置或时间）。我们在两个用于新闻文档级事件抽取的公开数据集上进行了广泛实验。结果表明，我们的方法达到了最先进性能，比强基线模型的F1值高出3–5%。值得注意的是，它在包含多个事件的长新闻文档上保持了高召回率，证明了对不完整和分散信息的鲁棒性。这些改进验证了整合LLM推理、基于智能体的抽取和因果推断的有效性。我们的工作为从复杂新闻文档中准确进行多事件抽取提供了一种新颖的解决方案，并讨论了其对下游新闻理解任务的意义以及未来向更广泛领域扩展的可能性。

## 引言

每天，海量的新闻和社交媒体文本描述了来自不同领域的真实世界事件。事件抽取——识别感兴趣的事件并提取其关键参与者和属性——已成为一项至关重要的自然语言处理任务，用于将此类非结构化文本转化为结构化信息。抽取的事件知识支持一系列智能应用，从新闻聚合、知识图谱构建到公共安全监控和金融风险分析。MUC和ACE等经典基准通过定义标准事件模式和评估数据集推动了事件抽取的早期进展。例如，ACE 2005项目定义了多种事件类型（如Attack、Die、Meet），每种都配有特定的论元角色（Agent、Victim、Location、Time等）。传统方法在句子层面处理事件抽取，使用流水线架构：首先检测事件触发词（标志着事件发生的词语），然后在同一句子中对事件类型进行分类并提取相关论元。早期事件抽取方法依赖于模式匹配和基于特征的机器学习。Ahn提供了事件抽取阶段的基础性分析，从触发词检测到角色填充。随着统计NLP的兴起，研究人员在ACE数据上开发了监督模型。例如，Nguyen和Grishman使用卷积神经网络进行事件检测，Nguyen等人提出了一种联合循环神经网络模型来同时识别触发词和论元。这些神经模型通过学习词语的分布式表示和捕获上下文，在先前系统的基础上取得了改进。后续工作引入了实体交互和全局特征的表示。Hong等人利用跨实体推断来改进论元识别。Chen等人应用了动态多池化CNN以更好地捕获文本中的触发词和论元。基于图的方法也得到了探索：Nguyen和Grishman构建了论元感知的图卷积网络用于事件检测，Liu等人使用基于注意力的图聚合信息以联合抽取多个事件。这些工作展示了建模句子内触发词、实体和关系之间依赖关系的好处。然而，早期研究的一个局限是专注于在单个句子内抽取事件。现实中的文章通常描述涉及多个事件的复杂场景，重要细节散落在不同的句子或段落中。为了解决这个问题，最近的研究转向了文档级事件抽取（DEE），旨在从文档中抽取所有事件提及，并允许利用跨句上下文来填充论元。Yang等人的开创性工作引入了DCFEE，一个文档级中文金融事件抽取系统，该系统首先识别关键句子，然后聚合其信息以生成最终的事件记录。Zheng等人提出了Doc2EDAG，该方法将每个事件表示为实体提及的有向无环图，实现了用于文档级事件抽取的端到端框架。这些方法解决了文档级特有的挑战：论元可能离触发词很远，且一个文档中可能包含多个事件（即使是同类型的）。后续方法改进了对长文本和多事件交互的建模。例如，Yang等人开发了一种并行预测网络（DE-PPN），以非自回归方式解码多个事件；Xu等人设计了一种异构图交互模型，配有神经"追踪器"，以捕获跨句子事件的实体共指和上下文。Liang等人引入了RAAT，一种基于注意力的Transformer，它纳入了句子与事件之间的关系，以更好地聚合分散的论元。最近，Wang等人提出使用事件代理节点和Hausdorff距离目标来显式建模文档中的多个事件出现。这些进展显著提高了文档级事件抽取的性能。尽管如此，重要的挑战依然存在。文档级系统必须处理不同事件类型的异构论元结构。每种事件类型（如自然灾害、人事任命、交易）可能需要提取一组独特的角色。先前的工作通常使用基于模板的解码器或为每个角色设置单独的分类器，但设计一个能灵活处理所有事件模式的统一模型并非易事。此外，真实的新闻文档往往存在信息缺失：并非每个角色都被明确提及。例如，关于抗议的报道可能提及地点和参与者但省略确切时间。模型应该在稳健地提取已有内容的同时不产生对缺失细节的幻觉。另一个挑战是文档中的事件可能稀疏分布——某些段落可能包含密集的事件描述，而其他段落主要是背景信息。模型需要区分相关上下文和不相关内容，并可能需要链接分散在文本不同部分的信息。最近的研究强调了在这些条件下捕获长距离依赖关系的难度。此外，现有的DEE方法在很大程度上依赖于使用固定训练数据的监督学习，在训练集中未见过或表示不足的事件类型情况下（即长尾或零样本场景）难以应对。与此同时，NLP领域出现了像GPT-3/4这样的大语言模型（LLMs），它们展现了强大的阅读理解能力。这引发了一个问题：我们能否利用LLMs的广泛知识和推理能力来进行事件抽取？一些早期探索将事件抽取视为生成或问答任务，并以基于提示的方式使用LLMs。例如，Text2Event等生成式方法生成包含论元的事件结构化序列，Paolini等人将信息抽取框架化为将文本翻译为结构化的"增强自然语言"格式。虽然这些方法利用了预训练语言知识，但它们通常难以强制执行提取所有必需的论元并同时处理多个事件。最近的研究试图微调或指令微调LLMs用于事件抽取：例如，Ma等人引入了PAIE，使用提示模板指导BART等模型填充论元槽位；Hsu等人提出了DEGREE，一个基于GPT的少样本事件抽取模型；Yu等人纳入LLM生成的思维链解释以改进抽取（EE-LCE）。研究发现，虽然LLMs能够捕获语义线索，但与任务特定的较小模型相比，直接上下文提示往往准确率欠佳。这在一定程度上是由于提示LLM生成包含所有论元且格式正确的完全结构化输出的难度所致。我们的工作寻求一个中间点，但这种分工是刻意为之而非临时为之。在新闻文档中，触发词提及通常在词汇上多样化、上下文依赖，有时仅由本地表面模式弱暗示，因此我们使用LLM在前端扫描整个文档并提出高召回的事件候选。相比之下，论元抽取需要在固定模式下进行角色特定的片段定位，当多个事件在同一篇文章中共现时，LLM的直接生成更容易出现幻觉填充、边界不精确和格式不一致的问题。同样，因果细化是一个结构化的成对决策问题，必须保持保守和可验证，因此使用带有显式一致性检查的轻量级分类器比自由形式的生成更为合适。因此，我们有意仅在前端阶段使用LLM进行候选触发词发现，而在后续阶段依赖任务特定模块以保持精确性、可控性和效率。另一个相对未被充分探索的方面是在抽取过程中利用事件关系（如因果和时间链接）。在许多文章中，事件并非独立——一个事件可能引起或促成另一个事件。例如，[事件A：加州发生野火]触发了一个疏散事件。识别此类关系可以帮助填补信息空白；如果两个事件由于因果链接而共享参与者或地点，一个事件的描述可以为另一个事件的论元值提供信息。先前关于事件因果抽取的研究专注于使用分类或生成方法将因果关系事件对作为单独任务进行检测。然而，这一有价值的信号尚未被整合到通用事件抽取器中。一个值得注意的例外是最近包含事件-事件边的基于图的模型（如Pan等人中的事件关系图）。基于这些见解，我们在抽取框架中融入了因果推理以改善连贯性和召回率。在本文中，我们提出了一种新颖的框架，通过结合LLM推理、基于智能体的迭代抽取策略和因果推断来解决上述挑战，以实现鲁棒的文档级事件抽取。我们的贡献总结如下：

1. 我们采用大语言模型作为知识渊博的读者来改进触发词和事件类型识别。LLM被提示扫描文档并提出候选事件，然后由较小的分类器进行验证。这种混合方法在检测多样化事件时实现了高召回率，即使触发词线索细微或上下文依赖也是如此。我们有意将LLM限定在这个前端阶段，因为触发词发现最能从广泛的语义覆盖中受益，而后续阶段则需要更严格的文本定位和模式控制。

2. 我们没有要求LLM直接生成完整的事件记录，而是设计了一个状态感知的抽取智能体，迭代地查询文档以获取每个已识别事件的论元角色。智能体不是通过一次遍历提取所有论元，而是维护一个部分事件状态，包括触发词片段、事件类型、已填充的论元、未填充的角色和问答置信度分数。它使用模式级先验初始化角色队列，然后根据先前问答步骤返回的片段和置信度分数更新后续查询构建和上下文选择。这种有界反馈机制使智能体能够更优雅地处理缺失角色场景，同时将论元预测锚定在明确的源文本片段上，并降低了生成错误跨多个角色和事件传播的风险。

3. 我们的框架使用触发词对的轻量级分类器显式检测同一文档中事件之间的潜在因果关系。当发现因果链接时，我们在这些事件之间共享或推断论元：例如，如果未另外提及，效果事件可能继承其原因事件的位置或时间。这种因果感知推断在信息不完整条件下改进了抽取事件记录的完整性和一致性。

4. 我们在两个数据集上进行了实验。我们的模型显著优于八个强基线，包括先前的文档级框架和生成式方法，平均F1值高出4.3%。它还大幅超过了GPT-4上下文学习基线，证实了我们专门架构的优势。

我们提供了消融实验，展示了每个模块（LLM、智能体、因果推理）的贡献，并对提取性能相对于文档特征（事件数量、长度）进行了额外分析。本文其余部分组织如下：第2节回顾了事件抽取的相关工作，包括文档级抽取、大语言模型的使用以及智能体/因果方法。第3节正式定义了任务，并详细描述了我们提出的方法论和模型组件。第4节介绍了我们的实验设置、数据集、基线模型，并报告了定量结果和讨论，包括消融实验和案例研究。最后，第5节总结了我们的贡献和未来工作方向，例如将我们的方法扩展到跨文档事件抽取和实时应用。

**事件抽取基础**

事件抽取在信息抽取领域已长期受到研究关注，其起源可追溯到20世纪90年代的MUC会议。消息理解会议（MUC）的任务包括对恐怖袭击等事件进行模板填充，为定义文本中的事件奠定了基础。MUC-5（1993）Sundheim（1991）及后续评估引入了标准评估指标，并推动了基于规则和统计方法的研究。此后，ACE 2005计划提供了一个多领域标注语料库，用于

**方法论**

在本节中，我们首先形式化定义多类型异构论据事件抽取任务。然后概述我们提出的架构，接着详细描述每个组件：基于大语言模型的事件检测器、基于智能体的论据提取器以及因果推理模块。最后，我们描述了训练目标和算法。

**实验**

我们在两个数据集上评估了所提出的方法，以验证其在不同语言和领域上的有效性。我们与多种基线方法进行了对比，并进行了消融实验以了解每个组件的影响。所有实验均在配备NVIDIA A100 GPU的工作站上完成。

**结论**

在本工作中，我们提出了一个新颖的文档级事件抽取框架，该框架结合了大语言模型的优势、基于智能体的提取策略和因果推理。我们的方法专门解决了长文本中多类型异构论据抽取的挑战：它利用大语言模型的知识改进触发词检测，通过一个状态感知的查询智能体填充论据，该智能体根据问答反馈和当前上下文更新查询构建和上下文选择。

**CRediT作者贡献声明**

徐炳涛：写作——审阅与编辑，写作——初稿，方法论，形式分析，数据管理，概念化。顾宗业：资源，项目管理，数据管理。王彦玲：写作——审阅与编辑，监督，资源，方法论，资金获取。

**利益冲突声明**

作者声明，他们没有已知的 competing financial interests or personal relationships that could have appeared to influence the work reported in this paper.

徐炳涛|顾宗业|王彦玲