深化基于图的葡萄牙语开放信息抽取方法结合大语言模型（LLM）增强

《Computer Speech & Language》：Deepening graph-based approaches for Portuguese open information extraction with LLM augmentation

　　

利用更丰富的信息，例如结构和句法细节，可以增强自然语言处理（NLP）任务，如开放信息抽取（Open IE），特别是对于像葡萄牙语这样资源有限的语言。知识图谱（KGs）通过统一多种标注并支持图机器学习（Graph ML）的应用，提供了一种稳健的解决方案。本文提出了一种面向葡萄牙语Open IE的先进框架，该框架集成了KGs、Graph ML与大语言模型（LLM）增强。该框架采用三阶段流程：（1）从文本中初始构建知识图谱（KG），随后进行（2）谓词抽取和（3）主语/宾语抽取，两者均利用GraphSAGE模型。当Graph ML预测缺失或用于优化/验证抽取结果时，研究人员使用大语言模型（LLMs）（DeepSeek）进行增强。研究人员展示了在葡萄牙语数据集上评估的两个系统版本。最佳版本的自动评估（基于词）在谓词抽取上取得了64.9%的F₁分数，在主语/宾语抽取上取得了89.7%的F₁分数。系统的最终端到端性能为58.2%的F₁分数。两名标注员对51个葡萄牙语句子（产生100个三元组）进行了人工评估，达到了较高的一致性（Cohen's Kappa为0.67）。该系统平均每句抽取1.84个三元组，其中53.9%被认为是正确的。值得注意的是，该版本将无效/错误抽取从先前版本的31.7%显著降低至6.6%，展示了在保持抽取多个有意义三元组能力的同时，精度得到了提升。

开放信息抽取（Open IE）是自然语言处理（NLP）的重要任务，旨在从非结构化文本中提取结构化信息。然而，大多数现有方法针对英语开发，对于葡萄牙语等资源稀缺语言，由于缺乏大规模高质量标注数据和工具，其发展相对滞后。现有方法（如基于规则或神经网络）存在局限性，例如只能提取每个句子一个三元组、依赖根词预测、忽略上下文丰富性等。因此，需要利用更丰富的信息结构（如句法细节）来提升性能。知识图谱（KGs）能够统一多种标注并支持图机器学习（Graph ML），而大语言模型（LLMs）则具备强大的语义理解能力。本研究旨在结合KGs、Graph ML和LLMs，开发一种面向葡萄牙语Open IE的先进框架，以提取更多且有意义的二元组，并探索三者协同的潜力。研究人员提出了一个三阶段框架：首先从文本构建知识图谱（KG），随后进行谓词抽取（Predicate Extraction）和主语/宾语抽取（Subject/Object Extraction），两个阶段均基于GraphSAGE（Hamilton et al., 2018）模型。当Graph ML未检测到谓词时，使用LLM（DeepSeek v3）作为回退机制；同时LLM也用于验证和调整最终的三元组。研究人员在葡萄牙语数据集（TransAlign，自动生成，每句一个三元组，共12918句）上评估了两个版本的系统。自动评估显示，最佳版本在谓词抽取上达到F₁=64.9%，主语/宾语抽取上达到F₁=89.7%，端到端性能为F₁=58.2%。人工评估（51句，100个三元组，两名标注员）显示较高的一致性（Cohen's Kappa=0.67），53.9%的三元组被认为是正确的，且无效/错误抽取从先前版本的31.7%降至6.6%。结论：该集成方法显著提升了葡萄牙语Open IE的性能，降低了错误率，并保持了多三元组抽取能力。其重要意义在于为资源稀缺语言提供了一种灵活、多语言可扩展的解决方案。论文发表在《Computer Speech》。

主要关键技术方法包括：（1）知识图谱（KG）构建：基于Universal Dependencies（Nivre et al., 2020）对句子进行依存分析，构建包含单词节点、句子节点和文本节点及其关系的异构图，节点特征包括词嵌入（使用multilingual-e5-large-instruct模型（L. Wang et al., 2024））和模式特征（如大写开头、URL等）。（2）图机器学习模型：采用GraphSAGE进行节点分类，分别用于谓词抽取（二分类，判断单词是否为谓词的一部分）和主语/宾语抽取（三分类，判断单词为主语、宾语或无）。模型由多层GraphSAGE网络、归一化、ReLU激活和Dropout组成。（3）大语言模型（LLM）增强：使用DeepSeek v3（DeepSeek-AI et al., 2025），在Graph ML未检测到谓词时作为回退（少样本提示，要求提取最相关的谓词），以及用于验证和调整三元组（零样本提示，要求根据给定的主语和宾语候选验证三元组一致性）。数据集来源：TransAlign GitHub仓库中的葡萄牙语子集（自动生成，每句一个三元组），训练集9000句，验证集1000句，测试集2918句。

研究结果部分如下：

4.1 Result examples：通过展示三个例句的抽取结果，说明框架能够处理复杂句子并提取多个三元组，但也存在局限性（如评估者分歧，部分三元组被判定为错误）。

4.2 Automatic evaluation：采用基于词的自动评估方法，由于数据集只有一个三元组，框架可能被错误惩罚，但评估结果仍具有参考价值。

4.2.1 First version：第一版框架（仅预测句子的根词，并依赖依存图重建完整片段）在英语和葡萄牙语上的F₁分别为37.4%和34.2%，混淆矩阵显示对象和谓词识别困难，由于根词预测导致类别不平衡。

4.2.2 Second version — Predicate extraction：第二版谓词模型在测试集上达到F₁=64.9%，准确率93.6%，但仅29.1%的谓词被正确预测（由于数据集质量有限，如标签可能包含过多无关词）。LLM在45.3%的句子中作为回退触发，以提取缺失的谓词。

4.2.3 Second version — Subject and object extraction：主语/宾语模型在给定谓词下达到F₁=89.7%，混淆矩阵显示84.2%主语和90.2%宾语被正确识别。端到端性能（谓词抽取与主语/宾语抽取的乘积）为F₁=58.2%，显著优于第一版。

4.3 Human evaluation：对51句人工评估，共100个三元组。两名标注员一致性为76%，Cohen's Kappa=0.67，表明中等一致性。53.9%的三元组被双方认可为正确，无效抽取从31.7%降至6.6%。框架平均每句抽取1.84个三元组（第一版2.74），但正确率更高，且无效抽取大幅减少。LLM作为判断器的准确率：主语82.7%，宾语75.0%，说明LLM在配对任务中具有一定有效性。

总结讨论部分：讨论指出，本工作通过集成KGs、Graph ML和LLM，显著推进了葡萄牙语Open IE。解决了先前版本的多项局限性（如只预测根词、单阶段架构、缺乏LLM利用）。自动和人工评估均显示改进，尤其是无效三元组大幅减少，提升了抽取结果的可靠性。但框架仍存在局限性，如依赖LLM进行主语-宾语配对，隐式关系无法表示，以及缺乏消融研究量化LLM贡献。此外，人工评估凸显了单一F₁指标的不足，需要更全面的评价指标来捕捉定性差异。翻译研究结论部分：当前工作与所提出的方法学改进展示了相较于先前工作在葡萄牙语Open IE上的进步。知识图谱（KGs）、图机器学习（Graph ML）和大语言模型（LLMs）的集成呈现了一种有前景的方法，适用于资源稀缺语言。这种组合是灵活的，能够适应多种语言，只要这些语言存在句子解析器。研究人员实现了改进的自动评估指标：谓词模型F₁=64.9%，主语/宾语模型F₁=89.7%，端到端结果F₁=58.2%，并且当由高度一致的人工评估者评判时，模型的抽取结果得到了改进。框架的改动通过消除从根词重建主语、谓语和宾语的需求，减少了局限性。此外，它增强了优势，如灵活性、从单个句子中抽取多个三元组的能力，以及更连贯且定义明确的LLM流水线。如同先前研究观察到的，人工评估强调了需要改进的指标来评估这些框架，以及需要英语以外语言的黄金标准数据集。