《Knowledge-Based Systems》:Rule-based Semantic Hypergraph Parsing from Textual Annotations
编辑推荐:
摘要语义超图是一种能够捕捉自然语言中所必需的分层与多关系结构的知识表示方法。本文提出了一种基于规则的语义超图解析器,将文本注释(依存树、语义角色、共指关系)转换为语义超图。该语义超图解析器通过递归和有序的超边保留了嵌套的语义关系,并将谓词-论元结构和共指关系直接整合到超图结构
摘要
语义超图是一种能够捕捉自然语言中所必需的分层与多关系结构的知识表示方法。本文提出了一种基于规则的语义超图解析器,将文本注释(依存树、语义角色、共指关系)转换为语义超图。该语义超图解析器通过递归和有序的超边保留了嵌套的语义关系,并将谓词-论元结构和共指关系直接整合到超图结构中。文中详细介绍了输入的文本注释、生成的语义超图表示以及在解析过程中应用的基于规则的转换。语义超图解析器与现有解析器进行了对比评估。定性比较揭示了我们的解析器在处理副词修饰语、形容词从句和共指关系方面的优势。定量评估在两个数据集上进行:一个大规模标注自然语言文本语料库和一个包含标准超图标注的人工精选数据集。结果显示,我们的解析器输出与标准标注几乎完美对齐,在嵌套表示上比现有解析器高出3–18%。在消除基线差异后,统计显著性检验证实这些改进在各种句法结构中均具有鲁棒性。我们已公开发布了该解析器,以支持结构化语义表示研究并赋能实际应用,包括语义解析、文本挖掘和知识抽取。
引言
语义解析是自然语言处理(NLP)中的一项任务,它将自然语言句子转换为封装句法和语义信息的正式结构化表示。该方法最早于1971年提出[1],[50],已用于识别句子中的实体、关系及其依存关系。各种方法已被开发以增强这些表示的表达力和准确性。
语义超图解析进一步延续了这一方向,将文本注释映射为语义超图[29],这是一种能够表示自然语言丰富性的知识表示方法。与传统句法树不同,语义超图是递归定义的,因此能够表示复杂的分层和多关系文本结构。该过程从基本的文本注释开始,如词性(POS)标注和依存图,这些足以生成基本的超图结构。此外,还可以纳入语义角色、共指关系和命名实体等附加注释,以进一步增强这些结构,使其更具表达力和语义信息。
本文提出了一种基于规则的语义超图解析器。该解析器以基本和附加的文本注释作为输入,输出一个语义超图,其中每个句子表示为一个主超边,每个词表示为一个原子。该方法不仅覆盖了句法依存关系,还编码了更深层的语义关系,如谓词-论元结构和实体引用。
为了验证我们语义超图解析器(SemHyP1)的有效性,我们将其与现有解析器(Graphbrain解析器—GBP)[29]进行了比较。该比较突出了它们在处理语义角色、共指关系集成和依存结构等重要语言特征方面的差异。两种解析器(GBP和SemHyP)都能从词性标注和依存树中推导出超图表示。然而,它们在构建句法结构超图方面差异显著,包括副词谓词修饰语、形容词从句、连词和间接动词论元。两种解析器都包含共指关系集成;然而,GBP为共指关系创建新的超边,而SemHyP将共指关系集成到句子的超边中。
SemHyP相对于GBP的主要贡献在于形式化推广。将依存解析、语义角色标注和共指消解集成到基于超图的表示中已推动了语义解析领域的发展。从工程角度来看,GBP中的数据驱动方法提供了可扩展性和适应性,但基于规则的系统提供了精细语义表示所需的可解释性和精确性。我们的基于规则的语义超图解析器在此基础上构建,提供了将标注文本转换为全面和详细的语义超图的鲁棒框架。通过将我们的解析器与现有模型进行比较,我们旨在展示其有效性并确定未来改进的方向。
评估包括定性分析,通过分析上述句法结构的差异,以及定量评估,使用精确率、召回率和F1分数等指标。结果揭示了我们的方法的优势,该方法能产生更准确和语义更丰富的超图。评估在两个数据集上进行:(1) OntoNotes 5.0数据集[49]用于检验关于差异的假设;(2) NL2SH数据集[60]包含文本注释[61]和语义超图,用于衡量性能。结果显示,我们的解析器输出与标准标注几乎完美对齐,在嵌套表示上比现有解析器高出3-18%。
此外,通过消融研究评估了每个注释层对SemHyP输入的贡献,并将输出与基于图的语义表示进行了比较。
本文其余部分结构如下:第2节综述了语义超图表示和解析的相关工作。第3节描述了我们的方法中使用的文本注释和语义超图结构。第4节解释了我们的语义超图解析器的模型。第5节提供了对我们解析器的评估,并在两个数据集上与现有解析器比较了定性方法和定量性能。第6节总结主要发现和贡献。
章节摘要
相关工作
本节概述了语义超图表示和解析领域的主要文献,重点涵盖四个方面:(1) 基于图和超图的知识表示方法以及基于超图的学习,(2) 丰富超图表示的方法,(3) 语义解析的方法论路径,以及 (4) 所应用的评估指标。我们回顾了奠定基本概念的经典文献,以及更近期的研究成果
数据
语义超图解析将文本注释(即NLP任务的标准输出)转换为复杂的知识表示——语义超图。该过程至少需要分句的已分词文本,包含词性标注和依存信息(头和标签)。这些基本注释足以创建基本的语义超图结构,其中每个句子被解析为一个语义超边,每个词元被解析为一个原子。
语义超图解析器(SemHyP)
各种NLP任务对给定文本输出文本注释。该输出可表示为一系列带有相应属性值的词元或跨度对象。因此,词元和跨度是用作输入的两个对象类。它们对应于注释层级,如表2所示。此外,词元和跨度具有特定属性。属性值可以是文本、标志、注释标签或指向另一个词元或跨度的指针。表8概述了NLP管道
评估
评估语义超图解析器的性能对于理解其表示语言结构的有效性至关重要。本节通过比较两种解析器GBP和SemHyP的输出,评估其质量。作为输出的语义超图被转换为各种结构化表示然后进行评估。我们的目标是确定解析器之间的相似程度及其差异的统计显著性,分析
数据集与工具
使用了两个数据集。OntoNotes 5.0语料库[49]是一个大规模且多样化的语料库,提供了广泛的句子,因此非常适合评估两种解析器之间相似性的统计显著性。然而,由于它缺乏标准语义超图标注,无法用于判断哪种解析器更准确。因此,我们使用NL2SH数据集[60,61],这是一个专门为语义超图解析设计的小型数据集。尽管
结论
语义超图解析通过利用多关系和递归表示对复杂语言形式进行建模,是自然语言处理领域的一大进步。本文提出了SemHyP,一种基于规则的语义超图解析器,它将文本注释转换为语义超图。我们利用依存解析、语义角色标注和共指消解来构建超图,这些超图既保留了句法关系也保留了语义关系,提供了一种
生成式AI和AI辅助技术在写作过程中的声明
在准备本工作期间,作者使用了OpenAI的ChatGPT以提高论文的可读性和语言质量。在使用该工具/服务后,作者对内容进行了审查和必要的编辑,并对发表内容承担全部责任。
CRediT作者贡献声明
Branko ?itko:撰写 – 审阅与编辑,撰写 – 原始草稿,可视化,验证,监督,软件。Ani Grubi?i?:撰写 – 审阅与编辑,资源,项目管理,资金获取,形式分析。Daniel Vasi?:可视化,软件,形式分析。Lucija Bro?i?:撰写 – 审阅与编辑,验证,调查,形式分析,数据整理。
利益冲突声明
作者声明不存在可能影响本文所报告工作的已知竞争性财务利益或个人关系。
致谢
本文所呈现的成果来源于研究项目"基于自然语言处理的自适应课程增强(AC&NL Tutor)",该项目由美国海军研究办公室资助(资助号N00014-20-1-2066)。
Branko ?itko | Ani Grubi?i? | Daniel Vasi? | Lucija Bro?i?