面向生成式联合实体与关系抽取的结构感知语义-主题交互框架

《Pattern Recognition Letters》:A Structure-aware Semantic-Topic Interactive Framework for Generative Joint Entity and Relation Extraction

【字体: 大 中 小 】 时间:2026年09月22日 来源:Pattern Recognition Letters 3.5

编辑推荐:

   # 摘要 - 一种新颖的SSTIF框架,实现了主题级与词元级语义之间的协同交互。 - 双层主题控制通过注意力和词汇层面的主题先验改进了解码。 - 角色编码建模了三重结构的三元组,并缓解了跨三元组依赖。 # 引言 联合实体与关系抽取(JERE)旨在从非结构化文本中同时识别

  # 摘要- 一种新颖的SSTIF框架,实现了主题级与词元级语义之间的协同交互。- 双层主题控制通过注意力和词汇层面的主题先验改进了解码。- 角色编码建模了三重结构的三元组,并缓解了跨三元组依赖。# 引言联合实体与关系抽取(JERE)旨在从非结构化文本中同时识别实体及其语义关系,是知识图谱构建和信息检索等应用的基础任务。早期方法通常采用流水线架构,将命名实体识别和关系抽取作为独立阶段执行[1][2]。这些方法虽然简单有效,但存在错误传播以及实体和关系建模之间交互有限的问题。为解决这些局限,联合学习框架将实体和关系抽取集成到共享表示空间,使两个子任务能够相互交互[3][4]。然而,许多此类方法仍然依赖基于分类的架构,难以捕获多个实体和关系之间的复杂结构依赖。近年来,生成式方法将JERE重新表述为序列生成问题,将关系三元组直接生成为线性化文本序列[5]。这种范式提供了统一且灵活的框架,用于建模多样的抽取结构。为提高生成可靠性,近期研究纳入了结构约束和引导解码策略。例如,ASP[6]将目标结构表示为构建动作序列而非扁平字符串,从而实现更明确的结构建模。UIE[7]引入了基于模式文本到结构的生成框架,统一了各种信息抽取任务,而ATG[8]将联合抽取表述为基于跨度的图生成,并采用定位机制实现实体和关系锚定。然而,现有生成式JERE模型仍存在两个根本局限。**挑战1:主题级信息利用不足。** 大多数生成模型主要依赖局部上下文语义进行下一词元预测,这可能导致实体类型歧义和关系误分类,在长文档或多主题文档中尤为明显。文档级主题可以提供强大的全局先验,反映在特定主题下哪些实体或关系更可能发生[9][10]。现有方法通常将主题信息作为辅助信号而非紧密集成的生成引导,限制了其对解码和全局语义建模的影响。**挑战2:虚假的跨三元组顺序依赖。** 在生成式JERE中,多个三元组通常被线性化为单一序列进行自回归解码。生成过程中,前面的三元组可通过隐藏状态传播影响后面的三元组[11]。然而,三元组的顺序通常是任意的,不反映真正的语义依赖。结果,模型可能学习到虚假的顺序模式,在多三元组设置中引入偏差。这可能导致三元组缺失、重复或错误链接,降低抽取可靠性。为应对这些挑战,我们提出了**结构感知语义-主题交互框架(SSTIF)**用于生成式JERE。SSTIF通过共享编码器联合建模文档级主题和词元级表示,使任务自适应的主题表示在解码期间充当全局语义先验。具体而言,该框架由三个互补模块组成:(1)**在线主题建模**从上下文词元表示中学习潜在主题分布,并与抽取目标联合优化,生成针对JERE定制的主题表示。(2)**双层主题控制**从注意力和词汇两个视角将主题引导纳入解码。注意力层模块将主题和标签信息注入交叉注意力以增强语义对齐,词汇层模块在输出预测中引入主题感知偏置以促进主题一致的生成。(3)**角色编码**引入可学习的角色嵌入以显式表示目标序列中的实体、实体类型和关系角色。通过提供超出位置信息的结构线索,它改善了三元组内一致性并帮助缓解多三元组生成过程中的结构混淆。我们的主要贡献总结如下:- 我们设计了一种双层主题控制机制,在注意力和词汇层面都纳入全局主题先验,引导解码过程中的上下文对齐和词汇选择。- 我们提出了一种角色编码机制,显式表示每个目标序列中词元的语义角色,在改进三元组内依赖的同时减少生成过程中虚假的跨三元组依赖。- 在CoNLL04、ADE和SciERC数据集上的大量实验证明了所提框架的有效性,包括在SciERC上比生成式基线提升1.6%的F1分数。# 各节摘要## 联合实体与关系抽取联合实体与关系抽取(JERE)旨在以统一过程识别实体和语义关系。早期联合模型主要依赖跨度分类或表格填充。DyGIE++[12]使用上下文跨度表示和图传播来建模候选跨度之间的依赖关系,而PURE[3]表明精心设计的实体优先流水线可以通过分离实体和关系表示保持竞争力。Zhang等人[13]集成了局部实体## 方法论如图1所示,该框架集成了三个互补模块:(1)一个在线的Transformer增强主题建模模块,与生成模型联合学习文档级主题表示;(2)一种双层主题控制机制,在解码过程中注入主题先验;(3)一种角色感知解码机制,显式编码结构角色以稳定多三元组生成。## 实验设置*数据集与指标* 我们在三个广泛使用的基准数据集上进行评估,包括CoNLL04[26]、ADE[27]和SciERC[28],分别涵盖通用、生物医学和科学领域。详细统计数据见表1。我们采用严格的微平均F1评估,只有当预测的实体跨度、实体类型和关系类型与金标准标注完全匹配时才计为正确。*基线方法* 为全面评估我们的方法的有效性,## 结论本文提出了SSTIF,一种用于联合实体与关系抽取的结构感知语义-主题交互框架。SSTIF解决了生成式JERE的两个关键局限:全局主题语义利用不足以及生成过程中虚假的跨三元组依赖。为此,SSTIF引入了双层主题控制,将动态学习的主题信息纳入生成过程,提供超越词元级交互的全局语义引导,以及一种角色## CRediT作者贡献声明**Luo Jiao:** 原始稿件撰写、项目管理、方法论、调查研究。**Zheng Hui:** 评审与编辑、方法论、形式化分析、概念化。**He Junwen:** 评审与编辑、可视化、方法论。**Hong Yifan:** 原始稿件撰写、监督、概念化。**Li Wanli:** 评审与编辑、监督、方法论。**Zhang Hong-Yu:** 评审与编辑、监督、方法论、形式化分析、概念化。**Feng Zaiwen:**## 利益冲突声明作者声明,他们没有已知的可能影响本文工作的竞争性经济利益或个人关系。## 致谢本研究部分由中国国家重点研发计划(资助号2023YFF1000100)和湖北省重点研发计划(资助号2024BBB055、2024BAA008)支持;部分由云南省重大科技项目(资助号202502AE090003)支持。Luo Jiao | Zheng Hui | He Junwen | Hong Yifan | Li Wanli | Zhang Hong-Yu | Feng Zaiwen
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号