基于特征空间对齐的结构感知生成式信息提取 李远青(Yuanqing Li) 陶晨(Chen Tao) 张宝玉(Baoyu Zhang) 张伟山(Weishan Zhang)

《Information》:Structure-Aware Generative Information Extraction via Feature Space Alignment Yuanqing Li, Chen Tao, Baoyu Zhang and Weishan Zhang

【字体: 大 中 小 】 时间:2026年04月29日 来源:Information 2.9

编辑推荐:

  摘要 大型语言模型(LLMs)在利用文本中嵌入的句法结构和实体关系进行长文档信息提取时面临困难。为了解决这个问题,本文提出了一种生成式提取方法,该方法结合了异构拓扑意识和空间对齐。该方法首先提取句法和共指信息以构建异构文档图,并使用专家混合网络来解耦和编码多类型拓扑特征。然后,通

  摘要
大型语言模型(LLMs)在利用文本中嵌入的句法结构和实体关系进行长文档信息提取时面临困难。为了解决这个问题,本文提出了一种生成式提取方法,该方法结合了异构拓扑意识和空间对齐。该方法首先提取句法和共指信息以构建异构文档图,并使用专家混合网络来解耦和编码多类型拓扑特征。然后,通过组件正交投影机制和图文本对比学习策略,将提取的图特征高保真地对齐到语言模型的底层语义空间。此外,拓扑感知编码器(Topology-Aware Encoder)将全局特征压缩成固定长度的结构提示,以指导文本生成。在ACE2005、WikiEvents和DuEE数据集上的实验表明,所提出的方法在信息提取任务上取得了最先进的性能。因此,这些结果表明,所提出的框架是不同规模的基础LLMs进行复杂信息提取的一种有前景的方法。

1. 引言
信息提取(Information Extraction, IE)是自然语言处理(NLP)中的一个基础任务,其目标是从大量非结构化文本中准确识别和提取结构化知识,如实体、关系和事件。它是构建领域特定知识图谱、实现智能检索和支持公共意见分析的关键前提[1,2]。近年来,随着预训练范式的演变,IE技术经历了深刻的变革。以GPT和LLaMA为代表的大型语言模型(LLMs)在语义理解和零样本泛化方面展示了显著的能力[3]。通过指令调整和提示工程等技术[4,5],生成式LLMs可以将异构提取任务统一为序列到序列的生成过程,从而大大简化了传统流水线模型中繁琐的模块级联。
尽管生成范式在短文本和一般场景中取得了显著成功,但在处理具有复杂依赖性的长文档信息提取时仍面临严峻挑战。首先,长文档中的实体之间的关系通常跨越多个句子,涉及复杂的共指链和长距离句法依赖性。现有的LLMs本质上是基于一维序列和自注意力机制的自回归模型。由于注意力计算的二次复杂性和长序列遗忘问题,它们难以明确地全局捕获文本中的潜在非欧几里得拓扑结构[6]。这种“结构感知盲点”使得模型在推断复杂论点关系时容易丢失关键线索。
其次,尽管图神经网络(Graph Neural Networks, GNNs)在处理拓扑结构方面具有独特优势[7,8],但直接将GNN特征注入LLMs仍然是一项艰巨的任务。GNN提取的图特征空间与LLMs预训练的文本语义空间之间存在巨大的模态差异[9]。简单的特征连接往往会导致大型模型中的上下文偏移,这不仅无法有效利用结构信息,还会引入严重的结构噪声,破坏模型的原始文本生成能力[10]。最近关于图增强LLMs的研究探索了外部图适配器或提示来缓解这个问题[11,12],但它们往往忽略了两种模态之间的固有几何分布差异,导致对齐效果不佳。
与现有的图增强LLM范式相比,我们的框架采用了一种非侵入式的图集成策略。以前的方法通常要么将图结构线性化为文本描述,这可能会引入过多的上下文负担并加剧“中间丢失”问题,要么将图模块深度注入LLM的内部架构,这会增加集成复杂性并可能干扰预训练模型的原始语义空间。相比之下,我们的方法在不修改内部Transformer框架的情况下完成了图特征的对齐和注入,使LLM能够通过对齐的结构提示利用结构知识。此外,所提出的拓扑感知编码器(Topology-Aware Encoder, TAE)不是直接连接可变长度的图令牌,而是使用拓扑掩码的稀疏交叉注意力来选择性地聚合图邻域,并将完整图表示压缩成固定长度、高密度的结构提示,从而减少过长上下文对LLM的不利影响。
为了解决上述问题,本文提出了一种生成式信息提取框架,该框架结合了异构拓扑意识和跨模态特征对齐。这项工作的贡献有三个方面。首先,我们构建了一个结合了句法依赖性、跨句子语义关联和候选论点连通性的异构文档图,并使用具有上下文感知的专家混合适配器对这一图进行编码。其次,我们引入了一种联合对齐策略,结合了基于PCA的投影和对比目标,以提高图特征与LLM嵌入空间之间的兼容性。第三,我们设计了一种拓扑感知编码器,将可变大小的图表示压缩成固定长度的结构提示,用于下游生成。实证表明,这些组件在包括ACE2005、WikiEvents [13]和DuEE [14]在内的三个基准数据集上提高了提取性能。
本文的其余部分组织如下。第2节回顾了生成式信息提取、用于IE的图神经网络和图增强大型语言模型的相关工作。第3节介绍了所提出的方法,包括异构文档图构建、具有上下文感知的MoE图适配器、跨模态语义结构对齐和拓扑感知编码器。第4节描述了数据集、基线、评估指标和实现细节。第5节报告了主要实验结果、消融研究、错误分析、效率和鲁棒性分析以及案例研究。最后,第6节总结了本文。

2. 相关工作
2.1. 生成式信息提取
传统的信息提取方法主要依赖于序列标记或联合提取架构。这些方法通常需要为特定任务设计复杂的网络层和标签系统,这使得它们难以适应开放领域的模式迁移[15]。随着大规模预训练模型的出现,生成式信息提取逐渐成为主流。Lu等人[16]提出的UIE框架首次将实体、关系和事件提取任务统一为一个文本生成问题。InstructUIE [4]进一步引入了指令调整技术,构建了包含多任务指令的数据集,使模型具备强大的多任务联合提取和零样本泛化能力。
为了进一步提高提取准确性和适应性,最近的研究探索了各种提示工程和推理增强技术。例如,CodeKGC [17]探索利用代码的结构特征将提取任务转换为遵循特定编程规范的代码生成任务,以获得更强的结构约束。ChatUIE [18]通过交互式对话形式指导模型逐步完成提取。此外,认识到复杂的IE场景通常需要多步骤逻辑推理,最近的方法如MR-UIE [19]强调了多视角推理的重要性。通过将强化学习(RL)与多视角推理路径相结合,MR-UIE将LLMs从被动提取器转变为主动推理器,在零样本设置中显著提高了泛化能力。其他方法探索了提示论点交互[20]或将提取任务框定为问答任务[21]来指导生成过程。尽管这些生成方法显著降低了任务门槛并提高了推理能力,但它们仍然从根本上将文本视为平坦的一维序列。这种对长文档中复杂非欧几里得结构的显式建模缺失限制了它们在处理跨句子或长距离依赖性时的性能。

2.2. 用于信息提取的图神经网络
深度学习模型凭借其深度层次结构,具有出色的非线性特征拟合能力。在IE任务中,这使它们能够更全面地挖掘文本中的深层语义信息,克服了传统方法在处理复杂语义关联时的局限性[22]。例如,Yan等人[23]提出了MOGANED模型,该模型通过高阶句法图计算机制有效聚合了候选触发器的多跳邻域信息。为了解决传统依赖树GCNs容易忽略边标签语义的问题,Cui等人[24]提出了边缘增强图卷积网络(EE-GCN),该网络联合建模句法依赖结构和关系标签,以更准确地捕获词交互。
为了解决流水线方法中的错误传播问题并捕获长距离依赖性,Wadden等人[25]提出了DyGIE++框架。该模型动态构建了一个跨度图(Span Graph),使用共享的跨度表示来更新文本表示,并在命名实体识别、关系提取和事件提取任务之间传播信息,显著提高了重叠事件的提取性能。虽然GNN已被证明是捕获结构先验的事实标准,但大多数现有的基于GNN的IE模型仍然依赖于特定的任务头部和孤立的训练范式,这使得它们难以与基础模型的多功能生成能力无缝集成。

2.3. 图增强大型语言模型
随着强大的LLMs的出现,将图数据作为独立模态与LLMs对齐——通常称为Graph4LLM——已成为一个关键的研究方向,以减轻LLMs的固有限制,如幻觉和缺乏结构推理[26,27]。当前的研究通常在流程的不同阶段将图集成到LLMs中。
输入阶段集成:一个突出的研究方向是将图结构直接集成到输入提示中。如图Prompt [28]和LLaGA [29]这样的框架探索了统一预训练和下游任务或开发图助手。像GraphRAG [30]这样的方法在非结构化文本上构建特定于语料库的图索引,以实现宏观级别的理解和查询特定的摘要。同样,来自实例级别图的方法,如GraphReader [31],动态地将长文档组织成原子事实图,以减轻在长上下文推理过程中的“中间丢失”问题。虽然对于检索有效,但将大型图线性化为文本序列往往会导致输入过长,并可能丢失高阶拓扑信息。
模型阶段集成:为了实现更深层次的对齐,研究人员尝试将图模块直接与LLM架构融合。一些研究使用外部图适配器将图特征投影到LLM的潜在空间中,而不改变核心参数。例如,GraphAdapter [11]使用GNN作为LLMs处理文本属性图的高效适配器,通过对节点文本进行自回归来训练适配器。其他工作探索了内部模型融合,其中图层与Transformer层交错。最近的一个值得注意的架构GL-Fusion [32]引入了结构感知Transformer和图文本交叉注意力,同时处理未压缩的文本和图令牌,实现了灵活的自回归生成和图预测。
尽管取得了这些进展,但仍存在两个限制。首先,许多现有方法要么将图结构线性化为文本序列,要么依赖于粗略的图到文本映射,这可能会削弱高阶拓扑并引入生成过程中的结构噪声。其次,大多数图增强适配器并未明确设计用于异构长文档关系,如句法依赖性、跨句子语义关联和候选论点连通性。这些限制激发了我们设计具有显式跨模态对齐和拓扑感知结构提示压缩的异构图建模框架的动机。

3. 材料和方法
3.1. 整体架构
给定一个用于信息提取任务的自然语言指令序列、一个源文档序列和一个离线构建的异构文档图,本节旨在利用图神经网络提取的显式文档结构知识来增强和指导大型语言模型(LLM)的生成过程。所提出的方法打破了纯文本序列在一维空间中的表示限制,建立了结构增强的图文本协作生成范式,从而旨在提高目标结构化提取序列的条件概率。整个框架如图1所示。图1. 所提出方法的整体架构。(左下) 图构建模块(第3.2节)使用NER和解析工具构建具有句法(SDP)、语义(SEM)和论点(ARG)边的异构图。(左中) MoE-GraphAdapter(第3.3节)使用动态路由提取异构特征。(左上) 子空间对齐模块(第3.4节)使用PCA投影和双协同对比损失(DS3C)弥合模态差异。(右) 拓扑感知编码器(TAE,第3.5节)使用拓扑掩码多头交叉注意力(依赖于查询Q、键K和值V)和SwiGLU FFN将图嵌入压缩成固定长度的结构提示(Pstruct)。最后,这些提示与文本嵌入连接起来进行LLM自动回归解码。为了清晰起见,我们总结了整个框架中使用的主要符号。让 表示任务指令序列, 表示源文档, 表示从中构建的异构文档图,其中 、 和 分别表示节点集、边集和关系类型集。目标结构化提取序列表示为 。给定这些输入,模型旨在最大化条件生成概率,其中 表示整个框架的可训练参数。在以下小节中, 表示由MoE图适配器提取的图特征矩阵, 表示跨模态投影后的对齐图特征, 表示最终注入LLM的固定长度结构提示矩阵。
模型的整体计算流程可以概括为三个核心阶段:异构特征提取。混合专家图适配器为不同类型的拓扑关系分配了专用的消息传递参数。它独立地从每个特定关系的子图中提取并动态融合了专门的节点表示。通过维度变换、基于PCA的正交投影约束以及用于语义-空间对齐的对比学习,图特征的分布几何结构被强制对齐到大型语言模型(LLM)的令牌嵌入空间中,从而得到对齐的表示。拓扑感知的高密度特征压缩通过任务指令调制的动态查询和拓扑掩蔽的交叉注意力,将整个图的节点特征压缩成固定长度、高信噪比的结构提示令牌。最后,这个固定长度的结构提示矩阵与任务指令和源文档在底层嵌入空间中连接起来,然后输入到LLM中进行信息提取。

3.2. 异构文档图构建
本节描述了从源文档构建异构文档图的过程。异构边类型集合被定义为,分别对应于句法依赖关系、跨句子语义关联和候选论元关系。

3.2.1. 节点集定义
图的节点集包括两种类型的文本片段:
实体提及节点:使用低阶适配的Qwen2.5-14B模型从源文档中提取所有命名实体提及。每个提及对应一个节点,其属性包括提及文本、实体类型以及它所属的句子ID。
触发候选节点:基于事件模式中的预定义触发词库或低阶适配的Qwen2.5-14B模型,提取所有触发候选项。每个候选项对应一个节点,其属性包括触发文本、候选事件类型和句子ID。节点的总数为。

3.2.2. 异构边构建
句法依赖路径边(SDP边):对文档中的每个句子应用依赖解析器以获得语义依赖树。对于同一句子中的任意两个节点,如果它们在依赖树上的最短依赖路径长度不超过阈值,则添加一条无向边:
SDP边编码了句子内的词级语义修改关系,捕捉诸如主语-谓语、动词-宾语和介词-宾语等语法结构。
跨句子语义关联边(SEM边):传统方法依赖于外部共指消解模型来构建跨句子实体链接。然而,这类模型在中国的场景中的可用性有限,并且预测错误可能会通过图拓扑传播到下游的图神经网络(GNN)编码中。因此,本文提出了一种不需要外部共指模型的跨句子语义关联边构建策略。相反,它直接利用LLM嵌入层来计算实体提及之间的语义相似性。
对于位于不同句子中的任意两个实体提及节点,使用冻结的LLM嵌入层(具体初始化方法详见第3.2.1节)获取它们的表示,并计算余弦相似度:
这里,表示节点覆盖的令牌数量,是骨干LLM的嵌入维度,是节点在同一嵌入空间中的初始语义表示。
为了控制跨句子边的密度,引入了一个基于句子间距离的自适应阈值:
在方程(3)中,表示基础语义相似性阈值,是距离感知的阈值调整系数,和分别表示节点和的句子索引。因此,衡量了两个节点之间的句子间距离,随着句子距离的增加,自适应阈值变得更加严格。当满足条件时,添加一条跨句子边。对于同一句子中未通过SDP边连接的实体对,使用较低的阈值来补充句子内的语义关联。这两部分结合形成了。

3.3. 上下文感知的MoE图适配器
3.3.1. 语义初始化
在接收图输入时,传统的GNN通常使用随机向量或低维预训练的词向量作为节点输入特征。为了赋予模型更强的先验语义理解能力,本节根据节点在文本中的起始和结束索引位置从LLM的令牌嵌入矩阵中提取相应的特征向量。这些向量被平均池化以获得节点的语义特征,作为图中相应节点的初始特征。
其中表示从冻结的LLM词汇矩阵中提取的向量。这种初始化确保了节点特征从一开始就位于LLM的语义空间内。

3.3.2. 两层残差专家网络
我们并行构建了独立的专家网络,每个专家都是一个两层残差多头图注意力网络。对于专家,第一层(局部邻域感知层)定义为:
函数表示指数线性单元(Exponential Linear Unit)激活函数,在邻域聚合后引入非线性。是专家中第一层的可学习线性变换矩阵,是多头图注意力权重。
在方程(7)中,是专家中第一层的可学习注意力向量,表示向量连接,表示转置。函数是用于计算未归一化注意力分数的泄露修正线性激活函数。指数函数和分母共同实现了对所有节点的softmax归一化,使得注意力权重在局部邻域内总和为1。
第二层引入了残差连接和层归一化:
在方程(8)中,是专家中第二层的可学习变换矩阵,是相应的第二层注意力权重。表示第一层产生的中间节点表示。与方程(6)类似,用作聚合后的激活函数。在方程(9)中,表示层归一化,通过归一化隐藏表示来稳定训练。项是保留第一层信息的残差连接,同时促进更深层次的图表示学习。

3.3.3. 上下文感知的动态路由
我们将全局上下文向量定义为输入文档中所有令牌嵌入的平均池化结果。节点的路由概率分布计算如下:
在方程(10)中,表示输入文档的全局上下文向量,通过平均池化所有令牌嵌入获得。表示局部节点表示和全局文档上下文的连接。是可学习的路由矩阵,是在训练期间引入的探索噪声,以鼓励专家多样性。函数将路由逻辑值转换为专家的概率分布,得到节点的路由概率向量。是训练期间的探索噪声。使用Top-K稀疏路由(),MoE层输出:
这产生了完整的图特征矩阵。

3.4. 跨模态语义-结构对齐
GNN提取了丰富的拓扑关系特征。然而,由于特征聚合和图卷积过程中的非线性映射,这种图特征空间与LLM的底层文本表示空间之间存在模态差距和语义漂移。如果直接将图特征注入LLM,将会引入跨模态的结构噪声,导致不可控制的上下文偏移和提取幻觉。因此,本节提出了一种跨模态语义空间的双重对齐机制,范围从宏观几何投影到节点特征对比学习。其核心是语义-结构协同对齐损失。

3.4.1. 维度仿射对齐
作为图-文本对齐的基础,图特征首先通过线性投影矩阵向上投影到LLM嵌入维度:
在方程(12)中,表示MoE图适配器输出的节点特征矩阵,其中是图节点的数量,是图的隐藏维度。可学习矩阵将图特征从投影到LLM嵌入维度,是相应的偏置项。因此,得到的矩阵位于与骨干LLM的令牌嵌入相同维度的空间中。

3.4.2. 语义空间正交投影约束
为了确保注入的图特征位于LLM的可理解范围内,本节利用LLM预训练嵌入矩阵的固有低维流形属性进行空间约束。对LLM令牌嵌入矩阵进行主成分分析(PCA),以获得主成分,然后进行奇异值分解(SVD):
选择对应于最大奇异值的右奇异向量来形成主成分基。然后强制将图特征投影并重建在这个子空间中:
这里,表示骨干LLM的冻结令牌嵌入矩阵,是词汇大小。奇异值分解后,前个右奇异向量形成主成分基,定义了LLM的主导语义子空间。将投影到这个子空间中,保留了与LLM语义几何最兼容的成分,同时抑制了正交噪声成分。
这种正交投影旨在过滤掉图特征中与LLM语义空间正交的成分,从而将图特征表示限制在LLM的语义空间内,并确保注入的图特征成分对大型模型是可理解的。

3.4.3. 语义-结构协同对比学习
本小节的目标是在保持图编码器已经捕获的局部拓扑的同时,将图特征与文本语义对齐。为此,我们将跨模态语义对齐目标与结构保持的对比目标结合起来。
尽管PCA正交投影提供了全局几何去噪,但它没有在特定的图节点及其对应的文本令牌之间建立细粒度的语义绑定。在传统的跨模态对齐工作中,通常使用标准的InfoNCE损失函数来实现这一点。
然而,单个InfoNCE损失在处理图数据时存在重要的拓扑限制缺陷。在构建负样本排斥项时,标准对比学习会盲目地将批次中的所有其他节点(除了锚点)作为负样本推开,而不加区分。然而,在异构文档图中,节点之间存在强烈的物理连接性。如果在对齐阶段将拓扑相邻的节点在语义空间中盲目推开,将导致严重的拓扑崩溃,直接破坏GNN刚刚提取的结构同构性。
为了解决标准InfoNCE的单个语义对齐引起的结构破坏问题,本文提出了一种结合跨模态语义对齐与图结构保持的双重对比学习机制。

3.4.1. 维度仿射对齐
作为图-文本对齐的基础,图特征首先通过线性投影矩阵向上投影到LLM嵌入维度:
在方程(12)中,表示MoE图适配器输出的节点特征矩阵,其中是图节点的数量,是图的隐藏维度。可学习矩阵将图特征从投影到LLM嵌入维度,是相应的偏置项。因此,得到的矩阵位于与骨干LLM的令牌嵌入相同维度的空间中。

3.4.2. 语义空间正交投影约束
为了确保注入的图特征位于LLM的可理解范围内,本节利用LLM预训练嵌入矩阵的固有低维流形属性进行空间约束。对LLM令牌嵌入矩阵进行主成分分析(PCA),以获得主成分,然后进行奇异值分解(SVD):
选择对应于最大奇异值的右奇异向量来形成主成分基。然后将图特征强制投影并重建在这个子空间中:
这里,表示骨干LLM的冻结令牌嵌入矩阵,是词汇大小。奇异值分解后,前个右奇异向量形成主成分基,定义了LLM的主导语义子空间。将投影到这个子空间中,保留了与LLM语义几何最兼容的成分,同时抑制了正交噪声成分。
这种正交投影旨在过滤掉图特征中与LLM语义空间正交的成分,从而将图特征表示限制在LLM的语义空间内,并确保注入的图特征成分对大型模型是可理解的。

3.4.3. 语义-结构协同对比学习
本小节的目标是在保持图编码器已经捕获的局部拓扑的同时,将图特征与文本语义对齐。为此,我们将跨模态语义对齐目标与结构保持的对比目标结合起来。
尽管PCA正交投影提供了全局几何去噪,但它没有在特定的图节点及其对应的文本令牌之间建立细粒度的语义绑定。在传统的跨模态对齐工作中,通常使用标准的InfoNCE损失函数来实现这一点。
然而,单个InfoNCE损失在处理图数据的IE任务时存在重要的拓扑限制缺陷。在构建负样本排斥项时,标准对比学习会盲目地将批次中的所有其他节点(除了锚点)作为负样本推开,而不加区分。然而,在异构文档图中,节点之间存在强烈的物理连接性。如果在对齐阶段将拓扑相邻的节点在语义空间中盲目推开,将导致严重的拓扑崩溃,直接破坏GNN刚刚提取的结构同构性。
为了解决标准InfoNCE的单个语义对齐引起的结构破坏问题,本文提出了一种结合跨模态语义对齐与图结构保持的双重对比学习机制。

3.4.1. 跨模态语义特征对齐
首先,使用实体节点及其对应的文本嵌入之间的对应关系建立局部语义牵引:
这里,表示实体的LLM嵌入表示,是温度参数。PCA投影和对比学习从全局几何和局部语义的角度协同消除了图-文本的模态差距。

3.4.2. 图结构一致性保持损失
为了防止的过度语义拉伸撕裂图的拓扑结构,本节引入了结构一致性对比损失。该术语要求在原始图中物理上相邻的节点在模态对齐映射后必须在潜在空间中严格保持它们的接近关系:
这里,表示异构图中节点的一阶拓扑邻域集。是节点的真实邻居(正样本),是图中与其没有边连接的无关节点(负样本)。是结构对比温度参数,用于控制局部连接子图的紧凑性。
与基本的InfoNCE损失相比,它赋予节点强大的拓扑凝聚力,确保相互连接的局部子图的逻辑骨架在整体迁移到文本空间时不会发生扭曲。

3.4.3. 联合优化目标
总之,单一的跨模态对齐往往以牺牲图的原始拓扑连接性为代价。为了实现无损的特征映射,本文提出了一个联合优化目标,称为双协同结构-语义对比损失(DS3C Loss):(17) 参数描述:是一个动态平衡的超参数,用于在语义准确性和结构保真度之间找到最优解。通过上述联合优化范式,模型旨在在宏观层面上弥合模态差距,输出具有语义对齐和结构保留的对齐特征。3.5. 感知拓扑的图文本共编码器在MoE-GraphAdapter编码和子空间对齐之后,图节点特征被对齐到LLM的语义空间。然而,它们的维度会随着文档大小的变化而动态变化。直接将它们注入LLM可能会导致过长的上下文,并污染原始文本的语义。因此,本节设计了一个感知拓扑的编码器(TAE)。其核心是感知拓扑的稀疏交叉注意力机制,该机制根据异构文档图的拓扑结构动态生成注意力掩码。这限制了查询向量仅关注其拓扑邻域内的图节点,将可变长度的图节点特征压缩成固定长度的结构提示矩阵,从而实现噪声过滤和拓扑局部性的保持。TAE的总体结构如图2所示。图2. 感知拓扑编码器(TAE)的架构。左侧子模块对对齐的图特征执行拓扑掩码的稀疏交叉注意力,右下角子模块生成任务指令调制的动态查询,上方子模块应用残差归一化和SwiGLU前馈网络来产生最终的固定长度结构提示矩阵。处理步骤如图所示。3.5.1. 任务指令调制的动态查询生成初始化一个可学习的静态查询基础。给定一个任务指令,通过LLM嵌入层的平均池化获得一个指令语义向量。静态基础经过仿射调制:(18) 其中是元素级的乘法,是门控激活函数。(指令调制投影矩阵)和(内容感知门控投影矩阵)是可学习参数。这种调制使得查询具有任务特异性,为不同的提取意图激活不同的查询槽。3.5.2. 感知拓扑的稀疏交叉注意力机制为了解决由于全局特征注入引起的注意力分散现象,本节提出了感知拓扑的稀疏交叉注意力(TM-SCA)。使用作为查询,作为键和值,引入了一个拓扑掩码来执行交叉注意力。这确保每个查询向量仅关注其拓扑邻域内的图节点,避免来自无关节点的噪声干扰。拓扑掩码的构建:拓扑掩码是基于第3节构建的异构文档图动态生成的。核心思想是,与事件触发候选节点拓扑上更接近的节点更有可能携带与提取任务相关的结构信息,而孤立或距离较远的节点应该被屏蔽以减少噪声。首先,从异构文档图中识别所有事件触发候选节点的集合。对于图中的每个节点,计算其到最近触发候选节点的最短路径距离:(19) 其中是图中节点和之间的最短路径距离(以边数计)。如果和所有触发候选节点之间没有可达路径,则。根据最短路径距离,拓扑掩码矩阵的元素定义为:(20) 其中是一个预设的拓扑跳跃阈值,用于控制每个查询向量的感受野。当时,相应的注意力权重在Softmax归一化后接近零,有效地将节点从注意力计算中屏蔽掉。在掩码矩阵中,如果节点是孤立节点或到所有触发候选节点的最短路径距离超过常数,则,否则为0。(21) 稀疏交叉注意力的输出通过残差连接、层归一化和SwiGLU门控前馈网络得到输出:(22) (23) 作为固定长度、高信噪比的结构提示矩阵。在LLM的输入层,指令嵌入、结构提示和文档嵌入沿着序列维度连接:(24) 将结构提示放在指令和文档之间,允许LLM通过自注意力机制自然地关注拓扑信息。因为是空间对齐的,LLM可以像处理标准文本标记一样与之交互。3.6. 训练策略 3.6.1. 自监督模态对齐预训练如果MoE-GraphAdapter和对齐模块在参数初始化后直接用文本生成任务进行训练,LLM将主导梯度,图编码器将很难学到有用的图结构知识。因此,在这个阶段,图编码器独立于LLM进行预训练以完成参数更新。参数状态:冻结所有LLM参数;仅优化MoE-GraphAdapter、和第一阶段的专属预测头(多层感知器,MLP)。优化目标:随机屏蔽部分节点特征和边,联合优化四个损失:链接预测损失()这是一个二元分类损失。对于图中实际存在的边(正样本),预测概率应接近1;对于随机抽样的不存在的边(负样本),预测概率应接近0。将两个项的负对数的期望值相加。这测试了节点嵌入是否通过预测边的存在来编码真实的图拓扑。节点对的MoE输出进行元素级乘法并通过MLP来预测边概率:(25) (26) 语义-结构对齐损失()见方程(17)。路由监督损失()为MoE门控网络提供明确的分类监督。基于每个节点参与度最高的边类型(SDP/SEM/ARG)构建伪标签,要求门控分布与此伪标签对齐。负载平衡损失()其中是第个专家实际处理的节点比例,是门控网络分配给第个专家的平均概率。这惩罚了分布不均的情况。如果专家的利用率极不平衡,一些专家将长时间没有梯度,参数无法更新,这相当于浪费了模型容量。第一阶段总损失:(29) 其中和是用于平衡路由解耦和负载平衡强度的超参数,避免辅助损失掩盖主要的结构学习目标。3.6.2. 端到端联合微调以进行信息提取在第一阶段之后,图编码器有了良好的初始化,但它还不知道哪些结构信息对IE任务最重要。第二阶段使用带有交叉熵生成损失的真实IE标注数据作为主要目标,允许梯度从LLM输出端反向传播,依次通过低秩适应(LoRA)适配器、TAE和MoE,推动整个链条与“生成正确的事件结构”的目标对齐。参数状态:冻结LLM主干;注入LoRA适配器;激活TAE和MoE进行端到端联合更新。联合优化目标:梯度从LLM输出端反向传播,依次穿透LoRA、TAE和MoE,实现由统一语义目标驱动的全链协同优化。4. 实验 4.1. 数据集为了全面评估所提出方法的有效性和鲁棒性,我们在三个广泛使用且具有挑战性的信息提取(IE)基准数据集上进行了实验:ACE2005:一个标准的细粒度IE基准数据集。遵循标准数据分割(529个文档用于训练,74个用于验证,40个用于测试),我们关注事件提取任务,其中包括三个子任务:事件触发识别和分类,以及事件论元提取。为了引入结构信息,我们构建了一个文档内实体共现图,其中节点代表实体,如果两个实体在同一句子中共同出现,则创建边。WikiEvents [13]:一个大规模的事件提取数据集,其中文档和事件论元自然形成一个复杂的图结构。我们严格遵循数据集创建者提供的官方数据分割。我们直接使用其注释来构建事件-论元关系图作为图神经网络(GNN)的输入。这个数据集是一个理想的场景,用于验证我们的方法在具有明确、复杂图结构的数据上的性能。DuEE [14](百度事件提取):一个来自现实世界网络环境的大规模中文事件提取数据集,涵盖了生活、灾难和金融等广泛领域。我们使用基准发布官方的数据集分割。这个数据集提供了事件类型分类、触发提取和论元角色分类的注释。它用于测试我们模型的跨语言泛化和鲁棒性。4.2. 基线和比较模型我们将我们提出的方法与一系列最先进的(SOTA)基线进行了比较,这些基线可以分为以下几类:参数高效微调(PEFT):LLM-LoRA将低秩适应应用于冻结的LLM,而不结合任何外部图信息。指令调制的统一IE:InstructUIE [4]是一个基于Flan-T5在大量多任务指令数据上微调的统一IE框架;基于提示和代码的IE:GoLLIE [33]通过使用代码风格的提示将LLMs与注释指南对齐来增强零样本提取;CodeKGC [17]将IE转换为代码生成任务以利用结构约束;mCODEGPT [34]使用分层提示策略指导LLMs。基于代理的框架:AgenticIE [35]是一个适应性代理框架,通过多步骤推理、规划和自我反思处理长文档中的复杂依赖关系。图增强型LLMs:RTE-GMoE [36]利用图专家混合学习框架;LayIE-LLM [37]通过数据结构和输出细化来改进提取;GaLLa [38]通过直接将图输入作为提示来结合结构感知。GraphAdapter [11]为LLMs引入了一个基于GNN的高效适配器。4.3. 评估指标遵循IE领域的标准实践,我们使用精确度(P)、召回率(R)和F1分数作为评估指标。F1分数定义为精确度和召回率的调和平均值:(31) 仅当预测的结构记录与真实情况严格匹配时,提取才被认为是正确的。具体标准如下:关系提取(RE):如果主体和对象的关系三元组以及关系类型都与真实情况匹配,则关系三元组是正确的。事件提取(EE):如果其文本范围和预测的事件类型与标准注释匹配,则触发预测是正确的。事件论元提取(EAE):如果其文本范围、论元角色类型和相关事件类型都与真实情况严格对齐,则论元提取是正确的。4.4. 实现细节我们的主要模型基于Qwen2.5-14B-Instruct作为基础LLM构建。专家混合(MoE)图适配器利用了具有隐藏维度的并行双层图注意力网络(GAT)。拓扑掩码跳跃阈值设置为,最大最短依赖路径(SDP)长度为。为了确保公平和可重复的比较评估,所有基线方法都使用相同的标准数据分割协议在三个数据集上进行了训练和评估。对于基于LLM的基线(例如,LLM-LoRA、GoLLIE、GraphAdapter),我们在适用的情况下标准化了训练配置:模型使用AdamW优化器进行了最多10个时代的训练,批量大小为8,学习率衰减计划从5 × 10^-5开始。基于提示和基于代理的基线(例如,InstructUIE、AgentIE),我们严格遵循它们官方实现中提供的原始任务特定提示模板和数据预处理流程,以最大化其预期性能。在微调阶段,我们使用AdamW优化器,学习率为5 × 10^-5。初始学习率设置为1 × 10^-4,采用余弦衰减计划和0.06的预热比率。每个设备的批量大小为2,梯度累积步数为8,从而得到有效的批量大小为16。所有实验都在配备2NVIDIA RTX A6000(48 GB)GPU的工作站上进行(NVIDIA,加州圣克拉拉)。详细超参数总结在表1中。表1. 超参数配置。5. 结果和讨论 5.1. 主要结果表2、表3和表4分别展示了我们的方法与各种基线在ACE2005、WikiEvents和DuEE下游任务上的比较性能。对于基于LLM的基线,为了确保公平比较,我们在相同的实验环境中重新实现或重新运行了这些方法,使用Qwen2.5-14B作为主干模型,硬件设置、训练协议和评估流程与我们的方法相同。表2. ACE2005数据集上的性能。表3. WikiEvents数据集上的性能。表4. DuEE数据集上的性能。5.2.**讨论与分析**
基于实验结果,我们的方法在评估的数据集和任务中始终表现出具有竞争力的性能,尤其是在对结构敏感的设置中获得了最大的提升。我们将这些改进解释为明确的结构信号可以补充基于序列的LLM表示在信息提取中的作用的证据。与经过精心指令调优的模型(例如InstructUIE、GoLLIE)和具有复杂推理能力的基于代理的方法(例如AgentIE)相比,我们的方法始终获得了更高的F1分数。这些性能提升在关系提取(RE)和事件论元提取(EAE)任务中尤为明显,这些任务严重依赖于文本拓扑和长距离依赖关系。例如,在ACE2005数据集上,我们的模型在RE和EAE中的F1分数分别为79.1%和66.2%,分别比最强的基线模型(LayIE-LLM和AgentIE)高出3.0%和3.2%。这表明,明确注入和对齐异构图结构有助于缓解LLM在推断复杂论元关系时经常出现的“结构盲视”问题。

WikiEvents数据集的特点是文档较长且论元角色复杂。在全局结构依赖的EAE任务中,我们的方法(60.4%)的表现优于基本的指令调优模型和多步骤推理框架(如AgentIE,57.5%)。这表明我们的MoE图适配器和拓扑感知编码器(TAE)在跨越句子边界和捕获实体共指及长距离句法依赖关系方面具有潜在的实用性。在DuEE数据集(一个真实的中文事件提取语料库)中,我们的框架在评估的模型中仍然获得了最高的F1分数(EE为75.1%,EAE为58.2%)。鉴于中文的句法结构(如省略和倒装)通常比英语更隐含,这些结果表明我们提取和融合句法树和语义关联图的机制具有一定的跨语言通用性。

与基本的微调模型(LLM-LoRA)相比,我们的框架在所有指标上都有显著提升(例如,在ACE2005 EAE中提高了9.7%)。这突显了纯1D序列自回归模型在处理非欧几里得拓扑时的局限性,从而支持了引入外部结构知识的必要性。与基于代码/提示的模型(CodeKGC、mCODEGPT)相比,尽管这些方法试图通过LLM的代码生成能力应用结构约束,但它们基本上将图结构“线性化”为文本。观察到的改进表明,所提出的PCA正交投影和双重对比学习(旨在更忠实地将图特征与潜在的语义空间对齐)在保持高阶拓扑信息方面可能比简单的序列连接更有效。与其他增强图结构的LLM(RTE-GMoE、GaLLa)相比,我们的方法也表现更好。我们假设这部分是由于我们提出的“双重协同结构-语义对比策略”,该策略旨在减少直接注入图特征时通常引入的模态差距和结构噪声,帮助LLM在保持其原始语言生成能力的同时利用图知识。

**5.3. 不同LLM架构上的泛化能力**
为了验证我们方法的模型无关性和可扩展性,我们将框架集成到了具有不同规模和架构的各种LLM架构中。这些包括密集模型Qwen2.5-7B、Llama2-7B/13B、Llama3-8B以及一个基于MoE的模型DeepSeek-V2-Lite,在推理过程中每个令牌仅激活2.4B参数。与它们各自的基线微调版本相比的结果如表5所示。表5显示,无论基础模型的大小或内部架构如何,我们的方法始终能够获得显著的性能提升(平均提升幅度在7.2%到9.3%之间)。这证实了我们的方法可以无缝集成到不同的LLM中,并在结构知识注入方面稳定地发挥其优势。

**5.4. 消融研究**
为了深入研究每个架构组件的贡献,我们对两个数据集进行了严格的消融研究。结果总结在表6中。表6展示了方法组件的消融研究。第1类研究了预训练和架构组件的贡献。移除自监督预训练(w/o PT)平均使性能下降2.78分,表明预训练为后续的任务特定优化提供了更有利的初始化。用更简单的线性路由方案(w/o ctx)替换上下文感知路由导致性能下降4.95分,表明在我们的实验设置中,输入依赖的路由是有益的。用单个共享的两层GAT(w/o MoE)替换MoE图适配器也使性能下降2.78分。总体而言,这些结果表明所提出的路由和多专家设计对于异构图编码很有用。然而,目前的消融结果本身并不能严格区分不同专家之间的不同拓扑信号;要证明这种专门化,需要额外的分析,如专家分配统计、路由熵分析或路由行为可视化。

第2类评估了跨模态对齐机制。所有变体都保留了相同的线性上投影以匹配LLM的隐藏维度。移除基于PCA的投影和对比学习(仅线性)导致平均性能下降2.43分。仅移除PCA(w/o PCA)导致性能下降1.30分,而仅移除对比学习(w/o Contrastive)导致性能下降1.80分。这些结果表明,这两个组件都对最终性能有所贡献,在当前设置中对比学习的影响稍大。更谨慎地说,这些结果支持这样的观点:在当前框架内,这两个组件是互补的。它们尚未提供超出性能互补性的直接机制证据。

第3类分析了不同图信号的贡献。移除SDP、SEM和ARG边缘分别导致平均性能下降1.40分、1.80分和2.20分,这表明这三种关系类型都对最终提取性能有所贡献。在当前的实验设置中,移除ARG边缘导致的较大性能下降表明触发-论元连接性对下游解码特别有用的监督作用。SEM边缘的效果也支持了跨句子语义关联的价值,而SDP边缘仍然有助于捕获句子内的结构依赖关系。同时,这些结果应谨慎解读。当前的单一因素消融显示每个结构信号都很重要,但它们并没有完全区分SDP、SEM和ARG边缘之间的相互作用,也没有确定在所有文档长度、事件类型或数据制度下哪个信号总是最重要的。更完整的理解需要根据文档复杂性、事件类别或边缘密度设置进行条件分析。因此,我们将这些结果解释为异构文档图的三个图信号是互补组件的证据,而不是结构重要性的绝对排名。

最后,第4类研究了收益主要来自架构设计还是提示工程。我们观察到明显的进步:仅文本提示的性能优于原始LLM,但仍不如结合结构信息的方法。将图结构作为文本描述的图进行注入也能提高性能,表明即使结构被线性化为文本,结构本身也是有用的。然而,这种变体和仅软提示仍然不如完整模型。这表明直接注入正确对齐的图特征比仅将结构知识表示为1D提示序列更有效。

**5.5. 错误分析**
为了仔细诊断我们模型的局限性并理解其性能提升的根本原因,我们进行了全面的错误分析。我们从验证集中随机抽取了错误的提取案例,并比较了我们提出的方法与最强的生成基线GoLLIE之间的错误分布。我们将提取错误分为四种不同类型:
- **缺失论元**:模型完全无法识别和提取现有的论元。
- **错误边界**:模型正确识别了核心实体,但提取的文本范围(边界)与真实情况不完全匹配(例如,提取“the police officer”而不是“police”)。
- **角色混淆**:模型正确提取了论元范围,但将其分配给了错误的事件角色。
- **跨句子失败**:模型未能捕获位于与事件触发词不同句子中的论元。

图3展示了这些主要错误类型在剩余错误池中的相对分布。基于对这些具体案例的分析,可以得出几个关键观察:

**图3. 错误情况比较**
**显著减轻拓扑依赖错误**:重要的是要指出,与我们方法相比,GoLLIE基线产生的错误总数大幅减少。具体来说,跨句子失败(从28%降至13%)和角色混淆(从20%降至13%)的比例下降最为显著。GoLLIE仅依赖于1D序列推理,经常难以处理长距离依赖关系。相比之下,我们的方法明确地将异构文档图(包含句子间语义边缘和最短依赖路径)注入LLM中,有效地弥合了触发词和远距离论元之间的空间差距,有效解决了提取错误中的“主要问题”。

**错误比例的变化**:乍一看,我们方法中的错误边界比例似乎上升到了55%(从基线的21%上升)。然而,对验证案例的深入检查显示,这只是相对的统计变化,而不是绝对的下降。由于我们的框架成功解决了大多数完整的提取失败(跨句子和角色混淆),那些难以处理的案例在错误池中被大幅消除。因此,涉及微妙边界不匹配的案例成为主要的剩余问题。此外,许多GoLLIE完全找不到的论元(之前被归类为缺失论元)现在被我们的图增强LLM成功定位,尽管偶尔会有轻微的令牌级边界偏差(例如,包含多余的形容词)。这基本上将严重的缺失错误降级为较轻的错误边界错误。

**隐式提取中的剩余挑战**:虽然缺失论元的比率从31%降至19%,但这仍然是一个挑战。错误分析显示,剩余的缺失论元主要是高度隐含的实体或代词,它们在文档中缺乏清晰的句法依赖关系或词汇相似性。通过更细粒度的共指解决机制或先进的LLM解码策略来解决这些深层语义遗漏将是我们未来工作的重点。

总之,错误分布的变化支持了我们的初始假设:明确地将结构知识与LLM对齐显著减轻了高阶拓扑失败,只剩下局部的、细粒度的范围对齐作为主要的剩余挑战。

**5.6. 效率和鲁棒性分析**
**5.6.1. 计算成本和效率**
为了评估所提出的结构组件引入的计算开销,我们在表7中报告了效率统计。从成本-收益的角度来看,完整框架引入了额外的可训练模块,主要是通过MoE图适配器和TAE,同时也需要文档图构建和跨模态对齐。这增加了训练复杂性,并相对于简单的基线略微增加了推理内存和延迟。尽管如此,实证收益主要集中在结构敏感的设置中,如关系提取和事件论元提取,其中长距离依赖关系和跨句子交互更为突出。因此,我们认为完整设计最适合那些以结构复杂文档的提取质量为主要目标且可以接受适度计算开销的场景。

**5.6.2. 长文档上的可扩展性**
长文档IE对上下文可扩展性有很高的要求。如表8所示,当输入长度从1000个令牌增加到8000个令牌时,图节点的平均数量大致线性增长,图构建时间也随之增加。然而,GPU内存使用和整个系统的解码延迟增加得较为温和。这种有利的可扩展性在很大程度上得益于拓扑感知编码器,它将可变大小的图表示压缩为固定长度的结构提示。因此,尽管较长输入的底层文档图变大,但引入LLM的额外上下文负担仍然有限,使模型能够在不导致内存增长或延迟过高的情况下处理长文档。

**5.6.3. 在结构噪声下的鲁棒性分析**
我们的异构图部分使用spaCy(版本3.7.2)解析器的输出构建。为了评估模型对预处理噪声的敏感性,我们在图中引入了受控的结构扰动,如表9所示。随机删除10%的边缘,模拟预处理管道中的召回失败,仅导致F1分数下降0.55%。添加10%的随机噪声边缘,模拟解析器预测错误,导致略微更大的下降,但仍然有限,为0.85%。总体而言,模型在适度的结构噪声下保持相对稳定。一种可能的解释是,这种考虑稀疏性的图交互机制可以减轻无关扰动的影响,而底层的LLM在部分结构缺失或噪声较大时仍然提供补充的语义线索。这些结果表明,所提出的方法对现实中的预处理缺陷具有相当的鲁棒性。表9. 鲁棒性分析结果。5.7. 案例研究为了进一步检验所提出框架的实际效果,我们展示了两个来自关系提取(RE)和事件提取(EE)的代表性案例研究。与纯基于序列的方法不同,我们的方法通过文档图整合了异构的结构信号,并通过对齐的结构提示将它们注入LLM中,这在结构复杂的提取场景中特别有益。详细结果见表10。表10. 案例研究示例。第一个案例来自关系提取,其中相同的实体对参与了两种不同的关系。在句子“India”和“Delhi”中,同时表达了地理包含关系和行政隶属关系。这类案例具有挑战性,因为一个实体对可能同时参与多个细粒度关系,这增加了关系区分和关系方向建模的难度。在我们的框架中,这些多类型关联在异构文档图中被明确表示,然后在注入之前与LLM的语义空间对齐。这使得模型能够更好地区分细粒度关系的含义,并更稳健地处理关系的方向性。第二个案例来自事件提取。触发词“died”与多个事件元素相关联,包括受害者“19 Rangers”、相关人员“Clinton”以及时间表达“October 3rd”和“three days later”。这个例子的难点在于事件论元分布在句子的不同部分,需要模型捕捉长距离依赖性和结构相关的上下文。我们的方法通过候选论元边建立了明确的触发词-论元连接,而句法依赖边和语义关联边进一步补充了结构上下文。此外,TAE中的拓扑掩码稀疏交叉注意力使模型能够关注与触发词在拓扑上更相关的图节点,从而减少来自无关上下文的干扰并提高事件提取的完整性。总体而言,这两个案例表明所提出的框架在多关系区分和复杂事件论元提取方面都是有效的。它们进一步证实了异构图建模、跨模态对齐和拓扑感知的结构提示压缩的结合有助于缓解LLM在长文档信息提取中的结构盲点。6. 结论本文提出了一个生成式信息提取框架,该框架整合了异构图建模、跨模态对齐和拓扑感知的结构提示,用于长文档信息提取。在ACE2005、WikiEvents和DuEE比赛中,该方法相对于对比基线在性能上取得了持续的改进,特别是在依赖跨句子或结构复杂证据的任务上。消融结果进一步表明,图编码器、对齐模块和结构提示模块各自都对最终性能有所贡献。同时,目前的实验主要在实证层面上支持了这些组件的有效性。需要更细粒度的证据来对专家专业化、拓扑保持或跨模块交互提出更强的机制性主张。因此,未来的工作将集中在提高实验透明度、添加有针对性的可解释性分析以及探索适用于资源更受限环境的框架的轻量级变体上。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号