文档世界模型：增强文档级关系抽取中的长距离证据整合

《Scientific Reports》：Document world models: a cognitive-inspired auxiliary training framework for document-level relation extraction

　　

摘要

文档级关系抽取（DocRE）要求模型整合散布在多个句子中的关系证据。然而，现有的基于编码器的方法在静态最终表示上进行单次关系分类，导致长距离证据在影响分类决策之前就已经衰减。受增量式阅读理解理论的启发，我们引入了文档世界模型（DocWM），这是一种轻量级的、仅用于训练的辅助框架，旨在促进标准DocRE编码器中的渐进式实体状态维护和关系信念稳定化。DocWM引入了两个辅助训练目标。实体状态追踪（ES）维护一个特定于实体的循环隐藏状态，逐句更新，并与截至每个句子从提及中池化的实体嵌入对齐，以保留早期证据。关系信念动态（BD）通过时间加权损失监督每一步阅读时的关系预测，引导关系信念逐步向正确标签稳定。在Re-DocRED和HacRED上的实验表明，与对比基线相比，该方法取得了一致的改进，尤其是在长距离跨句关系上最为明显。