通过成对增强与引导锐度感知优化提升少样本持续关系抽取

《Artificial Intelligence》：Enhancing Few-Shot Continual Relation Extraction via Pairwise Augmentation and Guided Sharpness-Aware Optimization

　　摘要小样本持续关系抽取（FCRE）由于标注数据有限和灾难性遗忘的双重问题，仍然是一个具有挑战性的难题。为了解决这些挑战，我们提出了Pragas，一个统一框架，将成对增强（PairAug）和引导式锐度感知最小化（GuidedSAM）与显著性蒸馏相结合。PairAug通过生成多样化的、保持关系不变的合成样本（无需依赖外部模型）来丰富训练分布，而GuidedSAM则基于关系知识偏差自适应调整优化锐度，从而促进跨任务的稳定且可泛化的学习。在FewRel和TACRED上的大量实验表明，Pragas在平均准确率上持续显著超越先前的最先进方法，同时大幅缓解了遗忘问题。全面的消融研究进一步验证了PairAug和GuidedSAM的互补贡献、所提出的损失组件的有效性以及关键超参数的鲁棒性。此外，我们将Pragas扩展到持续事件检测（CED），并取得了持续改进，凸显了其作为通用持续信息抽取框架的多功能性。所有资源均公开可用：https://github.com/datht4889/PRAGAS Pragas。引言关系抽取（RE）是信息抽取中的一项基础任务，旨在识别文本中实体之间的语义关系。传统的RE方法通常依赖于大量标注数据，并在预定义关系类型固定的假设下运行[1]，[2]，[3]。在实际场景中，科学研究[4]、医学[5]和法律[6]等领域正在迅速发展，导致关系种类持续增加[7]，[8]。因此，RE系统必须展现出适应性以有效管理这些动态发展。此外，RE模型开发中一个持续的挑战在于新出现关系的标注数据有限。这些挑战推动了小样本持续关系抽取（FCRE）范式的发展[9]，[10]，这是一个困难但具有实际意义的研究方向，近年来受到广泛关注。在该框架中，模型需要从有限数量的样本中增量学习新关系，同时保持从早期任务中获取的知识。然而，鉴于持续学习的性质以及训练数据的稀缺性，FCRE模型往往偏向当前任务，从而遭遇过拟合[11]和灾难性遗忘[8]，[12]，[13]，[14]，[15]，[16]，[17]的问题。为了解决这些挑战，近期研究采用了受传统持续学习启发的策略，主要集中在基于记忆的方法上[7]，[9]，[10]，[18]，[19]，[20]，[21]。这些方法通常在回放缓冲区中保留有限数量的代表性样本，在后续任务训练时呈现这些样本，使模型在学习新关系的同时能够直接回顾先前知识。尽管这种方法已在许多FCRE框架中显示出有效性[9]，[10]，[22]，[23]，[24]，[25]，但仍存在若干局限性。首先，在FCRE场景中，每个关系类别的样本可用性极为有限。因此，模型通常仅使用存储在记忆缓冲区中的每个旧类别的一个实例以及新引入类别的小量样本来进行微调。这种严重的数据稀缺性不仅限制了模型的泛化能力，还增加了过拟合和灾难性遗忘的风险。其次，数据稀缺性和过拟合也常常驱动优化过程趋向损失景观中的锐利极小值[26]，[27]。已知这种锐利极小值会阻碍模型泛化，并加剧持续学习中的遗忘现象。尽管这一问题已在更广泛的持续学习文献中被广泛讨论[14]，[28]，但在FCRE背景下仍基本未被探索。为了克服这些局限性，我们提出了Pragas，一个将成对增强和引导式锐度感知最小化与显著性蒸馏相结合的框架，旨在缓解FCRE乃至相关信息抽取（IE）任务（如持续事件检测（CED））中的数据稀缺性和锐利极小值景观问题。具体而言，为了缓解数据稀缺性的影响，我们提出了一种新颖的成对增强（PairAug）技术，通过从有限可用数据中生成多样化的、保持关系不变的合成样本来丰富训练分布。现有的一些方法也依赖于数据增强[22]，[23]，但它们通常依赖于昂贵的外部语言模型（如ChatGPT），并继承了记忆缓冲区有限的多样性。相比之下，我们的方法完全基于可用数据集运行，并与专门的目标函数配对，这些目标函数充当关系表示上的组合式、上下文混合正则化器。这些创新共同显著提升了模型性能，特别是减少了在具有挑战性的FCRE场景中的过拟合。为了进一步稳定学习过程，我们旨在识别损失景观中的平坦极小值，这一特性已被证明能够缓解灾难性遗忘[14]，[28]。虽然锐度感知最小化（SAM）[29]，[30]是一个自然的候选方案，并补充了我们的PairAug策略，但在持续学习中天真地应用SAM在动态、非平稳的任务流下往往产生次优性能（图3）。因此，我们引入了GuidedSAM，一种受信赖域启发的优化器[31]，通过显著性蒸馏分数动态调整SAM的扰动半径，该分数衡量先前模型与当前模型之间的关系知识偏差。这种自适应机制引导模型趋向更平坦、更可泛化的极小值，同时保留先前学到的知识，有效缓解FCRE场景中的灾难性遗忘。总之，本工作的主要贡献如下：我们提出了一种新颖的数据增强技术——成对增强，以丰富FCRE场景中固有的有限数据集。该方法使模型接触多样化的关系上下文，并通过双目标损失对关系表示施加显式正则化，显著增强了其减少过拟合、缓解遗忘和改善整体性能的能力。我们将锐度感知最小化（SAM）及其变体纳入其中，以识别损失景观中更平坦的极小值，从而在FCRE场景中增强模型稳定性和泛化能力，同时缓解灾难性遗忘。我们引入了GuidedSAM，一种受信赖域启发的优化器，基于衡量模型间关系知识偏差的显著性蒸馏分数自适应调整扰动半径。这种动态机制有效平衡了稳定性和可塑性，既保留了先前知识，又防止了对新关系的过拟合。我们在两个基准FCRE数据集FewRel和TACRED上进行了大量实验，表明我们提出的方法在平均准确率上持续超越先前最先进方法3-4%。我们提出的组件分析进一步揭示了它们在缓解遗忘和改善泛化方面的独立及互补贡献。此外，我们将框架扩展到持续事件检测（CED），展示了其在持续信息抽取任务中的强大适应性和泛化能力。结构 本文其余部分组织如下。第2节回顾FCRE的相关工作。第3节介绍小样本持续关系抽取（FCRE）的必要背景和问题表述。第4节详细阐述我们提出的Pragas框架。第5节描述实验设置、数据集、基线和评估结果，随后进行深入分析和消融研究。最后，第6节总结本文并讨论未来研究的潜在方向。附录提供了额外结果，展示我们的方法在持续事件检测（CED）任务上的有效性。对先前工作的主要扩展 本工作的一个初步版本以Anh等人[32]的形式出现，引入了成对增强（PairAug）组件。本手稿在以下方面大幅扩展了该会议版本。（i）一种新的优化机制——带显著性蒸馏的GuidedSAM（第4.2节），并辅以对FCRE中数据稀缺条件下SAM的实证研究（第4.3节），该研究为其设计提供了动机，并揭示了vanilla SAM在该场景下的反直觉行为；这两部分在先前工作中均不存在。（ii）泛化到基于先进LLM的骨干网络（BGE [33]和三种基于Mistral、Llama2和Llama3的LLM2Vec [34]变体），证明了超越先前工作中仅评估的BERT设置的编码器无关有效性。（iii）跨任务泛化到持续事件检测（附录），证实了该框架在关系抽取之外的适用性。从先前工作继承的PairAug组件在第4.1.1节中也被更精确地形式化，以匹配其实现。章节片段持续学习 持续学习（CL），也称为终身学习，解决了在任务序列上训练模型而不遗忘先前获取知识的挑战[12]。CL中的主要障碍是灾难性遗忘[35]，即模型在旧任务上的性能在学习新任务后显著下降。广义上，CL方法可以分为三大类：1.基于正则化的方法在损失函数中引入惩罚项，以约束参数更新问题表述 在小样本持续关系抽取（FCRE）场景中，模型通过一系列任务增量学习关系知识。对于每个任务????，模型在数据集????={(??????,??????)}??×????=1上训练，该数据集包含属于关系集Rt的N个新引入关系，每个关系包含K个训练实例。具体而言，每个实例(??????,??????)由包含实体对(eh, et)的句子??????及其对应关系标签??????∈????组成。该设置遵循方法 在本节中，我们介绍Pragas，一个增强顺序任务间知识保留和泛化的统一框架。我们的方法基于记忆范式，但引入了新颖机制，通过高效增强和引导优化最大化存储样本的效用。所提出的Pragas框架的整体工作流程如图2所示。具体而言，我们的方法首先应用成对增强（第4.1节），其中来自两个实验 在本节中，我们详细介绍实验设置、结果和分析，以验证我们提出的方法在FCRE任务上的有效性，并将其与几个最先进的基线进行比较。虽然我们的主要焦点是FCRE，但我们进一步将评估扩展到持续事件检测（CED）以评估方法的泛化能力，CED相关设置和结果提供在附录中。结论 在本文中，我们提出了Pragas，一个旨在解决小样本持续关系抽取（FCRE）中两个基本挑战的统一框架：数据稀缺性和灾难性遗忘。通过整合所提出的成对增强（PairAug）和带显著性蒸馏的引导式锐度感知最小化（GuidedSAM），我们的方法有效丰富了有限的训练分布，同时通过更平坦的优化景观促进泛化。在CRediT作者贡献声明 Hoang Thanh Dat：写作——初稿，可视化，验证，方法学，调查，概念化。Nguyen Hoang Anh：可视化，验证，监督，方法学。Nam Le Hai：写作——审阅与编辑，写作——初稿，监督，项目管理，调查。Linh Ngo Van：监督，项目管理，方法学，调查，概念化。Sang Dinh：监督，项目管理，调查。利益冲突声明 作者声明，他们没有已知的竞争经济利益或个人关系可能影响本论文所报告的工作。Hoang Thanh Dat|Nguyen Hoang Anh|Nam Le Hai|Linh Ngo Van|Sang Dinh