高斯增强原型网络在类增量式少样本关系分类中的应用

《ACM Transactions on Knowledge Discovery from Data》：Gaussian-Augmented Prototypical Network for Class-Incremental Few-Shot Relation Classification

关系分类是知识发现的基础任务。现有原型网络在处理小样本和长尾关系时忽略分类可靠性及异常特征，影响相似度度量。针对动态环境中新兴语义关系的类增量增量少样本学习挑战，GA-Proto通过高斯混合模型分析查询实例的异常特征，结合可靠性学习和知识蒸馏缓解基类关系遗忘及新类过拟合，实验在三个数据集上验证其有效性，准确率最高提升19.64%。

　　

摘要

关系分类（RC）是知识发现中的一个基本任务。在少量样本的关系分类任务中，通常会使用原型网络来应对标记数据的稀缺性和长尾关系问题，但这些方法往往忽略了分类的可靠性以及异常特征，可能导致相似性度量不够准确。在不断涌现新语义关系的动态环境中，增量式少量样本学习越来越受到关注，这种方法能够在新任务中同时学习基础关系和新关系，同时保留原有的基础关系知识。然而，随着新关系数量的增加，这种方法的挑战性也随之增大，模型需要减少对新任务的学习依赖，从而减少对基础关系的依赖。因此，本文提出了一种基于类增量式少量样本关系分类（CIFRC）的方法，该方法采用高斯增强原型网络（GA-Proto）。GA-Proto通过高斯混合模型来分析理想分类与实际分类之间的差异，并通过处理查询实例中的高斯异常特征来改进相似性度量。此外，它还利用可靠性学习和知识蒸馏来减少编码空间的失真以及基础关系的遗忘，分别提高分类的可靠性和传递基础关系知识。为了缓解新关系的过拟合问题，GA-Proto还采用了标签平滑技术。在三个公开数据集上的实验结果表明，GA-Proto的性能优于现有方法，在CIFRC任务中准确率提高了多达19.64%。GA-Proto的数据集和源代码可以在https://github.com/GTZN2/GA-Proto获取。