FLAME：利用大型语言模型进行自我监督的低资源分类法扩展

《ACM Transactions on Intelligent Systems and Technology》：FLAME: Self-Supervised Low-Resource Taxonomy Expansion Using Large Language Models

分类体系扩展方法FLAME通过利用大型语言模型在低资源环境中的知识增强能力，结合prompting few-shot设置和强化学习细调，有效解决了现有分类体系规模小、预训练模型表征能力不足等问题。实验在四个真实数据集上验证，较11种基线方法分别提升12.8%准确率和5.6% Wu & Palmer指标。

　　

摘要

分类法是一种树状层次结构，用于在特定领域内建立实体之间的关系以传递知识。它们在各种实际应用中发挥着重要作用，例如电子商务搜索引擎和推荐系统。因此，随着时间的推移，有必要对这些分类法进行改进。然而，由于人力资源的限制以及数据的指数级增长，手动使用新数据来维护分类法面临诸多挑战。因此，开发自动分类法扩展方法变得至关重要。传统方法由于资源有限（尤其是现有分类法的规模较小）而遇到困难，这种训练数据的稀缺性常常导致过拟合问题。在本文中，我们提出了FLAME（精细调优大型语言模型以扩展分类法），这是一种适用于资源匮乏环境（即现有分类法规模较小、预训练语言模型的表示能力不足等）的分类法扩展新方法。该方法利用在大量真实世界数据上训练的大型语言模型（LLMs）的能力，LLMs有助于弥补领域特定知识的稀缺性。具体而言，FLAME在少样本设置中利用提示机制提取LLMs中的内在知识，确定分类法中的上位词实体，并通过强化学习对LLMs进行精细调优，从而提高预测准确性。在四个真实世界基准数据集上的实验表明，FLAME在实际情况中表现出色，准确率提高了12.8%，在Wu & Palmer指标上提高了5.6%，优于其他十一个基线方法。此外，我们还通过广泛的案例研究、错误分析和基准测试中的消融实验，讨论了FLAME的优点和缺点。