《Expert Systems with Applications》：Enhancing Language Models with Selective Masking for Thematic and Misinformation Classification in a One Health Context
编辑推荐：
本研究提出一种两阶段训练流程，通过选择性掩码策略（SM-Lex-TFIDF和SM-NonLex-TFIDF）适配One Health领域的语言模型，结合少量标注数据优化分类任务性能。实验表明，该方法在生物医学、植物健康及疫情谣言检测等场景中，相较零样本/少样本分类，显著提升BERT、SciBERT和BioBERT等模型的分类准确率，尤其适用于标注数据稀缺的低资源环境。
作者：Youssef Mahdoubi、Najlae Idrissi、Mathieu Roche、Sarah Valentin
所属机构：摩洛哥Beni-Mellal苏丹穆莱·斯利曼大学（Sultan Moulay Slimane University）科学与技术学院，IDC团队
摘要
本文旨在解决标记文本数据稀缺的问题，并通过使用小规模的领域特定标记语料库来提高语言模型在“同一健康”（One Health）背景下分类任务中的性能。为应对这些挑战，我们提出了一种两阶段的语言模型训练流程：第一阶段采用选择性掩码（Selective Masking, SM）策略进行训练后调整，以使模型适应特定领域。为此，我们提出了两种新的掩码策略：SM-Lex-TFIDF（屏蔽TF-IDF值较高的领域词汇）和SM-NonLex-TFIDF（屏蔽TF-IDF值较高的非领域词汇）；第二阶段则利用少量标记数据对模型进行微调以完成目标分类任务。为了验证该方法的有效性，我们选择了“同一健康”背景下的两个相关应用领域进行测试：(i) 综合健康领域的主题内容（涵盖生物医学、植物健康和综合征监测），(ii) 流行病虚假信息，以提升“同一健康”监测能力。我们使用三种语言模型（BERT_base、SciBERT和BioBERT）进行了广泛的评估。此外，还将我们的方法与基于低资源的大型语言模型（LLM）的方法（包括零样本/少样本分类）进行了比较。实验结果表明，即使在标记数据有限的情况下，该方法也能显著提升语言模型在两个目标领域的分类性能。在五个评估数据集中，我们的方法在四个数据集中的表现优于LLaMA-3.1-8B和Mistral-7B。同时，我们还总结了每种策略最适合的应用场景。
引言
分类是人工智能领域的一项重要任务，尤其是在自然语言处理（NLP）中，可用于对健康、农业、金融等领域的文本进行分类。这种能力对于许多实际应用至关重要，例如在医疗报告中检测疾病、分析社交网络中的情感或识别虚假新闻，尤其是在预训练语言模型出现之后。这些在大型语料库上预训练的模型在文本分类任务中表现出色。然而，要将它们适配到特定任务需要大量的标记数据。在标记数据稀缺且需要专家注释的领域（Alzubaidi等人，2023），这不仅增加了数据收集的成本和时间消耗（Alzubaidi等人，2023），还限制了模型在不同领域进行微调的能力。“同一健康”是一种跨学科范式，旨在通过监测、预防和缓解措施来保护人类、动物和环境的健康（Prata、Ribeiro和Rocha-Santos，2022）。
为了解决在大型标记数据集上进行微调的局限性，人们提出了多种方法，包括使用带有零样本或少样本提示的大型生成语言模型（LLMs）（Brown等人，2020；Wang等人，2020）。然而，多项研究表明，与传统的基于掩码的语言模型（MLMs）的微调方法相比，这些生成模型在文本分类方面存在局限性（Edwards和Camacho-Collados，2024）。此外，最近的研究表明，当在小型领域特定数据集上进行微调时，基于MLM的语言模型在各种NLP任务中可以胜过大型生成模型，特别是在专业化和资源匮乏的情境下（Naguib、Tannier和Névéol，2024，以临床领域的命名实体识别（NER）任务为例）。这凸显了基于MLM的预训练语言模型在领域特定分类任务中的持续相关性和必要性。
在这方面，提出了选择性掩码引导学习方法（Gua等人，2020；Jung等人，2024；Pergola等人，2021），这是对传统随机掩码方法的改进版本，用于预训练BERT模型（Devlin等人，2019）。该方法包括随机屏蔽输入文本中15%的标记，并训练模型预测这些被屏蔽的标记，从而获得通用的语言知识。相比之下，选择性掩码（SM）则是根据特定标准选择与目标领域相关的术语进行屏蔽，同时保持15%的屏蔽比例（见图1）。模型通过学习预测这些被屏蔽的术语，获得领域特定知识，并能够在没有大量标记数据的情况下进行任务特定的微调。
我们的工作基于这一视角，主要包含两个贡献：
- 首先，我们提出了一种包含两个关键阶段的流程。第一阶段采用两种选择性掩码策略（SM-Lex-TFIDF和SM-NonLex-TFIDF）进行训练后调整。第二阶段使用小型、标记的领域特定语料库对模型进行微调，以解决标记数据稀缺的问题。在我们的评估中，我们在“同一健康”背景下的两个密切相关应用领域测试了该方法的有效性：(i) 综合健康领域的主题内容（涵盖生物医学、植物健康和综合征监测），这两个领域都存在标记数据有限的问题，并且与早期检测健康异常信号或缓解误导性信息直接相关。此外，我们还将该方法与零样本和少样本分类方法进行了比较，以评估其性能。
- 其次，我们提供了选择性掩码策略的总结，包括它们适用的场景、语言模型、目标领域和词汇表大小，以帮助选择合适的策略。
本文的其余部分安排如下：第2节详细回顾了相关工作；第3节描述了我们的方法论；第4节介绍了实验设置和结果；第5节讨论了所得结果；第6节总结了本文并提出了未来的研究方向。
相关研究
近年来，语言模型在自然语言处理（NLP）任务中的应用越来越广泛，如文本分类、命名实体识别和问答等。然而，由于不同特定领域的标记数据存在局限性和稀缺性，许多研究致力于提出低资源方法，包括PET（Pattern Exploiting Training）（Schick和Schütze，2020）和ADAPET（Adaptive）等。
提出的训练流程
我们提出的训练流程基于MLM任务，并通过选择性掩码技术进行指导。该流程包括两个主要阶段：第一阶段，语言模型在未标记的领域特定语料库上进行训练后调整，以预测被屏蔽的术语，从而掌握该领域的特征；第二阶段，在小型标记语料库上进行微调以实现分类（见图2）。
使用的数据集
为了评估我们的流程和提出的掩码策略在综合健康和流行病虚假信息两个应用领域中的效果，我们收集了英文文本数据，包括用于训练后调整的未标记语料库（见表1）和用于微调的标记语料库（见表2和表3）。此外，我们还编制了领域特定的词汇表，用于基于词汇表的掩码策略（见表4）。有关语料库和词汇表的内容和构建过程的更多细节，请参见A。
提出的选择性掩码策略：分析与行为
总体而言，各种评估表明，所提出的选择性掩码策略优于现有的最先进方法，尤其是在“同一健康”背景下的两个目标领域以及数据严重不平衡的情况下。然而，这两种策略并没有在所有设置中始终表现出绝对的优势，因为每种策略都有其特定的优势。
为了解释这些策略的行为及定量结果中的变化，
结论与未来工作
本文提出了一种使用两种掩码策略训练语言模型的流程，旨在提高在“同一健康”背景下使用小型领域特定标记数据集的分类性能，重点关注综合健康和流行病虚假信息领域。实验表明，根据不同的评估结果，SM-Lex-TFIDF和SM-NonLex-TFIDF在大多数目标领域和大多数语言模型中都表现出色。
资金支持
本研究部分由DGAL和法国国家研究署（ANR）通过“未来投资计划”（Investments for the Future）资助：ANR-16-CONV-0004（#DigitAg）和20-PCPA-0002（BEYOND项目）。该工作还得到了国家科学技术研究中心（CNRST）的博士助理奖学金（PASS）计划的支持，符合摩洛哥2030国家战略。
作者贡献声明
Youssef Mahdoubi： 方法论设计
Najlae Idrissi： 监督、方法论设计、验证
Mathieu Roche： 监督、方法论设计、验证
Sarah Valentin： 监督、方法论设计、验证
利益冲突声明
作者声明没有已知的财务利益冲突或个人关系可能影响本文的研究结果。
