一种有助于低资源语言理解的侵入式嵌入模型

《ACM Transactions on Asian and Low-Resource Language Information Processing》：An Invasive Embedding Model in Favor of Low-Resource Languages Understanding

多语言预训练模型的上下文表示包含语义信息和语言特定细节，后者在跨语言数据稀缺任务中增加复杂度并影响性能。本文提出基于对抗学习的编码器-解码器模型，通过编码器消除语言特定信息并保持语义，解码器重建输入。实验表明，该模型在Facebook Multilingual和Persian-ATIS数据集上显著优于基线，零样本场景下接近SOTA水平，验证了对抗学习结合多任务学习实现语言独立表示的有效性。

　　

摘要

多语言预训练语言模型生成的上下文表示包含了语义内容，这些内容不仅传达了句子的含义，还包含了语言特有的细微差别。然而，在跨语言机器学习任务中，尤其是数据稀缺的情况下，上下文表示中混杂的语言特定信息不仅增加了任务的复杂性，还降低了性能。这一挑战对于自然语言理解（NLU）任务尤为重要，例如意图检测（ID）和槽填充（SF），这些任务是多语言对话系统功能的基础。我们的核心思想是通过对抗性方法从编码器生成的上下文表示中消除语言特定信息，同时通过解码器的输入重建来保留语义信息。为此，我们提出了一种基于编码器-解码器的模型，该模型采用对抗学习技术来增强跨语言的知识迁移能力，以应对NLU任务。在两个公开可用的数据集（FacebookMultilingual（XTOD）和Persian-ATIS）上的实验结果表明，我们的模型在零样本场景下显著优于其他主流模型，并且在多种语言上取得了有竞争力的结果。值得注意的是，我们的研究发现表明，通过对抗学习实现语言无关的表示，再结合多任务学习，可以提高模型在NLU任务中的准确率和F1分数。