E-CONAN（蕴含、矛盾与中性）基准测试：阿拉伯文本蕴含与自然推理数据集

《IEEE Access》：E-CONAN (Entailment, CONtradition And Neutral) Benchmarks: Arabic Textual Entailment and Natural Inference Datasets.

　　

摘要：

自然语言推理（NLI）通过处理句子对来提取它们之间的语义关系。NLI一直是一个热门的研究领域，被整合到其他自然语言处理（NLP）应用中，从形态学拼写纠错任务到更高级的任务，如机器翻译和信息提取。尽管全球各种语言在文本推理方面取得了显著进展，但阿拉伯语在这一领域仍面临资源匮乏的问题，尤其是在缺乏适用于有效模型调优和泛化的可靠基准数据方面。为了解决这一挑战，本文介绍了E-CONAN基准集，该基准集由来自不同来源的句子对组成：（1）自动翻译的句子对；（2）经人工验证的机器翻译句子对；（3）来自阿拉伯语作为外语教学书籍的手工制作的句子对；（4）包含谣言的不同新闻渠道的标题对。E-CONAN包含两个基准数据集：E-CONAN-2（双向数据集）和E-CONAN-3（三元数据集）。此外，我们使用E-CONAN基准集评估了9种最先进的多语言预训练模型，采用零样本分类方法。这些模型在ArNLI、XNLI和E-CONAN数据集上进行了评估。结果表明，E-CONAN是一个评估模型泛化能力的宝贵资源，甚至可用于微调预训练模型。其多样化的数据来源组合提供了比XNLI和ArNLI更广泛、更可靠的评估基础。进一步的研究发现，mDeBERTa模型在100种语言上进行了预训练，并在四个机器翻译数据集的组合上进行了微调，在所有数据集上都表现出优异的性能：在E-CONAN-3数据集上的准确率达到了71%，在XNLI数据集上达到了86%，超越了其他所有评估模型。此外，我们还在E-CONAN-3数据集上评估了5种大型语言模型（LLM）。其中Gemma模型取得了最佳成绩...

显示更多