多语言大型语言模型并不能以相同的程度理解所有的自然语言

《Scientific Reports》：Multilingual large language models do not comprehend all natural languages to equal degrees

　　```

摘要

大型语言模型（LLMs）在人类获取信息的过程中发挥着关键作用。尽管它们的核心功能依赖于理解书面请求的能力，但由于大多数评估都是基于西方、受过教育、工业化程度高、经济发达且民主（WEIRD）社区使用的主要语言进行的，因此我们对这种能力的理解目前仍然有限。人们普遍认为英语是表现最好的语言，而资源较少的较小语言导致的模型输出往往不够自然或可靠，即使是在多语言的先进模型中也是如此。为了追踪LLMs理解能力的波动，我们使用了3个流行的模型对12种语言进行了测试，这些语言涵盖了印欧语系、亚非语系、突厥语系、汉藏语系和日語系。研究结果表明，这些模型在类型多样的语言上展现了令人瞩目的准确性，但与人类基准相比仍存在差距，尽管程度各不相同。与预期相反，英语并非表现最佳的语言，事实上它被几种罗曼语系的语言所超越，其中一些语言的资源甚至更有限。我们通过强调影响LLMs性能的因素来解释这些结果，例如分词方式、语言与西班牙语和英语的差异程度、训练数据的规模，以及数据来源是来自高资源语言还是低资源语言，或者是来自WEIRD社区还是非WEIRD社区。