乌克兰语基础大语言模型的分词效率优化：跨领域评估与形态学挑战

这篇综述系统评估了当前基础大语言模型（LLMs）对乌克兰语的分词（Tokenization）效率，揭示了BPE（Byte Pair Encoding）和SentencePiece等分词器在低资源语言中的局限性。研究通过测量分词生育率（Fertility）、字符/字节每词元（CPT/BPT）等指标，对比了Llama 3、Gemini、GPT-4o等模型在通用文本、法律、科技文档等领域的表现，并提出拉丁转写（Transliteration）的优化思路，为多语言模型设计提供了实证依据。

　　

1 引言

现代大语言模型（LLMs）在乌克兰语等低资源语言中的分词效率直接影响计算成本和生成质量。研究聚焦于主流分词器（如BPE和SentencePiece）对乌克兰语的处理差异，发现其词汇量偏斜导致英语分词效率显著优于乌克兰语。例如，Llama 3的训练数据中英语占比95%，而乌克兰语仅属5%的"其他语言"，导致其分词器对乌克兰语字符（如大写"Х"）常需字节回退（Byte Fallback），增加词元数。

2 相关研究

分词生育率（Tokenization Fertility = 词元数/单词数）成为核心指标。对比显示，GPT-2的乌克兰语生育率高达6+，而专用乌克兰GPT-2模型仅1.30，但牺牲了多语言能力。研究引用Petrov等（2023）提出的"词元溢价"公式（FLOP_estimated?FLOP_optimal/FLOP_optimal），量化了非英语语言的额外计算负担。

3 材料与方法

实验采用布朗语料库（Brown Corpus）和乌克兰法律、科技文档数据集。测试涵盖19种模型，包括Llama 2/3、Gemini 1.5、GPT-4o等。关键创新点包括：

• 字母测试：评估33个乌克兰字母的分词情况，发现Phi 2需74%字符使用字节编码，而Gemini实现全字符覆盖。

• 领域特异性：法律文本使GPT-3.5的生育率从3.12升至4.40，凸显领域词汇的挑战。

4 实验结果

• 词汇量影响：GPT-4o词汇量达200,000（含4,660西里尔词元），生育率2.38，显著优于GPT-3.5（3.12）。

• 错误容忍度：语法错误仅使生育率波动0.003，但词形变化（如七格变位）导致平均差异0.266-0.299。

• 转写策略：拉丁转写对老旧模型（如GPT-2）有效，但会降低Llama 3.1等新模型的效率。

5 讨论与展望

研究证实，扩大词汇量（如Gemini的100,000+词元）是提升多语言分词一致性的关键。未来可探索词嵌入解码或小型模型的转写预训练，以优化乌克兰语等形态复杂语言的处理效率。