《Natural Language Processing》：Lexical diversity and translation literalness in machine translation: a comparative study of pretrained, fine-tuned, and few-shot approaches
编辑推荐：
本文对神经机器翻译（neural machine translation, NMT）模型与大语言模型（large language models, LLMs）进行了比较研究，重点关注翻译直译性、词汇多样性与翻译质量。研究人员在九种语言对中评估了开源神经机器翻译
本文对神经机器翻译（neural machine translation, NMT）模型与大语言模型（large language models, LLMs）进行了比较研究，重点关注翻译直译性、词汇多样性与翻译质量。研究人员在九种语言对中评估了开源神经机器翻译（NMT）模型、LLaMa 3.1 Instruct 与 GPT-4o，涵盖预训练、微调与少样本提示设置。该综合分析凸显了各模型的差异化优势，为其在机器翻译（machine translation, MT）中的各自效用提供了有价值见解。研究人员在文学与新闻领域中的发现表明，微调会降低翻译直译性，使各模型允许更自由的翻译，其中 LLaMa 的影响最强，其在各领域产生最不直译的翻译。微调对词汇多样性的影响因模型而异：对 LLaMa 持续降低，但对 NMT 保持稳定或有所提升。另一方面，少样本提示增强了 GPT-4o 在各领域的词汇多样性，并显著提升其在文学领域的翻译质量，产生最高的总体 COMET 分数。此外，研究人员的相关性分析揭示了明显的领域效应：文学翻译评估奖励多样性，而新闻翻译评估偏好直译性。总体而言，结果突出了互补优势：少样本 GPT-4o 适用于高质量、词汇丰富且错误率低的翻译，而微调 LLaMa 适用于更自由、更不直译的翻译。
论文解读：预训练、微调与少样本提示下机器翻译的词汇多样性与翻译直译性
一、研究背景与问题
近年来，机器翻译（machine translation, MT，将一种语言自动转换为另一种语言的任务）在 transformer 架构推动下取得显著进展，编码器-解码器神经机器翻译（neural machine translation, NMT，基于神经网络的翻译模型）模型通过捕捉复杂语言模式和更长上下文，在多种语言上表现成功。随后，大语言模型（large language models, LLMs，大规模预训练语言模型）在自然语言处理（natural language processing, NLP，处理自然语言的计算任务）及翻译任务中展现优势。现有 MT 评价主要依赖 BLEU、COMET、BLEURT 等定量指标，衡量准确性和流利度，但还需考察词汇多样性（lexical diversity，文本用词丰富程度）和翻译直译性（translation literalness，源语与目标语在词序或词汇选择上的相似程度）。文学和新闻领域对词汇多样性和直译性的需求不同。因此，研究人员比较 NMT 与 LLM 在预训练、微调、少样本提示下的表现，回答适应效果、质量-多样性权衡和领域差异。
二、研究开展、主要结论与意义
研究人员评估开源 OPUS-MT transformer 模型、开源 LLaMa 3.1 Instruct（8B 参数）和商业 GPT-4o，覆盖九个语言对双向：西班牙语-英语、意大利语-英语、德语-英语、法语-英语、土耳其语-英语、俄语-英语、中文-英语、日语-英语、印地语-英语，文学与新闻领域，预训练/零样本、微调（fine-tuning，在特定数据上继续训练模型）、少样本提示（few-shot prompting，在提示中提供少量示例进行上下文学习）设置。结论是：微调降低翻译直译性，LLaMa 影响最强并产生最不直译翻译；微调对词汇多样性影响模型依赖，LLaMa 持续下降，NMT 稳定或改善；少样本提示提高 GPT-4o 词汇多样性并显著提升文学翻译质量，COMET 最高；相关性分析显示文学评价奖励多样性，新闻评价偏好直译性。意义在于：少样本 GPT-4o 适合高质量、词汇丰富、低错误率翻译；微调 LLaMa 适合更自由、不直译翻译，为按翻译目标选择系统提供依据。
三、关键技术与方法概述
研究人员使用三类模型：OPUS-MT、LLaMa 3.1 Instruct 8B、GPT-4o。文学领域 7 个语言对双向；新闻领域 9 个语言对双向。文学数据来源：土耳其语-英语为 93 本人工对齐文学书籍，随机 90 本作训练/验证，3 本测试；德、西、法、意、俄-英使用 Books 语料；中文-英语使用 WMT23 GuoFeng Webnovel Corpus v1。新闻数据：土耳其语-英语使用 SETIMES，其余八语言使用 News Commentary v18.1，测试用最新 WMT 新闻测试集。微调 NMT、GPT-4o、LLaMa；LLaMa 采用 QLoRA，4-bit 量化，仅更新 1.05% 参数。少样本提示使用 relevance-based sampling，以 mxbai-embed-large-v1 检索相似句，测试 n=2、3、5、7、10。评价指标包括 BLEU、BLEURT-20、COMET、COMET-Kiwi、XCOMET，词汇多样性 TTR、Yule’s I、MTLD，直译性 USW、NM。
四、研究结果
5.2.1 翻译质量
通过 BLEU、BLEURT、COMET、COMET-Kiwi 比较。关键发现：指标分歧。文学领域 BLEU 偏向微调开源模型，LLaMa 在多数 X→EN 领先，NMT 在 EN→X 领先；COMET 则使 GPT-4o 领先，少样本提示最高。新闻领域 GPT 优势更一致，在印地语和日语中 NMT 与 LLaMa 明显较弱。微调提升 NMT 和 LLaMa 文学表现，但持续降低 GPT 性能，可能灾难性遗忘或数据约束。人类翻译在 COMET 和 BLEURT 上仍是上限。无参考 COMET-Kiwi 在文学常将 MT 排在人类之上，可能偏好表面流利。微调对开源模型变革，GPT 性能崩溃，few-shot 更稳健。X→EN 常高于 EN→X，EN→X 因基线低而受益微调更大。少样本在文学一致提升，新闻饱和。神经指标层级 GPT ≥ LLaMa ≥ NMT。
5.2.2 表现最佳模型
研究人员聚合四个质量指标排名，选出文学领域 GPT 10-shot、base、7-shot 与微调 LLaMa、NMT；新闻领域 GPT 7-shot、base、2-shot 与相同微调模型，并加入 LLaMa 10-shot，排除低性能 GPT 微调。用于后续词汇多样性和直译性分析。
5.2.3 词汇多样性
以 MTLD 为主。GPT few-shot 在两领域通常词汇最多样。文学 GPT few-shot 平均 MTLD 最高（EN→X 322.4；X→EN 130.2）。新闻 GPT few-shot 领先平均 MTLD、Yule’s I 和 X→EN TTR；few-shot 较 zero-shot 新闻平均 MTLD 增 +6.6（EN→X）和 +7.9（X→EN），文学总量不显著。微调 LLaMa 提升质量却降低文学词汇多样性，微调 LLaMa MTLD 最低；新闻也下降。few-shot 比微调损害小但增益有限。系统排名 GPT 最强，NMT 中间稳定，LLaMa 最弱。人类平均 TTR 和 Yule’s I 在 EN→X 最高，但 GPT 10-shot 文学 X→EN MTLD 130.2 超人类 120.1，GPT 7-shot 新闻两方向超人类平均。
5.2.4 翻译直译性
使用 USW 和 NM，高分表示更不直译。零样本 LLM 和预训练 NMT 较直译。少样本和微调使输出更不直译，微调 LLaMa 最强。文学中微调 LLaMa 平均 USW 和 NM 最高；新闻中微调 LLaMa 在 14/18 方向最不直译。GPT few-shot 比 zero-shot 在 17/18 更不直译，但 GPT 整体仍比微调 LLaMa 直译。USW 与 NM 互补，都支持适应降低直译性。人类平均比多数 MT 更不直译，但微调 LLaMa 或 NMT 在特定方向超过人类。
5.2.5 错误分析
使用 XCOMET-XXL。GPT few-shot 在两领域实现最佳质量与低错误率平衡。文学 GPT 从 zero-shot 到 10-shot 系统分上升，关键错误下降，5/7-shot 平衡最佳。新闻 GPT 7-shot 系统分 0.915，总错误和关键错误最低。GPT 微调灾难性退化。LLaMa 经少样本和微调改善但落后 GPT。NMT 微调有有限改善，仍最弱。层级 GPT ≥ LLaMa ≥ NMT。
5.2.6 相关性分析
Spearman 相关。质量指标正相关，BLEURT 桥接 BLEU 与 COMET。词汇多样性和直译性组内强相关，两组间弱或略负，说明独立维度。BLEU 惩罚多样性，语义指标奖励丰富词汇，文学更明显；MTLD 与语义质量正相关较强。领域依赖：文学 COMET 奖励更自由、更不直译，COMET-Kiwi 和 XCOMET 偏好直译；新闻 BLEU、BLEURT、COMET-Kiwi、XCOMET 偏好直译，COMET 例外。领域效应：文学奖励多样性，新闻奖励直译性。
5.2.7 消融研究：训练数据集规模的影响
GPT-4o 微调受限于约 500k tokens。英-土文学等预算实验显示，NMT 和 LLaMa 微调 500k tokens 有边际增益（NMT +0.27 BLEU/+0.002 COMET；LLaMa +0.93/+0.007），GPT-4o 严重退化（BLEU 9.51→5.99，COMET 0.786→0.721），且成本约 $12.50/500k tokens，比本地微调贵 600 倍以上。可能灾难性遗忘。前沿模型更适合上下文学习，较小开源模型传统微调可扩展，LLaMa 全数据 +7.46 BLEU。因此优先资源给更响应且成本更低的架构。
6 研究发现
翻译质量：文学微调 LLaMa BLEU 最佳，GPT 其他指标领先；新闻 GPT zero/few-shot 主导。NMT 微调文学强、新闻弱。LLaMa 受益少样本和微调，微调最大。GPT few-shot 文学有效、新闻冗余；微调损害 GPT。BLEU 偏好微调开源，COMET/BLEURT/COMET-Kiwi 偏好 GPT。开源中 LLaMa 优于 NMT（文学 13/14 COMET，新闻 16/18）。人类 BLEU/COMET/BLEURT 更高，COMET-Kiwi 常将 MT 高于人类。层级 GPT ≥ LLaMa ≥ NMT。词汇多样性：GPT few-shot 最丰富，新闻显著；LLaMa 微调降低多样性；GPT 平衡最好；GPT few-shot 可超人类 MTLD。直译性：零样本 LLM 较直译；few-shot 和微调降低直译，LLaMa 最强尤其非英语目标；微调 LLaMa 最不直译；GPT 比微调 LLaMa 直译；USW 和 NM 互补；人类通常更不直译但特定方向例外。错误分析：GPT few-shot 最佳平衡；LLaMa 改善但落后；NMT 最弱。指标相关性：质量指标大体一致，BLEURT 桥梁；多样性与直译性独立；BLEU 惩罚多样性，新闻偏好直译；语义指标领域分化；MTLD 与语义质量正相关；领域效应。
7 结论（翻译）
研究人员从翻译质量、词汇多样性、翻译直译性三维度比较传统 NMT 模型和 LLM。GPT-4o 表现突出，尤其在少样本提示下，具有优越翻译质量和词汇多样性，COMET、BLEURT、COMET-Kiwi 多数语言对高分，错误分析确认其高质量与低错误率平衡。少样本 GPT-4o 在特定方向甚至超过人类平均词汇多样性。微调依赖架构：改善开源 NMT 和 LLaMa，但持续损害商业 GPT-4o；LLaMa 微调导致词汇多样性下降，揭示适应与词汇丰富性权衡；微调产生更自由输出，LLaMa 适合需要创造性解释的语境。评价指标存在系统差异：BLEU 在文学偏好微调 NMT 和 LLaMa，COMET 跨领域偏好 GPT。COMET-Kiwi 有时将 MT 尤其 GPT 排在人类翻译之上，倾向奖励流利而非风格变化。相关性分析显示词汇多样性和翻译直译性基本独立：BLEU 惩罚词汇多样性、偏好直译；语义指标按领域分化。文学中 COMET 奖励更自由、更不直译翻译，COMET-Kiwi 和 XCOMET 偏好直译；新闻中几乎所有指标偏好直译。总体而言，选择 MT 系统应由具体翻译目标驱动：词汇丰富且高质量翻译用少样本 GPT-4o；更不直译、更具创造性翻译用微调 LLaMa。研究还强调领域效应：文学翻译受益于词汇多样性，新闻翻译奖励直译性。未来研究可探索混合方法，结合模型优势；开展人类评价考察质量与直译性、创造性关系；探索解码或策略优化控制词汇丰富性和直译性；扩展到低资源语言对检验领域适应和架构敏感性趋势。
