跨语言预训练模型在英语机器翻译中的研究:赋能低资源语言的桥梁构建

《Franklin Open》:Research on the application of cross-language pre-trained models in English machine translation

【字体: 大 中 小 】 时间:2026年04月24日 来源:Franklin Open CS1.4

编辑推荐:

  为解决中低资源语言到英语翻译中平行数据稀缺、领域不匹配、泛化能力差等核心瓶颈,Yingting Zhang等研究者系统评估了mBART-50、mT5-large、NLLB-200-distilled等前沿跨语言预训练模型。研究表明,通过有监督微调、零样本和少样本迁移,NLLB-200-distilled-600M模型在Flores-200等低资源测试集上,平均SacreBLEU得分较传统Transformer基线提升13.6分,在零样本场景下仍保持可用性能(平均BLEU 24.8)。该工作为构建包容、可扩展的高效多语言翻译系统提供了强有力的科学指导和技术路径。

  
在全球数字通信、国际贸易、在线教育和科学合作迅猛发展的今天,准确、高效的机器翻译已成为连接数百种语言、促进全球信息交换的刚需。英语,作为世界最主要的通用语和多语言沟通中最常使用的枢纽语言,在这一过程中占据着不可替代的核心地位。然而,一个严峻的现实是,对于全球约7000种语言中的绝大多数——它们通常被认为是中低资源语言——将其翻译成高质量的英语,仍然面临着重重挑战。最大的瓶颈在于高质量、多领域的平行语料极度稀缺,对于许多低资源语言,其与英语的可用平行数据往往只有几千甚至几百个句子,远不足以训练出稳健、可泛化的神经机器翻译模型。此外,领域不匹配、长尾和形态复杂语言带来的内容幻觉、实体误译、词序错误等问题,进一步限制了当前英语翻译系统在真实、多样且资源匮乏的语言场景中的实际可用性。这些深层次的局限,凸显了迫切需要能够大规模利用跨语言知识的新方法。
为了应对这些挑战,由广东科学技术职业学院国际合作学院的Yingting Zhang开展的研究,对当前最先进的跨语言预训练模型在英语机器翻译任务中的应用与性能进行了系统性的探究。该研究特别关注从中低资源语言到英语的翻译方向,比较了包括mBART-50、mT5-large以及NLLB-200蒸馏变体在内的领先模型,并在有监督、零样本和少样本微调机制下严格评估了它们的有效性。研究成果以“Research on the application of cross-language pre-trained models in English machine translation”为题,发表在《Franklin Open》上。
该研究主要采用了基于预训练模型的迁移学习技术框架。核心方法包括:1) 模型选择与初始化:系统比较了基于去噪自编码与翻译语言建模目标的mBART-50、基于统一文本到文本框架的mT5-large,以及基于大规模稀疏混合专家架构的NLLB-200蒸馏模型。2) 任务特定适应策略:设计了有监督微调、零样本/少样本迁移以及可选的领域适应策略。有监督微调采用交叉熵损失,并结合了反向翻译数据增强和课程学习。3) 数据集与评估:使用WMT系列高资源基准和Flores-200低资源测试集进行验证,涵盖了从豪萨语、约鲁巴语到泰卢固语、孟加拉语等10种具有代表性的中低资源语言。评估采用了SacreBLEU、chrF++、COMET和BLEURT等多维度自动指标以确保全面可靠。
研究结果
1. 主要结果:跨语言预训练模型在英语中心机器翻译上的表现
在从中低资源语言到英语的翻译任务中,NLLB-200-distilled-600M模型展现了最强的整体性能,其平均SacreBLEU得分达到26.4,显著优于mBART-50(高出4.6分)和传统的从零开始训练的Transformer基线(高出超过13分)。mT5-large模型在高资源语言对(如英德翻译)上表现具有竞争力,但在低资源场景下的优势明显收窄。NLLB模型在低资源方向上的持续优越性,凸显了大规模、平衡且覆盖语言多样的预训练的关键作用。
2. 零样本与少样本迁移能力
在零样本设置下(即目标翻译方向无任何平行数据),NLLB-200模型保持了可用的翻译性能,平均BLEU得分为24.8,显著优于其他对比模型。在仅使用100或1000个句对的少样本设置下,经过微调的NLLB模型能够快速适应,性能提升显著,证明了其卓越的跨语言迁移能力,这对于缺乏标注数据的低资源语言翻译至关重要。
3. 模型规模、语言覆盖与预训练目标的影响
通过详细的消融实验,研究发现驱动迁移性能的关键设计因素包括:语言覆盖度(覆盖200种语言的NLLB优于覆盖50或101种的模型)、模型规模(在合理范围内,参数更多的模型表现更好)以及预训练目标组合(结合去噪、翻译语言建模等多任务的预训练比单一目标更有效)。例如,NLLB模型采用的大规模多语言多任务预训练,结合稀疏混合专家架构,使其能够高效地捕获跨语言的、语言不变的语义和句法表示。
4. 效率与性能的权衡
研究还探讨了部署时的效率-性能权衡。虽然更大的模型(如NLLB-1.3B)能带来边际性能提升,但经过知识蒸馏的600M参数版本在保持大部分性能优势的同时,大幅降低了推理成本和内存占用,为实际部署提供了更可行的选择。
研究结论与讨论
本研究通过系统的实证分析,确立了跨语言预训练模型在英语中心机器翻译,特别是中低资源语言翻译中的主导地位和巨大潜力。核心结论是,以NLLB-200为代表的、经过大规模多语言多任务预训练的模型,能够有效克服平行数据稀缺的瓶颈,通过其强大的零样本和少样本迁移能力,显著提升从低资源语言到英语的翻译质量、流畅性和鲁棒性。
该研究的重要意义在于:首先,它提供了当前跨语言预训练模型在英语中心翻译场景下的全面性能基准,为后续研究和技术选型提供了重要参考。其次,研究证实了性能的显著提升(高达13-14 BLEU分),为低资源语言翻译研究提供了强有力的科学指导。最后,研究深入分析了语言覆盖率、模型规模和预训练目标等关键因素的影响,并给出了关于效率-性能权衡的实践见解,为构建包容、可扩展且高效的多语言翻译系统指明了一条充满希望的新技术路径。在全球互联的时代,这项研究为推动信息平等获取、打破语言壁垒提供了坚实的技术基础。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号