多语言神经机器翻译中数据选择的贝叶斯优化方法

《Information Processing & Management》：Bayesian optimization for data selection in multilingual neural machine translation

　　• 首次应用贝叶斯优化（Bayesian Optimization，简称BO）专门为机器翻译（Machine Translation，简称MNMT）模型选择语言数据。
• 强大的框架针对离散语言对搜索空间定制了BO的核心组件。
• 大规模的实验证明该方法显著提升了低资源语言的翻译质量。

**引言**
多语言神经机器翻译（MNMT）将多种语言方向的翻译能力整合到一个参数化的模型中（Dabre等人，2020年）。正如低资源机器翻译文献中所记录的（Ranathunga等人，2023年），联合优化对于缺乏大规模平行文本资源的资源不足的目标语言对特别有益。在共享参数层上的监督训练促进了跨语言迁移，使得资源丰富的辅助源能够结构化地增强数据稀少的语言（Bu等人，2024年）。然而，这种跨语言的实用性受到参数容量瓶颈的限制，这一现象常被称为“多语言性诅咒”（Conneau等人，2020年）。随意添加辅助语料库往往会在优化过程中引入负面干扰和梯度退化，其中冲突的句法类型会破坏模型的目标语言表示（Pang等人，2025年；Wang等人，2020年）。因此，现代翻译流程需要系统的数据选择，特别是要识别哪些辅助语言组合能在不导致表示崩溃的情况下实现积极迁移，这使得以数据为中心的选择成为低资源翻译工程中的关键优化变量（Mi和Xie，2024年；Wang和Neubig，2019年）。

本研究解决的明显研究空白是缺乏一种可扩展的优化机制来应对这种组合数据选择问题。传统的选择指标独立评估候选辅助语言，隐含地假设数据源之间存在线性关系。它们认为，如果辅助语言A和B对目标语言T分别有益，那么它们的同时使用将带来线性的、累加的好处。然而，当多个辅助语料库同时引入共享表示空间时，深度多语言网络会表现出高度非线性的参数竞争和跨语言的负面迁移（Wang等人，2020年）。相比之下，动态的句子级选择机制（如基于目标的采样，Target-Conditioned Sampling，简称TCS）虽然提供了粒度，但存在严重的计算瓶颈（Wang和Neubig，2019年），需要在每个训练步骤中对庞大的文本库进行逐个标记的评分。

为了解决这一空白，本文提出了一种自动化的、以数据为中心的优化启发式方法，将辅助语言选择问题从一个静态的、无关联的排名问题转化为一个在连续结构特征流形上的联合优化任务。我们不是在指数级增长的庞大离散组合空间中进行搜索，而是将候选数据池投影到一个连续的低维坐标空间上。这些坐标代表了分配给四个预先计算出的宏观特征的权重：语言相似性、资源规模、数据效用和基因重叠。通过使用带有高斯过程（Gaussian Process，简称GP）替代模型的贝叶斯优化（BO），我们的框架在每次迭代中提出连续的权重向量，从而主动应对迁移-干扰之间的权衡。这种连续的权重配置参数化了一个确定性的评分规则，然后通过显式的映射函数将其投影回离散的辅助语言选择中，从而得到一个明确的数据子集。这种混合优化设计使我们能够捕捉混合数据分配的复杂非线性交互效应，而无需承担句子级标记索引或直接组合探索的巨大计算开销。我们的框架将数据子集评估视为一个优化问题，其中GP替代模型模拟了降维后的下游代理模型的黑箱效用表面。从实际工程角度来看，该架构应主要作为算法贡献来评估，而不是作为通用的跨语言迁移的确定性理论框架。

本文的主要贡献包括理论构建、架构调整和广泛的实证验证。在结构上，我们首先将MNMT中的组合语言对选择问题形式化为在连续权重空间上的自动BO任务。这种形式化提供了一种确定性投影机制，能够平滑地解决离散数据混合分配问题，将传统的难以处理的组合瓶颈转化为连续的优化场景。在此基础上，我们调整了BO流程的内部替代表示和获取函数，以成功导航连续的结构特征空间。通过引入一个考虑预算的代理架构来评估这些组合，该框架主动减轻了通常困扰大规模多语言训练的负面迁移和计算扩展瓶颈，使优化过程保持高效。最后，我们通过涵盖23个翻译任务和11个不同语言家族的扩展实证评估，展示了我们框架的可扩展性和实际效用。在数据密度高达500万个句子对的具有挑战性的条件下，所提出的框架表现出稳健的性能，平均BLEU分数比强基线提高了1.4分。此外，与传统的穷举搜索方法相比，这种优化方法的累计搜索开销减少了60%，使其成为资源受限翻译环境中的高度可行方案。

本文的其余部分组织如下：第2节将我们的工作置于多语言训练和主动数据过滤的更广泛背景下；第3节阐述了我们的优化目标；第4节详细描述了连续贝叶斯循环和投影映射的结构组件；第5节描述了数据集配置和集群硬件环境；第6节分析了主要的实证结果和基线评估；第7节详细讨论了所提出的基于BO的数据选择框架的主要理论和实际意义；第8节总结了我们的结论；第9节概述了系统的边界条件和限制。

**系统片段**
**神经架构的演变：从Transformer到选择性状态空间模型**
虽然MNMT长期以来一直由Transformer架构主导（Johnson等人，2017年；Vaswani等人，2017年），但最近的突破引入了选择性状态空间模型（SSM），尤其是Mamba（Gu和Dao，2024年）。与自注意力的二次方扩展不同，Mamba利用了一种选择机制，允许模型根据输入在序列维度上传播或遗忘信息。在低资源设置中，这已被证明可以提高数据效率。

**研究目标**
本研究的总体目标是开发一个原则性和高效的框架，用于识别在MNMT设置中最大化特定低资源目标语言翻译质量的最佳辅助语言对集。与其依赖僵化的、基于启发式的子选方式，我们将数据策划视为一个主动的优化问题。为此，我们追求一系列相互关联的研究目标，旨在涵盖理论构建和……

**方法论**
我们将低资源MNMT中的辅助语言对选择建模为一个BO问题。我们的框架不是直接解决所有可能数据子集的难以处理的组合优化问题，而是将选择问题投影到一个连续的特征权重流形上。BO引擎优化这些权重，以参数化一个确定性评分规则，该规则直接映射到离散的辅助子集上。这种策略允许对数据进行高效、可扩展的探索。

**实验**
本节详细介绍了旨在验证我们基于BO的语言选择框架的实验设置。我们在涵盖多种语言家族和形态特征的23个低资源翻译任务中评估了我们的方法，并将其性能与多层次的强基线进行了比较，包括最先进的选择性状态空间架构和参数高效微调的LLM（Zhu等人，2024年）。

**结果与分析**
本节对所提出的BO框架进行了全面评估。

**讨论与意义**
在本节中，我们分析了第6节中呈现的发现，并讨论了我们基于BO的数据选择框架的主要理论和实际意义，将其与现有工作区分开来。

**结论与未来工作**
本文提出了一个通过BO管理MNMT中辅助语言分配的连续数据选择框架。通过将离散的高维组合数据选择挑战转化为在低维结构投影上的黑箱优化任务，该系统使用语言距离、数据集规模、基因重叠和标记级分布参数等结构指标映射局部语言交互表面。这种方法……

**限制**
我们提出的BO框架的主要限制源于MNMT训练过程本身的复杂性和计算成本。首先，评估的计算成本限制了我们方法的绝对粒度。尽管我们的框架通过在降维的代理架构中隔离主动搜索来减轻开销，但BO循环的每次迭代仍然需要一个训练阶段和随后的验证评估。这不可避免地限制了总次数……

**作者贡献声明**
Mi Chenggang：撰写——原始草案、方法论、调查、概念化。
Xie Shaoliang：撰写——审阅与编辑、验证、资源。