一个轻量级的中文-英文翻译模型,集成了压缩版的BERT注意力机制和短语丢弃机制
《Frontiers in Neurorobotics》:A lightweight Chinese–English translation model integrating compressed BERT attention and phrase discard mechanism
【字体:
大
中
小
】
时间:2026年05月08日
来源:Frontiers in Neurorobotics 2.8
编辑推荐:
摘要
基于神经网络模型的中英文机器翻译严格采用了编码器-解码器的序列建模方法。然而,这种传统方法无法有效利用语法信息和语言层次结构信息。因此,为了将语法结构信息整合到中英文机器翻译中以提高其翻译性能,本文提出了一种基于图卷积网络和BERT(来自Transformer的双向编码器
摘要
基于神经网络模型的中英文机器翻译严格采用了编码器-解码器的序列建模方法。然而,这种传统方法无法有效利用语法信息和语言层次结构信息。因此,为了将语法结构信息整合到中英文机器翻译中以提高其翻译性能,本文提出了一种基于图卷积网络和BERT(来自Transformer的双向编码器表示)知识增强的新中英文机器翻译方法。在这项工作中,我们提出了一种强化神经机器翻译的方法,该方法整合了多种技术来提升翻译质量。首先使用可学习的压缩向量将多BERT上下文压缩并对齐到翻译模型的语义空间中,确保BERT中的丰富上下文信息能够在我们的翻译框架内得到有效利用。在源语言阶段,我们采用双向编码器对源句子及其语法依存树进行编码,从而捕捉词汇和结构信息。为了进一步丰富源语言侧的语义表示,将压缩向量与编码器的输入向量连接起来。此外,我们引入了一种短语丢弃机制,在训练过程中随机丢弃目标短语。这种机制增强了模型对错误翻译短语的鲁棒性,从而减少了它们对后续短语翻译的影响。在NIST数据集上的实验证明了我们提出的轻量级中英文翻译方法的有效性。与计算成本较高的通用大型聊天机器人模型(例如ChatGPT)不同,该模型在参数较少的情况下实现了39.68的BLEU分数,解决了资源匮乏场景和短语翻译错误的问题。它为面向私人的翻译聊天机器人提供了一种新颖的轻量级范式,显著优于基线Transformer(35.75 BLEU)。
1 引言
词语或字符可以被视为构成语言的基本单位,然而,人们通常使用短语来表达特定的意义。例如,考虑英文翻译“China and Serbia have very good relations。”,如果将其拆分为:“[China and Serbia] [have] [very good] [relations]”,则这句话更容易理解,其中每个括号内的词构成了一个短语。如果这些短语没有被准确翻译,将大大影响翻译的质量(Maharani等人,2023;Tektigul等人,2023)。由于传统的神经网络模型在训练过程中给每个词赋予相同的权重,因此没有考虑到每个词的不同重要性(Bowers等人,2023),因此,通过考虑一些额外信息作为目标末端词来生成了一种方法。传统的神经网络模型在训练过程中为每个词赋予不同的训练权重,这被称为自适应训练。Li等人(2023)认为低频词难以训练,应该给予更高的训练权重。因此,提出了两种启发式目标函数来为不同频率的目标词分配不同的权重。对于指数目标,权重随着频率的降低而单调增加;对于卡方目标,只有那些有意义但相对低频的词才能被赋予更大的权重。Vitta等人(2023)认为多义词在训练时应具有更高的容忍度,多义词的训练权重应适当降低。因此,提出了词级双语互信息(BMI)作为训练目标,从双语角度衡量每个词的学习难度,并动态调整词权重。以前的研究仅使用了词级辅助信息,而本文的方法使用了短语级辅助信息,通过改变权重来限制模型记住短语。
传统的基于短语的统计机器翻译(SMT)方法已被证明优于基于词的方法(Durrani等人,2015)。然而,现代神经机器翻译(NMT)方法中关于短语的工作(Yu等人,2024;Wang等人,2017)侧重于使用外部工具生成的短语来为神经网络模型提供额外信息。例如,Devi等人(2023)使用SMT模型生成的短语来扩展束搜索。Razaq等人(2023)使用SWAN(Sleep-Wake Networks)方法来获取短语结构并对其进行建模。然而,除了外部短语信息外,模型无法准确翻译训练集中的短语。在WMT(统计机器翻译研讨会)14的英德数据集中,标准NMT模型对训练集中的4个词的短语的翻译准确率仅为27.5%,表明许多短语没有被准确翻译。因为NMT模型最小化了每个词的损失,这可能导致没有明确的短语记忆约束,因此即使是训练集中的短语也可能被错误翻译。Li(2024)引入了一种基于注意力的混合搜索算法,通过SMT短语翻译扩展了NMT的束搜索。Moe(2023)通过将目标短语从短语内存整合到NMT中来翻译短语,其中短语内存由SMT模型提供,然后NMT解码器从短语内存或生成该短语的概率最高的词中选择一个短语。Banik(2023)建议使用SWAN来建模目标语言的短语结构。本文的新方法利用模型本身的特性来寻找短语并提高翻译质量,而不需要额外的参数或信息。
该模型通过基于词级的自适应训练来规范记忆短语,这鼓励模型通过为每个词分配不同的权重来专注于特定词的翻译。例如,由于标准Transformer(Vaswani等人,2017)对低频词的翻译准确率较低,约束模型(Liu等人,2022)专注于低频且有意义的词,从而解决了模型过度拟合高频词而忽略低频词的问题。Xu等人(2021)旨在使用双语互信息(BMI)来衡量词的学习难度,为容易学习的词分配更多权重,为不易学习的词分配较少权重。
使用预训练的语言模型(PLM)进行迁移学习是一种受到更多关注的方法。如GPT、BERT(Koroteev,2021)、RoBERTa、XLM和XLNET等预训练模型在大量单语数据上进行了训练,学习了丰富的语义表示。通过将这些预训练模型迁移到机器翻译任务中,可以提升翻译模型的表示能力和泛化性能,从而改善资源匮乏场景下的翻译效果。研究表明,使用PLM可以在提高NMT模型性能方面取得显著成果。此外,还提出了一些新模型,如级联混沌神经网络(CCNN)(Abbasi等人,2022;Abbasi,2024)。这些方法主要分为两类:第一类是将PLM的参数作为下游任务的初始参数进行微调;第二类是冻结PLM并将它生成的内容整合到NMT模型中。然而,直接微调PLM可能会影响NMT模型的性能,因为这会导致它们在训练新任务时忘记之前学到的知识,这种现象称为“灾难性遗忘”。将上下文嵌入到PLM中的方法被广泛研究并且是有效的方法(Nzetchou等人,2022;Zhou等人,2025),但这些融合方法更为复杂,并显著增加了训练和推理过程的计算成本。此外,由于PLM和NMT模型在预训练任务、模型架构和训练数据领域方面的差异,直接冻结和整合PLM的上下文嵌入限制了其在NMT模型中的潜力,限制了性能的提升。
在中文-英文翻译的背景下,我们特别选择了多语言BERT(mBERT)而不是单语言BERT变体(例如中文BERT或英文BERT),有三个令人信服的原因。首先,mBERT是在104种语言上共同预训练的,这有助于捕获对中文-英文翻译至关重要的语义表示。相比之下,单语言BERT模型是在单一语言的语料库上独立训练的,缺乏能够弥合源语言和目标语言之间语义差距的显式跨语言监督。其次,对于中文-英文这样的资源匮乏的语言对,mBERT的跨语言迁移能力允许在预训练期间从资源丰富的语言中转移知识,提供比单语言对应模型更丰富的上下文表示。第三,使用mBERT消除了维护源语言和目标语言单独编码器的需要,降低了模型复杂性,并实现了统一的表示学习。虽然单语言BERT可能提供更强的语言特定表示,但表1中的实证证据表明,我们的CAM有效地压缩了mBERT的跨语言知识,实现了更优的翻译性能(BLEU 35.60),相比直接整合方法更为优越。
表1
模型 BLEU
Transformer 35.75
mBERT.enc-in 34.37
XLM-R.enc-in 35.49
BERT-Fused 36.22
mBERT-CAM(-DGT) 35.60
BERT-CAM(-DGT) 37.51*(+2.76)
不同BERT模型对翻译质量的影响。
*表示与基线系统相比BLEU分数有统计学上的显著提升(Bootstrap重采样测试,n=2,695 [测试集样本],25次独立运行,p=0.05)。
本文将其贡献总结为三个一致方面:
(1) 我们提出了一种新颖的轻量级中文-英文翻译框架,整合了图卷积网络和BERT知识增强,以提高中文-英文翻译的准确性和效率。
(2) 我们设计了一个压缩注意力模块(CAM),以线性复杂度将多语言BERT上下文嵌入到Transformer中,避免了灾难性遗忘和过度的计算开销。我们还引入了一种短语丢弃机制(PDM)来增强短语级别的翻译鲁棒性,以及一种双重多粒度训练(DGT)策略,以充分利用双语知识,形成了一个完整的轻量级训练和推理流程。
(3) 在NIST中文-英文翻译数据集上的广泛实验表明,我们的模型取得了39.68的BLEU分数,比基线Transformer高出了3.93 BLEU,超过了其他先进方法。进一步分析包括消融研究、参数效率评估、超参数敏感性测试和定性案例研究,一致验证了每个组件的有效性、鲁棒性和效率。
2 提出的中英文机器翻译模型
首先,我们将介绍本文所需的一些基本概念。
基于编码器-解码器框架的神经机器翻译(NMT)已成为自动翻译的主流范式。早期的NMT系统依赖循环神经网络(RNN)进行序列建模,而后来的Transformer模型完全采用了自注意力机制,并通过建模长距离依赖关系取得了最先进的性能。大多数传统的NMT方法关注于拥有丰富平行数据的高资源语言对,但在资源匮乏的情况下由于监督不足和表示能力较弱而表现不佳。相比之下,本文通过整合语法结构和预训练的语言模型知识,旨在实现轻量高效的中英文翻译。机器翻译是使用计算机将一种语言转换为另一种语言的过程。给定源语言句子X={x1,x2,?,xi,?,xN}和目标语言句子Y={y1,y2,?,yi,?,yM},其中X包含NN个词,Y包含MM个词,NMT将句子级别的概率分解为词级别概率的乘积,如公式1所示:
P[y∣x;θ]= ∏j=1P[yj∣x∣,yj;θ]
(1)
其中θ表示源语言和目标语言之间的转换公式。
神经机器翻译模型通常由编码器、解码器以及构建编码器和解码器之间连接的一些方法组成。例如,在注意力机制中,编码器接收源语言句子的序列,将其转换为中间表示,然后解码器生成这个中间表示的翻译,如图1所示。
图1 编码器-解码器模型。
资源匮乏的NMT旨在利用有限的平行数据提高翻译质量。最近的方法可以分为三类:数据增强、迁移学习和架构增强。数据增强技术包括回译、token级别打乱和多粒度样本扩展(Hassan和Mahmood,2018;Fu等人,2019;Chen等人,2017)。迁移学习方法利用单语言语料库或跨语言信号来初始化或规范模型训练(van der Veen,2023)。架构方法通过外部语言知识(如语法、词性标记或依存关系树)来增强编码器,以减少数据依赖性(Dai等人,2024;Das等人,2023;Jiang和Yin,2023)。然而,大多数现有方法要么忽略语法归纳偏见,要么在整合预训练模型时引入了繁重的计算。本文通过轻量级压缩机制和语法融合策略解决了这两个问题。
预训练的语言模型(PLMs),如BERT、mBERT、XLM-R和XLNet已被广泛用于通过提供丰富的语义表示来改进NMT(Glorot等人,2011;Ott,2019)。有两种主流的整合策略:一是直接微调PLM参数作为下游任务的初始参数;二是冻结PLM并将它生成的嵌入整合到NMT中。然而,直接微调PLM可能会影响NMT模型的性能,导致它们在训练新任务时忘记之前学到的知识,这种现象称为“灾难性遗忘”。将上下文嵌入到PLM中的方法被广泛研究并且是有效的方法(Nzetchou等人,2022;Zhou等人,2025),但这些融合方法更为复杂,并大大增加了训练和推理过程的计算成本。此外,由于PLM和NMT模型在预训练任务、模型架构和训练数据领域方面的差异,直接冻结和整合PLM的上下文嵌入限制了其在NMT模型中的潜力,限制了性能的提升。
我们特别选择了多语言BERT(mBERT)而不是单语言BERT变体(例如中文BERT或英文BERT),原因有三个。首先,mBERT是在104种语言上共同预训练的,这有助于捕获对中文-英文翻译至关重要的语义表示。相比之下,单语言BERT模型是在单语言语料库上独立训练的,缺乏能够弥合源语言和目标语言之间语义差距的显式跨语言监督。其次,对于中文-英文这样的资源匮乏的语言对,mBERT的跨语言迁移能力允许在预训练期间从资源丰富的语言转移知识,提供比单语言对应模型更丰富的上下文表示。第三,使用mBERT消除了维护源语言和目标语言单独编码器的需要,降低了模型复杂性,并实现了统一的表示学习。虽然单语言BERT可能提供更强的语言特定表示,但表1中的实证证据表明,我们的CAM有效地压缩了mBERT的跨语言知识,实现了优于直接整合方法的翻译性能(BLEU 35.60)。这验证了mBERT的多语言特性,结合适当的压缩机制,特别适用于神经机器翻译场景。
本文提出了一个轻量级中文-英文翻译框架,该框架整合了图卷积网络和BERT知识增强,以提高翻译的准确性和效率。然而,直接微调会导致灾难性的遗忘,而简单的融合方法会显著增加计算复杂性和模型大小。为了解决这些问题,提出了一些轻量级的适应方法,包括知识蒸馏、低秩分解和特征压缩。尽管如此,很少有方法能够同时实现跨语言对齐、句法融合、线性复杂性和短语级别的鲁棒性。长期以来,短语级别建模已被证明对翻译有效。早期的基于短语的统计方法后来通过外部短语表或记忆机制集成到神经机器翻译(NMT)中。最近的研究使用短语感知注意力或短语级别训练目标来鼓励模型记住常见的短语。同时,通过图卷积网络(GCN)整合了诸如依存关系树之类的句法信息,以提高结构感知能力。尽管有这些进步,但短语鲁棒性和句法编码很少与轻量级的跨语言知识增强相结合。本研究在一个单一的轻量级框架中统一了短语级别训练、句法GCN编码和压缩后的BERT融合。
神经机器翻译是一种序列到序列的任务。其目标是从源语言的句子x=(x1,x2,?,xn)建立到目标语言的句子y=(y1,y2,?,ym)的映射关系。当前主流的NMT模型都采用了编码器-解码器架构(Zhou等人,2023年;Khan,2024年)。在这种架构中,源语言的单词首先由编码器转换为隐藏表示ZZ,如方程2所示。然后,解码器使用ZZ和先前生成的目标单词序列y=(y1,y2,?,yt?1)作为输入,生成第t个目标单词的表示ht,即方程3:Z=Encoder(x)=(z1,z2,?,zn)(2),ht=Decoder(Z,y)(3)。接着,ht通过线性投影映射到目标词汇表的维度∣V∣,并使用Softmax函数计算在时间tt生成单词yt的概率分布,如方程4所示。最后,选择概率值最大的单词作为时间tt的预测结果yt。整个句子的概率表示为目标语言中每个单词的联合概率分布,如方程5所示。pq(yt∣Z,y;q)=Softmax(Linear(ht))(4),pq(y∣x∣;?)=∑t=1pq(yt∣Z,y;q)(5),其中?表示神经网络的参数,可以通过最小化目标语言的预测分布和真实分布之间的对数似然来优化,如方程6所示:Lossnll=?∑(x,y)∈Dlogpq(y∣x;?)(6),Lossnll是负对数似然损失。(x,y)是源语言句子,yy是目标语言参考句子,DD是并行训练数据集,pq是模型的条件概率。
2.1 整体架构
本文提出的中英文机器翻译模型架构如图2所示。该模型主要由四个模块组成:mBERT、CAM、编码器和解码器。CAM用于压缩mBERT的输出表示,并将其与编码器的输入表示拼接,以融入更丰富的上下文信息。对于任何给定的源语言序列x=(x1,x2,L,xn)到目标语言句子y=(y1,y2,L,ym),所提出方法的流程图如下:
1) 编码器输入。
图2 提出的中英文机器翻译模型架构。
给定源语言句子xx后,通过词嵌入层将其转换为向量表示,然后添加位置编码以赋予每个单词元素位置信息,从而获得编码器输入EE,如方程7所示:E=Embed(x)+PE(x)(7),其中Embed表示词嵌入层,PE表示位置编码层,E∈Rn×dmodel,nn是由NMT模型编码的源语言序列长度,dmodel是NMT模型的嵌入维度。
2) mBERT语义压缩。为了捕捉源语言句子xx中更丰富的语义信息,我们使用mBERT获取其上下文嵌入BB。同时,我们使用一组可学习的轻量级连续向量CC作为信息提取的骨干序列。通过CAM的交叉注意力层,我们将BB中的关键语义信息整合到CC中,生成新的压缩表示?CC,如方程8、9所示:B=mBERT(x)(8),?C=CAM(C,B)(9),其中B∈Rl×d,ll是由mBERT编码的源语言序列长度,dmodel是mBERT的嵌入维度,CC和?CC具有相同的维度并且都是Rk×dmodel,kk是压缩向量的长度,远小于ll,实现了原始信息BB的有效提取和压缩。
3) 表示融合。获得CAM输出的压缩向量?CC后,我们将其与编码器输入EE简单连接,得到增强后的源语言表示?EE。这一过程如方程10所示:?E=E∥∥?C=(e1,e2,?,en,c1,?,ck)(10),其中∥表示序列维度上的连接操作,?E∈R(n+k)×dmodel。这样,NMT的源语言表示可以在注意力机制中以mBERT压缩序列?CC为后缀,从而增强源侧的表达能力。
4) 标准NMT过程。我们使用增强的源语言表示?EE输入到Transformer编码器中。编码器通过堆叠的自注意力层和前馈网络获得源输入序列的语义表示,如方程6所示。在解码阶段,解码器将生成的目标语言序列与编码器输出结合起来,逐步生成目标语言表示,如方程7所示。最后,解码器输出通过线性层和Softmax函数转换为目标语言词汇表上的概率分布,生成翻译结果,如方程8所示。所提出方法的编码器和解码器与标准Transformer架构相同,但通过引入CAM来压缩mBERT的知识,从而将更丰富的语义信息注入NMT模型,提高翻译的性能。
2.1.1 GCN-Transformer-CAM融合机制
为了以维度一致和层次协作的方式将句法结构信息(来自GCN)和压缩后的跨语言语义信息(来自CAM)整合到Transformer编码器中,我们设计了一个具有维度对齐和层次交互的双流特征融合流程。融合严格遵循句法-语义特征共编码的原则,并在Transformer的底部编码层(第1层,自注意力计算之前)和中间编码层(第3层,前馈网络计算之后)实现,以确保句法结构信息在整个编码过程中完全传播并与语义信息融合。GCN以编码器输入嵌入EE和源语言句法依存树作为输入,通过有向图卷积操作输出句法结构表示G∈Rn×dmodel,其维度通过权重矩阵WG∈Rdgcn×dmodel和偏置bG∈Rdmodel与Transformer模型维度dmodel和CAM压缩向量?C∈Rk×dmodel严格对齐(如果原始GCN输出维度dgcn与dmodel不一致)。该过程如方程11所示:G=Linear(Graw)=Graw?WG+bG(11),其中Graw是GCN对句法依存树的原始输出,线性投影层与整个模型一起训练,以学习适应中英文翻译的句法特征映射。在Transformer编码器的第一层(底部层,自注意力之前),我们执行连接+逐元素加法来融合GCN句法表示GG、原始编码器输入EE和CAM压缩语义向量?CC?。这一步骤在初始编码阶段将句法和压缩后的BERT语义信息注入Transformer,融合特征F1∈R(n+k)×dmodel定义为方程12、13所示:?E=E+GE?=E+G(12),F1=?E∥∥?C(13),其中?E实现句法特征GG和原始词汇-位置嵌入EE(维度n×dmodel)的逐元素加法,实现词汇-句法融合,F1在序列维度上拼接CAM压缩语义向量?CC?(维度k×dmodel),生成Transformer编码器第1层的最终输入特征F1。F1直接作为编码器的增强输入输入到第1层的自注意力层。在Transformer编码器的第三层(中间层,前馈网络FFN之后),我们引入了GCN残差融合机制来强化句法结构信息,防止句法特征在深层Transformer层中的衰减,并实现GCN输出与经过多层自注意力编码的CAM-语义特征之间的交互。设Transformer编码器第3层的FFN输出为F3?FFN∈R(n+k)×dmodel,我们首先通过对GCN句法表示GG进行序列填充(从n×dmodel到(n+k)×dmodel),通过在最后kk个位置进行零填充(与CAM向量的序列长度一致),生成填充后的GCN表示?G∈R(n+k)×dmodel。然后定义第3层的融合特征F3∈R(n+k)×dmodel为方程14所示:F3=F3?FFN+α??G(14),其中α∈(0,1]是一个可学习的融合权重(初始化为0.5),用于动态调整中间编码阶段句法特征的贡献。F3作为第4层自注意力层的输入,可学习权重α随模型一起优化,以平衡不同句子结构(例如,复杂的长句与简单的短句)的句法和语义特征贡献。在第3层融合之后,融合特征F3通过剩余的Transformer编码层(第4层到第6层)传播,不再进行额外的GCN/CAM融合操作。最终的编码器输出ZZ是一个统一的句法-语义表示,整合了词汇信息、位置信息、压缩后的mBERT跨语言语义信息(CAM)和源语言句法依存树信息(GCN)。该表示被输入到Transformer解码器中以生成目标语言翻译,确保翻译在语义和句法上的准确性。
2.2 压缩注意力模块(CAM)
2.2.1 CAM设计
压缩注意力模块(CAM)旨在解决将预训练的语言模型(PLMs)集成到神经机器翻译(NMT)中的核心痛点,包括高计算复杂性、灾难性遗忘以及PLM和NMT语义空间之间的不一致。它与主流的BERT压缩/适应方法(如DistilBERT(知识蒸馏)和XLM-R(跨语言预训练和直接嵌入集成)以及简单的BERT融合方法(如BERT-Fused)有根本的不同。CAM的所有设计选择都是基于将PLM集成到资源有限的中文-英文NMT中的实际挑战,并且每个选择都通过本文的实验结果得到了验证:
(1) 冻结的PLM + 可学习的轻量级压缩向量(C∈Rk×dmodel)。冻结mBERT/XLM-R可以避免预训练的跨语言知识的灾难性遗忘(这是基于微调的PLM集成的一个关键问题),而可学习向量使得中文-英文翻译的任务特定优化成为可能,而不需要大量参数的增加。
(2) 固定长度压缩(k?lk?l)。压缩向量的长度与输入序列长度ll无关,确保模型能够高效处理长句子并避免过长的PLM嵌入导致的噪声积累。
(3) 自注意力 + 交叉注意力双层。自注意力使压缩向量内部交互,捕捉全局语义相关性,而交叉注意力将冻结的PLM嵌入合并到压缩向量空间中,以实现准确的语义对齐。
(4) 与NMT编码器输入的序列维度连接。将压缩后的PLM向量?CC?与NMT编码器输入EE拼接,使NMT的注意力机制能够关注PLM的关键语义信息作为后缀,增强源语言的表达能力,而不改变原始的Transformer编码器/解码器架构。
所提出的CAM旨在使用一组固定长度的向量有效地提取mBERT上下文嵌入中的核心语义信息。由于输入文本长度ll是可变的,我们引入了可学习的轻量级压缩向量C∈Rk×dmodel作为CAM的固定输入。在CAM中,我们使用自注意力层让CC中的向量内部交互,并使用交叉注意力层让CC与冻结的mBERT表示合并(Go等人,2023年;Ma等人,2023年)。压缩向量C的长度kk与输入文本序列长度ll无关,且k?lk?l。这意味着无论输入序列的长度如何,我们都可以使用固定长度的C来表示其关键语义,并通过连接它们在时间上提供更丰富的上下文信息。这样,我们的模型能够更高效地处理长文本序列,同时准确捕获关键语义信息。具体来说,CAM由三部分组成:自注意力层、交叉注意力层和前馈网络层,如图3所示。具体来说,我们使用三个不同的参数矩阵WCQWQC、WCKWKC和WCVWVC来将压缩向量CC投影为查询向量QC=(qC1,?,qCk)、键向量KC=(kC1,?,kCk)和值向量VC=(vC1,?,vCk)。然后,我们计算第i个查询向量qi∈QC和第j个键向量kj∈KC的注意力权重eijeij,并使用Softmax函数对其进行归一化,得到aij,如方程15和16所示。最后,自注意力模块的输出C′通过以下方程17和18计算得出:C′=Self?att(QC,KC,VC)=(c'1,?,c'k)。其中vj∈VC表示第j个值向量。
2) 交叉注意力层。在这个层中,压缩向量C′与冻结的mBERT输出上下文嵌入B∈Rl×d进行交互。我们使用参数矩阵WC'Q=Rdmodel×dmodel将C′转换为查询向量QC'=(qC'1,?,qC'k),并使用WBKWKB和WBVWVB将mBERT的嵌入维度dd投影到NMT的维度dmodel上,得到键向量KB=(kB1,?,kBl)和值向量VB=(vB1,?,vlB)。然后,它使用交叉注意力将上下文BB嵌入到C′中,如方程19所示。
3) 前馈网络层。C″的每个位置都通过一个前馈网络进行转换,该网络由两个线性变换层和一个ReLU(修正线性单元)激活函数组成。注意在深度学习实践中,“ReLU”通常是这种修正线性激活函数的的标准术语。计算过程如方程20所示。此外,我们在每个子层之后使用残差连接和层归一化。最后,输出向量?CC通过连接文本序列的上下文嵌入BB来增强NMT模型的编码器嵌入表示。
2.2.2 CAM的计算复杂度
本小节提供了压缩注意力模块(CAM)的计算复杂度(FLOPs,浮点运算)的正式分析,包括其三个核心子层:自注意力、交叉注意力和前馈网络(FFN)。我们还证明了CAM对于输入序列长度ll的线性复杂度,这是它相对于传统BERT融合方法(O(l^2)复杂度的关键设计优势。
1) CAM的自注意力层
自注意力层仅对固定长度的压缩向量C∈Rk×dm进行操作(不与输入序列ll交互)。缩放点积自注意力和水分贝(后注意力)的FLOPs如方程21所示:
FLOPsself?att = 4?k^2?dm + 2?k?d^2m
2) CAM的交叉注意力层
交叉注意力层模拟压缩向量C′∈Rk×dm(自注意力的输出)与冻结的mBERT嵌入B∈Rl×db之间的交互。我们首先将BB投影到NMT的维度dmodel上,然后计算缩放点积交叉注意力。过程如方程22所示:
FLOPscross?att = 2?l?db?dm + 2?k?l?dm + 2?k?d^2m
3) CAM的前馈网络(FFN)层
FFN层对cross-attention的输出C′′∈Rk×dm使用两个线性层和ReLU激活函数进行操作。过程如方程23所示:
FLOPsFFN = 4?k?d^2m
将所有三个子层的FLOPs相加,CAM的总FLOPs如方程24所示:
CAM的总FLOPs = FLOPsself?att + FLOPscross?att + FLOPsFFN
替代各个FLOPs并简化(仅保留对于较大ll的主导项)。其计算过程如方程25所示:
传统的BERT融合方法(例如BERT-Fused)直接将完整的mBERT嵌入B∈Rl×db与NMT编码器输入连接起来,导致对整个序列ll的自注意力(O(l^2·dm)复杂度)。对于CAM,由于k?l,主导项O(k·l)与ll成线性关系,并且远小于长序列的O(l^2·dm)复杂度。NMT模型的推理速度主要由Transformer编码器的自注意力层(O(n^2)复杂度决定,其中nn为编码器输入长度)。CAM将压缩向量?C∈Rk×dm与NMT编码器输入E∈Rn×dm连接起来,使得编码器输入长度增加到n+kn+k。由于kk是固定且较小的(kk=8),因此推理速度的开销增加可以忽略不计(O((n+k)^2)≈O(n^2))。
2.3 图卷积网络(GCN)用于编码句法树结构信息
传统的CNN网络以矩阵形式处理数据,类似于一张像素排列的矩阵。然而,GCN处理的数据是图结构,如图结构、社交网络和信息网络。给定一个无向图G={N,E},N是图中的所有节点集合;E是所有边的集合,包括自环边。GCN是一个多层神经网络,可以直接在图上操作以聚合节点信息。通常,图上的节点信息由邻接矩阵表示。对于GCN的某一层,节点的向量信息聚合公式如方程26所示:
hn = ρ(∑u∈N(n)WXu + b)
对于神经机器翻译之类的任务,图卷积网络的输入是一句话的语言序列,而句子是由单词组成的。换句话说,使用有向图来处理这样的句子信息更为合适。一些工作(如Israr等人,2025年;Arib等人,2025年)已经对GCN进行了泛化,使其能够处理有向图和带有边类型的图。这使得GCN能够处理依存树。为了处理依存树的方向,边根据边类型分为三类:进入(IN)、离开(OUT)和循环(LOOP)。递归计算过程如方程28所示:
hj+1 = ρ(∑u∈N(n)Wjdir(u,n)hju + bj
GCN输出Graw(原始句法表示)首先被投影到Transformer模型的维度dmodel,以便与CAM压缩向量?CC和Transformer编码器输入EE进行维度对齐。然后,维度对齐的GCN表示GG通过与Transformer的第1层和第3层进行逐元素加法和残差融合,与Transformer和CAM的输出融合。这种设计确保了句法依存树信息不仅被编码,而且还有效地与mBERT(CAM)的压缩跨语言语义信息和Transformer的词汇信息集成在一起,形成了统一的句法-语义特征表示。
2.4 短语丢弃机制
丢弃机制可用于增加噪声或屏蔽无关信息。标准丢弃机制通过以一定概率将输入神经元设置为零来防止过拟合(Nath等人,2024年)。预训练模型通过恢复被丢弃的单词来训练模型,并在自回归生成任务的解码侧采用丢弃机制来增强模型的鲁棒性。神经机器翻译模型在解码时使用自回归机制,当前单词的生成依赖于前一个单词,因此如果一个短语翻译错误,后续短语的翻译也会受到影响。为了解决这个问题,本文提出了一种基于传统丢弃机制的短语丢弃方法。该方法在训练过程中随机丢弃目标句子中的短语,以模拟推理过程中的短语翻译错误情况,如图4所示。从单词V3到V5的短语被替换为UNK标签,以模拟推理过程中某些短语翻译不准确的情况,鼓励模型从源语言或已生成的文本中提取更多语法或语义信息。Begin标签表示句子开始标记,End标签表示句子结束标记,UNK表示用于替换被丢弃短语的特殊未知标记。
2.5 训练策略
在训练低资源语言的神经机器翻译(NMT)模型的背景下,高效利用有限的数据成为一个关键因素,这显著影响了这些模型的性能和有效性。双向预训练和单向微调(Teng等人,2023年;Lin,2025年)的范式已被证明可以显著提高低资源NMT系统的翻译性能。作为双重任务,同时训练正向翻译和反向翻译可以提高NMT模型的双语理解能力,从而提高翻译效果。我们提出了一种双重多粒度训练方法,包括两个主要步骤:(1)多粒子样本生成。我们随机组合不同的样本对的源语言和目标语言句子,生成不同长度的新训练样本。这增加了数据的多样性,使模型能够在不同长度和上下文中学习,提高了其处理不同粒度信息的能力;(2)双重样本生成。我们通过交换源语言和目标语言句子来生成反向训练样本。源语言和目标语言的表示可以互相增强,从而构建更好的翻译编码器。每批数据最多包含4,096个子词,为了模拟在4张显卡上进行训练的效果,我们将梯度累积次数设置为4。权重的选择基于验证集上的最低损失。在解码阶段,我们使用簇搜索方法,束宽为5,并添加了1的长度惩罚。为了其他比较目的,我们使用multi-bleu.perl脚本来计算分词翻译的BLEU分数。在所提出的方法中,有一个重要的超参数θθ。θθ代表神经网络的参数,可以通过最小化目标语言的预测分布和真实分布之间的对数似然来优化。超参数θθ在验证数据集上进行调整,结果如表4所示。最后,使用来自验证数据集的最佳超参数来最终评估测试数据集。在本文中,选择了θθ = 0.6。表4 θθ BLEU 0.1 34.93 0.2 35.52 0.3 36.01 0.4 36.55 0.5 38.78 0.6 39.68 0.7 38.75 0.8 38.2 10.9 37.54 1.0 35.6 超参数θθ对中英语言对BLEU的影响。
3.1 总体结果
表5显示了不同模型在NIST中英翻译任务中的实验结果,包括BLEU、绝对数值和相对增益。这里,绝对数值(AB)= |新BLEU - 旧BLEU|,相对增益(RG)= ((新BLEU - 旧BLEU) / 旧BLEU) × 100%。与基线相比,所提出的方法将BLEU分数提高了3.93,这证明了使用压缩mBERT知识来增强翻译模型的源表示和双重多粒度训练的有效性。与其他低资源机器翻译方法相比,所提出的方法显示出了全面的优势。通过无缝集成注意力机制和对广泛并行语料的预训练,Transformer模型(Tian等人,2023)能够巧妙地捕捉句子之间的复杂相互关系和微妙的语义差异。AL(Zhang等人,2022)使用注意力链接网络在注意力矩阵之间共享信息。EAL(Quan等人,2024)通过显式对齐学习更好地对齐了源语言和目标语言的嵌入空间。BMNMT(He等人,2021)是一个基于字节编码的多语言机器翻译模型。模型的鲁棒性通过随机字节编码和集成预测得到增强。DoT(Wu等人,2021)使用并行语料进行预训练以减少噪声,并初始化NMT模型参数。UniDrop(Wu等人,2025)将多粒度dropout纳入翻译模型。
表5 模型 BLEU (±95% CI) AB RG
Transformer 35.75 (±0.42) 1.49 4.32%
Transformer + AL 35.81 (±0.40) 1.53 4.44%
EAL 36.93 (±0.38) 1.59 4.48%
BMNMT 37.11 (±0.35) 1.61 4.52%
DoT 37.21 (±0.33) 1.62 4.55%
UniDrop 37.99 (±0.31) 1.67 4.59%
Deep fuse 36.11 (±0.41) 1.60 4.61%
C-MLM 36.71 (±0.39) 1.64 4.65%
Mask interaction 36.91 (±0.37) 1.66 4.68%
BERT-fused 37.22 (±0.32) 1.68 4.71%
BERT supervision 37.56 (±0.30) 1.71 4.75%
AB-Net 37.81 (±0.29) 1.72 4.76%
PLM-sponsored 38.61 (±0.27) 1.77 4.79%
BIBERT 39.23 (±0.25) 1.82 4.85%
所提出的方法 39.68 (±0.21) 1.88 4.97%
翻译性能的95%置信区间(Bootstrap重采样)。所有模型都采用完整的训练配置,以确保整体性能的公平比较。对于基线Transformer (transformer_iwslt_de_en),我们进行了100次独立训练会话,标签平滑(平滑 = 0.1),丢弃概率 = 0.3,批量大小 = 4,096个子词,梯度累积 = 4,解码时的束宽 = 5。所提出的模型使用完整的架构(CAM + GCN + PDM + DGT双重多粒度训练)和两阶段训练策略(阶段1:冻结mBERT参数 + DGT训练;阶段2:LoRA轻量级微调 + DGT再训练)。
我们在测试集(NIST中英,2,695个样本)上进行了1,000次自助法迭代,以计算所有BLEU分数的95%置信区间(CI)。对于每次迭代,我们替换性地对测试集进行采样,计算重新采样集的BLEU分数,并得出第25和第97.5百分位作为95% CI的界限。所提出的模型相对于基线的所有改进在统计上都是显著的(p < 0.05),因为所提出的模型的95% CI与其他模型的不重叠。对于BERT增强方法,所提出的方法达到了最好的统计显著效果(39.68 ± 0.21),比BIBERT(39.23 ± 0.25)高出0.45 BLEU,且95% CI不重叠。BIBERT方法具有大量的参数,需要定制双语BERT,导致训练成本较高。然而,在使用本文中的相同mBERT后,BIBERT在中英翻译任务上的表现较差。这可能是由于mBERT在表示能力上的局限性,相比以英语为重点的BERT-base-uncased。总体而言,本文在相对较小的模型复杂性和参数数量的情况下实现了统计上显著的翻译结果改进(通过不重叠的95% CI得到验证),这表明所提出的CAM具有强大的知识提取和整合能力,并且可以通过DGT策略有效提高低资源语言的翻译质量。
3.2 成本分析
为了公平比较不同方法使用BERT增强翻译模型的效果,我们计算了不同模型在NIST数据集上的参数数量、BLEU分数、训练时间和推理时间。实验结果如表3所示。(M:百万个可训练参数。所有“训练时间”和“推理时间”值都是相对于基线Transformer_iwslt_de_en(设置为1.0×)的。训练/推理在同一硬件上进行,具有相同的批量大小和优化设置以确保公平性。)
为了准确比较参数效率和计算成本,基线Transformer保持与表5相同的配置。此表中的所提出模型只进行第1阶段训练(冻结mBERT + DGT),不进行LoRA微调,因为LoRA会引入额外的可训练参数并使成本比较复杂化。实验结果表明,与基础模型transformer_iwslt_de_en相比,所提出的方法仅通过添加少量参数就实现了显著的性能提升。具体来说,该方法的参数数量仅比基线模型多9.5%,但BLEU分数提高了2.66。这比BERT-Fused模型高出1.2 BLEU,而BERT-Fused模型增加了43.1%的参数。尽管BIBERT的参数数量显著增加,达到基线模型的两倍,并且训练和推理复杂性相对较高,但其BLEU分数仅比所提出的方法高出0.82,再次强调了所提出方法在性能和复杂性之间的良好平衡。
当我们考虑具有7层解码器的Transformer-Dec7时,额外的参数数量并没有带来显著的改进。实际上,本文中的方法的参数数量相当,但仅分别增加了24%的训练和推理复杂性。总之,本文提出CAM在成本性能上取得了更好的效果,不仅通过压缩BERT知识提高了翻译质量,而且在参数效率和训练推理效率方面也有优势。为了进一步量化CAM的计算效率,我们将CAM的渐近计算复杂性与传统BERT融合方法(BERT-Fused)和BIBERT进行比较,如表6所示。CAM实现了线性复杂性(O(kl)),而BERT-Fused和BIBERT由于完整的BERT嵌入整合而具有二次复杂性(O(l^2))。这种线性复杂性是CAM的推理时间仅比基线增加30%(1.3倍)的关键原因,而BERT-Fused增加了50%(1.5倍),BIBERT增加了110%(2.1倍)。对于长输入序列(ll > 100),CAM的复杂性优势变得更加显著,FLOPs减少了90%以上。
表6 模型 渐近复杂性(关于输入长度ll) 主要项 推理时间开销(与基线相比)
Transformer(基线) O(n^2) O(n^2) (n = NMT编码器长度) n^2dmn2dm1.0×
BERT–Fused O((n+l)^2) O((n+l)^2) l^2dml2dm1.5×
BIBERT O(l^2) O(l^2) l^2dbl2db2.1×
所提出的(CAM) O(n^2+kl) O(n^2+kl) kldmkldm1.3×
3.3 训练数据量对翻译质量的影响
表7显示了在不同训练数据量下的BLEU分数,同时加入了代表性的低资源NMT方法(AL、EAL、BMNMT、DoT、UniDrop)进行综合比较。结果表明,所提出的模型在所有数据规模上始终优于Transformer基线和所有先进的低资源方法。当训练数据非常有限(10 k)时,我们的模型比第二好的方法(UniDrop)高出7.82 BLEU。在50 k数据下,改进达到了2.07 BLEU。随着数据量的增加,所提出的模型仍然保持明显的优势。这充分证明了所提出的模型在训练数据有限时比主流低资源NMT方法具有更强的有效性和鲁棒性。
3.4 消融实验分析
为了验证所提出方法的有效性,我们设计了以下实验。我们在实验中分别添加了CAM、多粒度训练(MG)和短语丢弃机制(PDM)。实验结果如表8所示。在中英翻译任务中,CAM、MG和PDM分别将基线方法提高了0.71、0.72和1.44。结合CAM和PDM策略的方法比基线方法提高了2.39。所提出的方法效果最佳,BLEU值为37.41。
表8 模块配置 BLEU (平均±SD,25次运行) BLEU (±95% CI) 相对于transformer的绝对改进(平均,25次运行)
Transformer(基线)35.75 ± 0.41 35.75 (±0.45) –
Transformer + GCN 35.88 ± 0.38 35.62 (±0.42) 0.13
Transformer + CAM 36.09 ± 0.37 36.09 (±0.41) 0.34
Transformer + MG 36.17 ± 0.36 36.17 (±0.40) 0.42
Transformer + PDM 36.19 ± 0.32 36.19 (±0.36) 0.44
Transformer + CAM + GCN 36.55 ± 0.33 36.55 (±0.39) 0.80
Transformer + CAM + PDM 37.04 ± 0.28 37.04 (±0.32) 1.29
Transformer + CAM + PDM + GCN 37.29 ± 0.27 37.29 (±0.30) 1.54
所提出的(CAM + MG + PDM)38.41 ± 0.26 38.41 (±0.30) 1.66
消融结果(25次独立运行,平均±SD,±95% CI)。目的是通过控制变量来验证各个模块(CAM、MG、PDM)的有效性。基线Transformer使用与表5相同的架构,但简化了训练过程(10次独立训练会话而不是100次,无标签平滑)以加速模块验证。此表中的所提出模型指的是CAM + MG + PDM的组合(不包括GCN和完整的DGT,因为DGT包括双向样本生成,而MG仅使用多粒度样本生成),并且不涉及LoRA微调。所有消融实验都遵循统一评估协议(25次独立训练运行,1,000次自助法迭代以获得95% CI)。基线Transformer使用简化的训练设置(10次独立运行进行模块验证,然后缩放到25次运行以保持统计一致性)。绝对改进是基于25次运行的平均BLEU分数相对于基线Transformer计算的。添加了三种配置来量化CAM和GCN之间的协同效应,GCN负责编码源语言的句法依赖树信息。
3.3 训练数据量对翻译质量的影响
表7显示了在不同训练数据量下的BLEU分数,同时加入了代表性的低资源NMT方法(AL、EAL、BMNMT、DoT、UniDrop)进行综合比较。结果表明,所提出的模型在所有数据尺度上始终优于Transformer基线和所有先进的低资源方法。当训练数据极其有限(10 k)时,我们的模型比第二好的方法(UniDrop)高出7.82 BLEU。在50 k数据下,改进达到了2.07 BLEU。随着数据量的增加,所提出的模型仍然保持明显优势。这充分证明了所提出的模型在训练数据有限时的更强有效性和鲁棒性。
3.4 Ablation实验分析
为了验证所提出方法的有效性,我们设计了以下实验。我们分别在实验中添加了CAM、多粒度训练(MG)和短语丢弃机制(PDM)。实验结果如表8所示。在中英翻译任务中,CAM、MG和PDM分别将基线方法提高了0.71、0.72和1.44。结合CAM和PDM策略的方法将基线方法提高了2.39。所提出的方法效果最佳,BLEU值为37.41。在文中,“enc?inenc?in” 表示使用 BERT 的输出作为翻译模型编码器的输入进行嵌入。实验结果表明,将 mBERT 的上下文嵌入作为翻译模型编码器的输入并未提升翻译效果,反而有所下降。我们推测这可能是由于 mBERT 编码的序列长度过长所致。此外,我们使用自采样方法进行了显著性测试,以评估 BLEU 值的性能提升情况。相反,XLM-R(Base) 模型在 100 种语言上进行了训练,并在多组跨语言评估中表现出比 mBERT 更好的性能。采用相同策略后,XLM-R 在中文-英文翻译任务中的表现相比 mBERT.enc-in 提高了 1.12。
将 mBERT 的上下文嵌入作为翻译模型编码器的输入会削弱翻译效果,这可能导致翻译质量下降,因为 mBERT 编码的序列长度过长。这一现象进一步验证了我们选择 mBERT 的合理性:虽然单语言 BERT(例如 BERT-base-uncased 对于英文)可能提供更强的单语言表示能力,但 mBERT 的跨语言对齐特性对于翻译任务至关重要,这从 CAM 应用于 mBERT 相比直接整合 mBERT 时带来的 2.76 BLEU 提升中得到了证实。XLM-R (Base) 在 100 种语言的 2 吉字节高质量数据上进行了训练,在多组跨语言评估中表现优于 mBERT.enc-in)。通过使用 mBERT 的上下文嵌入作为翻译模型编码器的输入,翻译效果受到了削弱,这可能是因为 mBERT 编码的序列过长,从而导致翻译质量不佳。然而,这进一步证明了我们选择 mBERT 的正确性:尽管单语言 BERT 可能提供更强的单语言表示能力,但 mBERT 的跨语言对齐特性对于翻译任务至关重要。
3.5 超参数敏感性分析
(1) 对压缩长度 k 的敏感性
压缩长度 k 是压缩注意力模块(CAM)的核心超参数,它决定了从 mBERT 嵌入中提取关键语义信息的固定长度向量的长度。我们针对 k 的不同值(0, 1, 4, 8, 12, 16, 20)进行了梯度实验,并通过 BLEU 性能波动范围和最优值区间来量化其敏感性。最优值 k=8 时获得了最高的 BLEU 分数(35.74±0.35),这是中文-英文翻译任务中 CAM 的最佳压缩长度。当 k<8 时,压缩向量太短,无法充分捕获 mBERT 的跨语言语义信息,导致知识提取不完整;当 k>8 时,压缩向量引入了来自 mBERT 嵌入的冗余噪声,且序列长度的增加导致 Transformer 编码器中的注意力分散,从而降低了性能。
(2) 对掩码概率的敏感性
掩码概率是短语丢弃机制(PDM)和 GCN 丢弃的关键超参数,它控制目标短语的随机丢弃比例(PDM)以及语法特征编码的随机正则化比例(GCN)。为了实验一致性,我们将掩码概率设定为一个统一值(0.1~0.7),梯度实验结果如表 10 所示。
表 10:掩码概率(对于 PDM/GCN 丢弃)对 BLEU 分数的影响(平均±标准差,25 次运行)
- 最优概率:0.1 时 BLEU 分数为 39.68±0.21(最高);
- 过低掩码概率(<0.3)会导致 PDM 中的噪声注入不足,无法有效增强模型对误译短语的鲁棒性;
- 过高掩码概率(>0.3)会导致目标短语/语法特征的过度丢弃,导致短语级翻译和语法结构编码的训练不完整,从而显著降低性能。
在 [0.2, 0.4] 范围内,掩码概率的敏感性较低, BLEU 分数的最大波动仅为 0.33 和 0.17。当概率低于此区间(<0.2 或高于 0.5)时,性能下降更为明显,最大降幅达到 1.48 BLEU。总体而言,模型在合理的掩码概率区间 [0.2, 0.4] 内具有很强的鲁棒性,这是平衡正则化和特征保留的最佳选择。
控制实验显示,高掩码概率导致的性能下降主要由 PDM(短语丢弃)引起,占总下降量的约 70%,而 GCN 丢弃仅占 30%。这表明 PDM 对掩码概率的敏感性高于 GCN,这是因为短语丢弃直接影响模型的短语级翻译记忆。
(3) 对 LoRA 排名的敏感性
LoRA 排名是本文轻量级微调阶段(第二阶段)的核心超参数,它控制 mBERT 注意力层中低秩矩阵的维度,决定了 mBERT 对中文-英文翻译任务的适应程度。我们针对 LoRA 排名的不同值(2, 4, 8, 16, 32, 64,固定 LoRA 缩放因子 α=8)进行了梯度实验,结果如表 11 所示。
表 11:LoRA 排名对 BLEU 分数的影响(25 次独立运行,平均±标准差)
- 最优排名 8 时获得了与原文相同的最高 BLEU 分数(39.68±0.21);
- 过低的 LoRA 排名(<8)会导致低秩矩阵表示能力不足,无法有效微调 mBERT 的跨语言语义知识;
- 过高的 LoRA 排名(>8)不会带来显著的性能提升,甚至可能由于引入了少量冗余参数和对训练集的轻微过拟合而导致性能下降。
在 [8, 64] 范围内,LoRA 排名的敏感性极低,最大 BLEU 波动仅为 0.37(64);当排名等于 16 时,波动仅为 0.06(几乎无性能变化)。当排名低于 8(低秩区间)时,模型表现出中等敏感性,最大降幅为 1.12 BLEU。这充分证明了本文提出的 LoRA 轻量级微调机制在中高排名区间 [8, 64] 内具有极强的鲁棒性。最优的 LoRA 排名 8 与 CAM 压缩长度 k=8 一致,确保了模型两个核心模块(CAM 和 LoRA)的参数一致性。这种设置保证了模型的参数效率——仅需要较低的 LoRA 排名(8)即可使 mBERT 适应翻译任务,避免了高 LoRA 排名带来的训练复杂性增加,这与提出的模型的轻量化设计目标一致。
3.6 定性性能分析:案例研究和错误分析
为了定性展示所提模型的性能,我们从 NIST 测试集中选取了三个典型的中文-英文翻译场景(包含固定短语的简单句子、具有语法依赖性的复杂长句子以及包含专有名词和跨语言语义的句子),并比较了基线 Transformer 模型与所提模型(CAM+GCN+PDM+DGT)的翻译结果。所有示例均来自测试集的真实句子,并结合所提模型的核心模块分析了性能提升的原因。
- **场景 1:包含中文固定短语的简单句子**(核心改进:PDM+CAM):
- 原文:中塞两国始终保持着深厚的传统友谊。
- 基线 Transformer:China and Serbia have always maintained a deep traditional friendship。
- 所提模型:China and Serbia have always maintained a profound and deep traditional friendship。(正确翻译:通过 CAM 压缩的 mBERT 跨语言语义信息,补充了 “profoundly”的核心语义,PDM 强化了固定短语 “深厚的传统友谊”的整体翻译记忆,避免了短语拆分导致的语义弱化)。
(4) 结论
本文提出了一种新颖的中文-英文机器翻译方法,该方法利用图卷积网络和 BERT 知识增强。核心创新是一个压缩注意力模块(CAM),它以线性复杂度高效地将 BERT 导出的语义信息整合到翻译模型的编码器中。我们还提出了一种双粒度训练策略,以提高模型的双语理解和处理长句子的能力。为了提高模型对误译短语的鲁棒性,我们在训练过程中引入了短语丢弃机制。实验表明,我们的方法提高了短语翻译的准确性和整体翻译质量,在NIST中文-英文数据集上的表现优于其他方法,同时具有轻量级架构和对有限训练数据的更好适应性。在当前的工作中,我们最初设计了包含25次独立训练运行的实验,并使用自举重采样来估计不确定性(如实验评估协议中详细说明的那样),所有报告的BLEU分数都是25次运行后的平均值,并附有95%的置信区间。然而,关于模块之间的协同效应以及性能与推理成本之间的权衡的统计分析仍然缺乏更细粒度的不确定性量化(例如,用于模块消融的配对置换测试,以及用于推理时间的自举标准差)。因此,多个模块协同效应的数值比较的可靠性可能受到以下因素的影响:(1)优化器的随机性(权重初始化、丢弃掩码、数据洗牌);(2)训练/验证/测试数据划分的变异性;(3)NIST翻译任务中固有的有限样本噪声。
本研究存在几个需要承认的局限性,这些局限性也指出了未来研究的方向。首先,关于实验比较的统计可靠性,本文报告的BLEU分数来自单次实验,没有估计测量不确定性。因此,我们的模型与其他基线模型之间的数值比较缺乏置信区间或p值,导致观察到的性能差距的统计可信度较低。不确定性的主要来源包括三个方面:(1)优化器的随机性,例如训练期间的随机权重初始化、丢弃掩码和数据洗牌;(2)训练/验证/测试集划分的变异性,这可能影响模型评估的稳定性;(3)NIST翻译任务中固有的有限样本噪声,因为测试集的大小(2,695个样本)有限,可能无法完全反映模型的整体性能。
其次,我们的评估仅限于中文-英文翻译。尽管我们使用了多语言BERT(mBERT),但我们没有在其他语言对上测试我们的模型。本研究中完全没有测试所提出的CAM和DGT对其他语言的泛化能力。这是当前研究的一个主要局限性。未来的工作将把评估扩展到更多语言对、领域和资源匮乏的环境。
第三,关键模块之间的交互机制尚未完全探索。虽然消融实验验证了各个模块(CAM、MG、PDM)的有效性,但CAM(语义压缩)和GCN(句法编码)之间的协同效应尚未量化。缺乏消融实验来分析压缩向量和句法信息的融合如何影响模型对不同句子结构的理解。
第四,关于性能与推理成本之间的平衡没有进行深入讨论。尽管LoRA轻量级微调提高了翻译质量,但本文没有提供其对于推理速度影响的详细数据。尚未建立翻译性能(BLEU分数)与推理效率(每句所需时间)之间的定量权衡模型,这可能会限制模型在实时翻译场景中的应用。未来的工作将应用自举重采样来获得95%的置信度,并进行配对置换测试以验证观察到的改进超出了测量噪声。我们还将专注于使用高级多语言预训练模型来增强翻译模型,并通过知识蒸馏来优化翻译质量和推理速度之间的平衡。此外,我们旨在通过多语言训练扩展模型的多语言能力,以在更广泛的语言和场景中实现更好的性能。