《Big Data and Cognitive Computing》：Adapting Large-Scale Foundation Models for Turkic Speech-to-Speech Translation: Fine-Tuned Cascade and Direct Approaches
编辑推荐：
本文提出了一种面向低资源突厥语系语言的语音到语音(STS)翻译的新方法。如今，STS在高资源语言上已取得快速进展；而突厥语系仍然明显缺乏代表性。因此，为这些语言开发可靠的语音翻译系统极具挑战性。为解决此问题，研究人员专门为资源有限的突厥语系开发了两种语音翻译系
本文提出了一种面向低资源突厥语系语言的语音到语音(STS)翻译的新方法。如今，STS在高资源语言上已取得快速进展；而突厥语系仍然明显缺乏代表性。因此，为这些语言开发可靠的语音翻译系统极具挑战性。为解决此问题，研究人员专门为资源有限的突厥语系开发了两种语音翻译系统(STS)。第一种是TurkicCascadeSTS，这是一个级联系统，结合了微调的Whisper-medium语音识别(ASR)模型、GPT翻译以及每种语言独立的语音合成(TTS)模型。第二种系统是基于微调SeamlessM4Tv2的直接语音翻译模型。这两个系统都进行了向突厥语系翻译的测试，每种语言使用了24,656条录音。TurkicCascadeSTS系统交付了远好得多的结果：平均双语互译评估分数从4.68升至30.60；METEOR分数从15.03升至44.42；词错率(WER)也显著下降。这些改善得益于系统各个模块单独进行了微调，以兼顾每种语言的特定特征。尽管SeamlessM4Tv2有时会产生更清晰的音频，但TurkicCascadeSTS通常在所有语言对中都提供更高的语音和翻译质量。这表明，模块化、专门调优的系统是向突厥语系翻译的有效解决方案，特别是考虑到其复杂的结构和有限的语言资源。这类系统将使超过2亿以突厥语系为母语的人受益。
语音到语音(STS)翻译系统是人工智能领域的关键技术，能够将一种语言的口语直接翻译为另一种语言。近年来高资源语言在该方向取得了显著进展，但针对突厥语系尤其是突厥语对的技术仍未充分开发。突厥语系包含超40种语言，使用人口约2亿。由于方言口音差异大、缺乏高质量基础设施组件以及开源数据稀缺，标准语音识别与合成系统在应对哈萨克语、土耳其语等语言时稳定性差且错误率高，难以直接迁移应用。为填补低资源突厥语STS研究空白，研究人员开展了一项针对性研究，首次提出并实现了一个专门针对六个突厥语对（哈萨克语、土耳其语、乌兹别克语、鞑靼语）的模块化级联STS系统TurkicCascadeSTS，并首次对SeamlessM4Tv2进行了多语言直接STS翻译微调与系统性比较。结论表明在有限资源下，微调的级联系统显著优于直接端到端模型，能够为超2亿母语者提供可靠翻译，该成果发表在《Big Data and Cognitive Computing》期刊上。
关键技术与方法上，研究人员使用了每种语言24,656条录音的数据集进行训练；在级联系统中，利用微调的Whisper-medium模型作为关键语音识别(ASR)模块以降低转录错误传播，并采用GPT-5实现文本机器翻译(MT)，最终通过ElevenLabs v3等模型进行语音合成(TTS)；在直接系统中，则对具备15亿参数的基础模型SeamlessM4Tv2进行两阶段端到端微调。评估方面采用了词错率(WER)、BLEU等有参考文本的监督指标，以及NISQA、DNSMOS等无参考音频的无监督感知质量评估指标。
实验设置与结果
4.1. 数据集描述与微调方向：研究采用每种语言24,656条录音，按90%训练、5%验证、5%测试划分。设定了6个翻译方向（如Kaz2Tur、Tat2Uzb等），涵盖资源较丰富与较稀缺的相关语言对，以评估系统在相关但资源不平衡语言间的翻译表现。
4.2. 级联与直接模型的微调：在TurkicCascadeSTS中，核心仅对Whisper-medium ASR模块进行微调，使用1×10
-5学习率以适应语音特征，通过减少词错率(WER)抑制错误传播；MT和TTS模块保持固定。SeamlessM4Tv2直接模型则进行两阶段端到端微调，通过约68,000次更新使模型在验证损失上达到收敛而未出现过拟合，测试了在2万条小规模数据下更新15亿参数的可行性。
4.3. 基于监督指标的STS音频质量评估：使用统一的Whisper large-v3对生成语音转写并与参考文本比对。TurkicCascadeSTS微调后平均BLEU从4.68大幅升至30.60，METEOR升至44.42，词错率(WER)显著降至73.46，在鞑靼语等方向改善最强。而SeamlessM4Tv2直接模型微调前后效果无统计学显著差异，平均BLEU仅为6.48。这证明级联系统在有限数据下表现远优于直接系统。
4.4. 基于无监督指标的STS音频质量评估：无参考评估显示SeamlessM4Tv2在部分方向（尤其译入土耳其语）的NISQA表现优异，能生成感知清晰的音频；但TurkicCascadeSTS在MOSNet和SpeechMOS指标上表现更稳定，得分均超过4.0，说明其综合合成的语音更自然、悦耳。
讨论
研究结果显示TurkicCascadeSTS在监督指标上全面领先，这归因于级联架构允许针对性改善最薄弱的ASR环节，且其GPT翻译模块见过的文本远超端到端语料库，结合高质量TTS引擎使得整体表现更佳。对于拥有15亿参数的SeamlessM4Tv2，2万余条数据不足以带来有效微调收益，其优势仅体现在特定方向的感知清晰度上。然而，级联系统的优势部分也得益于其使用的商业TTS引擎，这是研究的一个局限。
研究结论与未来工作
研究结论表明，在低资源突厥语系环境下，采用额外专用模块微调的级联系统在翻译准确率上显著优于直接模型，而无监督指标证明直接模型在特定语言方向能产生感知清晰的语音。未来工作计划扩展更多突厥语系语言，增加训练数据规模，探索适配器或LoRA等参数高效的直接模型微调方法，并研究结合两种架构优势的混合系统。同时，将进一步评估译入哈萨克语和鞑靼语的表现。
