《Computer Speech & Language》:Do modern speech LLMs and re-scoring techniques improve bilingual ASR performance for Basque and Spanish in domain-specific contexts?
编辑推荐:
本文介绍了对Vicomtech为Albayzín 2024双语巴斯克语-西班牙语语音到文本(BBS-S2T)挑战开发的自动语音识别(ASR)系统的扩展评估,该任务专注于转录具有频繁的句内和句间语码转换(code-switching)的双语议会录音。这些录音来自
本文介绍了对Vicomtech为Albayzín 2024双语巴斯克语-西班牙语语音到文本(BBS-S2T)挑战开发的自动语音识别(ASR)系统的扩展评估,该任务专注于转录具有频繁的句内和句间语码转换(code-switching)的双语议会录音。这些录音来自巴斯克议会全体会议,由于突然的语言交替、巴斯克语数字资源有限以及缺乏上下文和说话人信息,带来了重大挑战。该研究还包含了对最先进的ASR架构(即Phi4-multimodal和CrisperWhisper)的额外分析,这些架构在挑战数据集上进行了微调。此外,这些系统在一个补充基准上进行了评估,以评估模型鲁棒性。研究人员还提供了自动假设选择技术的详细比较,包括传统的n-gram和大语言模型(LLM)方法。结果表明,最优词错误率(WER)并不总是与最准确的转录相关,突显了在语码转换场景中评估ASR性能的复杂性。
**论文解读:基于巴斯克语-西班牙语双语ASR的现代语音LLM与重打分技术评估**
**研究背景与问题**
在自动语音识别(ASR)领域,端到端(E2E)模型在大规模数据集上取得了显著进展,但面对语言复杂且资源匮乏的场景时仍存在挑战。双语语音识别,特别是涉及语码转换(code-switching)的场景,是当前研究难点之一。语码转换指说话人在同一话语或句子内交替使用两种语言,这在巴斯克语和西班牙语共存的伊比利亚半岛尤为常见。巴斯克语是一种孤立语言,数字资源有限,而西班牙语则拥有丰富的ASR支持。此外,实际应用场景如议会录音,往往缺乏上下文连续性、说话人元数据,且音频片段短小不连续,这些因素进一步增加了ASR系统的难度。为此,Albayzín 2024双语巴斯克语-西班牙语语音到文本(BBS-S2T)挑战提供了一个现实评估框架,要求系统不仅准确转录单一语言,还需动态适应不可预测的语言转换,并在资源有限条件下有效运行。解决这些问题对于推动多语言和低资源ASR研究,以及支持政府、法律等双语交流场景的实际应用至关重要。
**研究内容与结论**
该研究扩展了Vicomtech团队在BBS-S2T挑战赛中的获胜系统评估。研究人员引入了两个新的领先系统——Phi4-multimodal和CrisperWhisper,并在挑战数据集上微调,与之前开发的Zipformer-based RNN-T系统(K2-RNNT-E1和K2-RNNT-E2)、Fast-Conformer RNN-T系统(NEMO-RNNT)以及Whisper Large V3微调版本(WHISPER-FT)进行对比。所有系统还额外在MINTZAI-ST基准数据集上测试,以评估模型鲁棒性。此外,研究人员详细比较了自动假设选择技术,包括传统n-gram和大语言模型(LLM)方法(如LLaMA 3和Latxa 3.1),并针对最优词错误率(WER)与转录质量的关系进行了深入分析。结果表明,Zipformer-based RNN-T系统在BBS-S2T测试集上取得了最佳全局WER(1.91%),优于其他微调的大型架构,且最优WER并不总是对应最准确的转录,这突显了在语码转换场景中评估ASR性能的复杂性。论文发表在《Computer Speech》。
**关键技术与方法**
研究人员主要采用了以下关键技术方法:1)基于Zipformer编码器的RNN-T(RNN-T)系统,从零开始训练,使用BPE(BPE)压缩生成500个token,并通过K2框架实现transducer损失。2)基于Fast-Conformer的RNN-T系统(NEMO-RNNT),采用Nvidia Parakeet-1.1B架构,使用BPE tokeniser(1024单元)和双语数据训练。3)Whisper Large V3和CrisperWhisper模型的微调版本,通过LoRA(LoRA)低秩适应方法在全部训练数据上微调,学习率为5×10
-5,batch-size为64。4)Phi-4-Multimodal多模态LLM(LLM)的微调版本,使用西班牙语提示“Transcribe este audio bilingüe al espa?ol y al euskera”,并调整音频投影器和LoRA适配器。5)外部语言模型(LM)重打分方法,包括n-gram(3-gram和5-gram)和LLM(LLaMA 3和Latxa 3.1)的零样本、少样本静态与动态策略。所有训练数据来自12个语料库,总计5185小时32分钟,其中巴斯克语(EU)1631小时31分钟,西班牙语(ES)3539小时47分钟,双语(ES+EU)14小时12分钟,数据来源包括Common Voice、IDAZLE、EITB、SAVAS、MINTZAI-ST、RTVE系列、Albayzin、Multext以及BBS-S2T挑战专属数据集。
**研究结果**
**1. 各ASR系统在BBS-S2T评估集上的表现**
表2显示,Zipformer-based RNN-T系统(K2-RNNT-E1和K2-RNNT-E2)以全局WER 1.91%和1.93%领先,远超其他架构。Fast-Conformer RNN-T系统(NEMO-RNNT)以2.64%紧随其后。Phi4-FT(2.94%)和CRISPER-FT(3.07%)优于基线系统(3.11%和2.65%),但WHISPER-FT(4.13%)未超越基线。预训练模型(如whisper-large-v3、CrisperWhisper、Phi-4-Multimodal)在巴斯克语上表现极差(WER>100%),突显了巴斯克语低资源条件的影响。
**2. 在MINTZAI-ST评估集上的表现**
表4显示,K2-RNNT-E2取得全局最佳WER(4.85%),优于基线(西班牙语7.21%,巴斯克语11.78%)。但所有系统在巴斯克语上的WER均高于西班牙语,且PHI4-FT(8.80%)排名第四,与BBS-S2T上的排名不同,表明不同语料特性(如MINTZAI-ST优先单说话人、单语言、长句)影响性能。
**3. 基于LM的重打分实验**
**模型融合**:将K2-RNNT-E1和K2-RNNT-E2的一假设融合,使用LLM和n-gram选择最佳假设。LLAMA-FS-D策略在全局取得最佳WER(1.892%),但所有融合结果与单模型(1.908%)差距极小,仅0.016%以内。n-gram在双语子集上略优(MINTZAI-3GR达1.518%),但最优可达到的WER为1.714%,表明仍有改进空间。
**假设融合**:对K2-RNNT-E1的4假设进行重打分,所有策略WER显著恶化(4.87%–5.58%),远高于1-best的1.91%。n-gram(MINTZAI-5GR,4.87%)优于LLM(LATXA-ZS,5.47%),但最优可达到的WER为0.96%,说明重打分方法未能有效利用候选假设。
**4. 额外指标分析**
BLEU和chrF指标与WER高度相关,差异更细微(如LLAMA-FS-S的BLEU 96.23% vs 最优96.57%),进一步证实了重打分技术的边际效益。
**讨论与结论**
讨论部分指出,大型架构在细调数据量不足时表现不如小规模从头训练的模型(如Zipformer),尤其是在巴斯克语低资源条件下。短音频片段缺乏上下文也限制了LLM等模型的能力。硬件资源方面,Zipformer模型在有限GPU下仍达到领先水平。重打分实验中,LLM倾向于选择语义更连贯的假设而非WER最优的,且对提示语言敏感(英语提示最佳)。此外,参考转录本身存在错误(如拼写不一致、重复词缺失),导致最优WER指标不可靠。结论部分总结:研究人员扩展了Vicomtech在BBS-S2T挑战中的获胜系统,发现从头训练的Zipformer-based RNN-T系统优于微调的大型架构;外部LM重打分虽有改善空间,但并未显著提升WER,且LLM偏重语义而非声学匹配。未来工作将探索LLM生成综合假设、使用更精准的评估指标(如TNWER)以及领域特定微调。