《IEEE Access》:Cross-Attention Reprogramming for ASR: Bridging Discrete Speech Units and Pretrained Language Models
编辑推荐:
本研究针对离散语音单元(DSU)与预训练语言模型(PLM)嵌入空间不匹配的问题,提出了一种交叉注意力重编程机制(CATT-RPG)。该方法通过动态对齐DSU特征与PLLM语义空间,在多个语音识别基准测试中显著优于传统微调方法,尤其在低资源和跨语言场景下表现突出,为语音-语言模型融合提供了新思路。
在自动语音识别(ASR)领域,一个新兴趋势是通过量化将连续语音特征转换为离散语音单元(DSU)序列。这种表示方法的优势在于能够与预训练语言模型(PLM)直接兼容,将DSU映射到PLM的词符索引并微调嵌入层。然而,传统策略严重依赖大规模训练数据来缓解固有的模态不匹配问题。这种静态的一对一映射难以弥合DSU与文本之间的分布差距,导致优化不稳定和PLM预训练嵌入几何结构的扭曲。
为解决这一关键问题,台湾大学和中研院的研究团队受到时间序列预测模型Time-LLM的启发,提出了一种创新的交叉注意力重编程机制。该方法通过融入DSU量化器的码本信息,更有效地对齐DSU与PLM嵌入。与直接微调PLM嵌入相比,这种动态重编程方法允许每个DSU关注PLM嵌入空间中最兼容的区域,实现更丰富的映射函数,同时保持预训练PLM的完整性。
研究团队在Discrete Audio and Speech Benchmark(DASB)上进行了系统验证,结果表明该方法在大多数DASB风格设置下达到了最先进的性能。此外,在LibriSpeech-960、LibriLight-10以及Common Voice的瑞典语、捷克语和匈牙利语数据上的评估也观察到相似趋势。特别值得注意的是,所提出的重编程方法在跨语言和低资源场景下相比微调基线显示出显著优势。
关键技术方法包括:从预训练的自监督学习(SSL)语音模型(如HuBERT-Large或WavLM-Large)的六个选定层提取隐藏特征;应用K-means量化器获得DSU;通过交叉注意力重编程模块动态对齐DSU特征与PLM语义空间;使用Longformer-base作为PLM ASR编码器;采用连接主义时间分类(CTC)作为训练损失和解码策略。
研究结果
DASB ASR任务性能评估
在DASB基准测试中,CATT-RPG方法在LS-Test-Clean、LS-Test-Other、威尔士语和巴斯克语ASR任务上一致优于FT-EMB基线。使用HuBERT和WavLM作为SSL特征提取器时,在LS-Test-Clean上分别实现了9.58%和11.42%的词错误率(WER)降低,在LS-Test-Other上分别实现了6.84%和9.90%的WER降低。这些结果证明了该方法在DASB基准ASR任务上的有效性。
训练数据量对性能的影响
通过比较在不同训练集上训练的模型在LS-Test-Clean和LS-Test-Other上的性能,研究发现当训练数据充足时(如LS-960),CATT-RPG相对于FT-EMB的WER降低幅度变小。然而在低资源条件下(如LL-10),基于WavLM的DSU更为有效,在LS-Test-Clean和LS-Test-Other上的WER分别降低了8.54%和3.64%。这表明在低资源训练场景下,CATT-RPG能提供更显著的改进。
跨语言和低资源分析
在瑞典语、捷克语和匈牙利语的跨语言实验中,CATT-RPG在验证集和测试集上均优于FT-EMB。对于瑞典语任务,使用HuBERT时WER降低了3.43-3.54%,使用WavLM时降低了6.51-6.76%。这些一致的改进证明了CATT-RPG方法在低资源和跨语言条件下的鲁棒性。
注意力权重分析
对DSU嵌入模块中六层MLP的注意力权重分布分析显示,CATT-RPG始终将更高权重分配给浅层SSL层,而FT-EMB则倾向于强调深层。这一发现表明CATT-RPG在将码本特征与PLM语义对齐时优先考虑声学信息,而FT-EMB更依赖语义信息。在跨语言场景中,CATT-RPG还依赖编码混合声学-语义信息的中间SSL层,显示出其自适应能力。
模型复杂度比较
参数数量比较显示,Adapter基线具有最少的可训练参数(79.0M),但这种参数效率是以性能下降为代价的。与FT-EMB相比,CATT-RPG引入了适度的可训练参数增加(87.0M),并带来了来自交叉注意力重编程模块的额外计算,其复杂度随输入长度线性扩展,在实践中仍然可控。
消融研究结果
消融研究评估了CATT-RPG的几个关键变体:用平均池化替换注意力MLP池化、用从头训练的线性嵌入层替换码本嵌入和线性适配器、移除交叉注意力重编程模块并用线性层适配器替代、从重编程模块中移除原型线性层。结果显示,用线性层适配器替换交叉注意力重编程模块导致最大的性能下降,表明码本特征与PLM ASR编码器之间存在显著不匹配。
研究结论与意义
该研究提出的交叉注意力重编程方法为改进基于DSU的ASR提供了一种有效途径。实验证明CATT-RPG机制在几乎所有DASB ASR设置下都达到了最先进的性能,并在LS-960和LL-10上持续优于直接微调PLM嵌入层的基线方法。特别是在低资源训练和跨语言ASR任务中,重编程带来了显著改进。
该方法的核心优势在于其动态对齐机制,相比传统的静态映射方法,能够更有效地桥接DSU表示与PLM之间的分布差距。通过交叉注意力重编程,模型可以自适应地利用不同SSL层的信息,在声学和语义信息之间取得平衡,这对于处理多样化的语音数据具有重要意义。
这项研究的意义不仅限于ASR领域,还为语音-语言模型的深度融合提供了新思路。未来,这一框架可扩展至支持生成导向的架构,通过与大语言模型集成,替代当前对CTC和搜索的依赖。同时,该方法也有潜力应用于口语理解任务,如口语问答和语音情感识别等。
研究的创新点在于首次将交叉注意力重编程框架应用于DSU-based ASR,填补了先前静态方法的空白。通过更原则性地对齐语音和语言模态的表示,该方法为处理低资源和跨语言场景下的语音处理挑战提供了有力工具,为构建更鲁棒、自适应的语音处理系统奠定了基础。