AdaSpeech：印地语语音识别中的多分辨率模态自适应技术

《Speech Communication》：AdaSpeech: Multiresolution modality adaptation for ASR in Hindi

　　摘要：大型语言模型与语音功能的融合正在快速重塑多模态人工智能，但对于印地语自动语音识别这类资源匮乏的领域而言，构建稳定可靠的系统仍是一项艰巨挑战。我们提出了AdaSpeech，这是一种基于模态适配器的框架，它扩展了SpeechLLM架构，用于将冻结的语音编码器与大型语言模型相结合，以实现印地语的自动语音识别。虽然多层感知机/变换器适配器较为常见，但我们的核心创新在于多分辨率卷积适配器。该设计利用卷积固有的归纳偏置，能够捕捉不同时间尺度上的层次化局部模式，从而实现更好的跨模态对齐，并以更少的参数有效捕获语音中的上下文信息。我们的深入分析还探讨了适配器架构、大型语言模型及编码器的各种选择。通过大规模实验，我们证明了：（1）使用针对特定领域的浅层适配器的大型语言模型时，词错误率能显著降低；（2）更大规模的大型语言模型有助于提升识别精度；（3）经过语音识别任务微调过的编码器与我们的适配器结合使用时，效果最佳。本研究为构建可扩展、高数据效率的印度语系自动语音识别系统提供了重要启示。

引言：大型语言模型与语音功能的融合正在推动人工智能进入一个新阶段，在语音、语言和音频建模领域，大型语言模型正成为实现通用多模态智能的核心技术。在自动语音识别系统中，对于英语这类资源丰富的语言，已经取得了显著的成功。然而，对于那些标注数据极为匮乏的低资源印度语系语言，要达到类似的性能水平仍面临巨大困难。而利用大型语言模型丰富的语言知识，为弥补这一性能差距提供了一种有效途径，同时无需牺牲语音信号的保真度。近期，为赋予自动语音识别系统大型语言模型功能，人们探索了多种架构。例如，N-best假设重排方法利用大型语言模型对多个语音识别结果进行重新排序，选出最符合语言规律的结果（Li等人，2024年；Verdini等人，2025年；Zhao等人，2024年；Liang等人，2025年；Z. Ma等人，2025年）。尽管这种方法能带来一定改进，但由于需要多次处理，推理时的计算成本较高，且受初始语音识别假设质量的限制，无法直接提升核心的语音转文本映射能力。另一种有前景的方案是模态适配器，它是SLAM愿景中的核心技术（Chu等人，2023年；Wang等人，2023年；Abdin等人，2024年；Tang等人，2024年；Z. Ma等人，2025年；Ghosh等人，2025年；Ding等人，2025年）。这类轻量级神经网络能够缩小专用语音编码器与通用大型语言模型之间的表示差距，通常是通过将语音的潜在表示投影到大型语言模型的嵌入空间中。SLAM-ASR方法的一个关键优势在于，可以利用经过预训练的强大组件（包括语音编码器和大型语言模型），只需训练适配器层即可。这对于资源匮乏的语言来说极具吸引力，因为大型语言模型强大的语言理解能力可以弥补在有限数据上训练得到的较弱语音编码器的不足。这种功能分离的特性对于印度语系语言尤为重要。尽管随着标注数据和未标注数据量的增加，专门的印度语语音模型发展迅速（Prahallad等人，2012年；Diwan等人，2021年；Javed等人，2023年；Bhogale等人，2023a年；Javed等人，2024b年；Javed等人，2024a年；Shah等人，2025年），但它们的性能仍未达到在英语等资源丰富语言上经过大量训练的模型水平。与此同时，新一代功能强大的印度语系大型语言模型也应运而生（Sarvam AI，2024年；Kallappa等人，2025年）。因此，本研究旨在利用这些新型大型语言模型来弥补语言方面的差距，通过系统评估将这些冻结组件连接起来的最佳方式，从而提升印度语系语言的自动语音识别性能。然而，尽管SLAM愿景充满希望，现有的基于适配器的自动语音识别解决方案仍存在诸多局限，尤其是在处理资源匮乏的印度语系语言时。简单的多层感知机适配器往往缺乏捕捉复杂频谱-时间关系的必要归纳偏置，这阻碍了有效的跨模态对齐以及在不同语言细微差别下的泛化能力。同样，基于变换器的适配器，比如常用的Q-Former（Li等人，2023年），虽然在高级语义对齐方面表现优异，但由于其注意力机制，在处理长语音序列时会产生较高的计算开销。像SALMONN（Tang等人，2024年）这样的实际应用通过窗口级分块部分解决了长度问题，但在每个窗口内，输入仍然会被简化为一小组固定的可学习查询。因此，我们推测，将输入压缩为固定数量的表示形式，可能会丢失对准确进行自动语音识别至关重要的细微音韵和韵律细节。这一担忧与针对视觉语言模型中基于注意力机制和基于查询机制的压缩所进行的信息瓶颈分析结果一致（Li等人，2023年），尤其是考虑到印度语系语言丰富的音系特征。此外，许多先前的研究要么仍需对基础模型进行部分微调，这需要大量的数据和计算资源，要么只能在这个具有挑战性的领域进行有限的、不具备扩展性的探索。本文介绍了AdaSpeech，这是一种全新的基于模态适配器的解决方案，它严格遵循SLAM-ASR理念，专门用于将冻结的语音编码器与冻结的大型语言模型连接起来，以处理印地语任务。由于严格采用冻结的基础模型，这种设计能够实现参数效率更高的适配器。与我们通常使用的多层感知机和基于变换器的适配器不同，我们的核心创新在于多分辨率卷积适配器，它仅需较少的参数就能实现与那些参数数量更多（例如，我们的设计中仅600万参数，而现有适配器通常需要2500万以上参数）的适配器相当的自动语音识别性能。这种高效性源于该适配器能够捕捉层次化、局部的频谱-时间模式，这对于在不同语言细微差别下实现稳定的跨模态对齐和有效的上下文捕获至关重要，而且不会像全局注意力机制或简单的线性投影那样带来计算开销和信息损失。通过这一框架，我们进行了大量实证研究，以探讨以下几个关键问题：•引入大型语言模型能否提升自动语音识别性能？•语音编码器训练策略的比较分析•印度语系大型语言模型与通用领域大型语言模型的效果对比•适配器架构复杂度与性能之间的权衡•自动语音识别性能随大型语言模型规模的变化趋势。在我们的实验中，与经过微调的IndicWav2Vec-Large基准模型相比，AdaSpeech在IndicSUPERB测试集的印地语子集中——包括已知测试数据、未知测试数据、含噪声的已知测试数据以及含噪声的未知测试数据——使词错误率平均降低了21.2%；与性能最佳的仅经过微调的Whisper解码器模型相比，其性能又提升了21.8%。这一结果充分体现了通过使用冻结的印度语系大型语言模型解码器来实现跨模态对齐的优势。

相关内容片段：
低资源印度语系自动语音识别：最初受到英语自动语音识别成功经验的启发，自监督模型越来越多地被应用于印度语系语言。诸如IndicWav2Vec（Javed等人，2022年）和CLSIRL-23（Gupta等人，2021年）这类模型是在规模虽小但种类多样的印度语语音数据集上预训练的。而更近期的项目，如IndicWhisper（Bhogale等人，2023b年）和All Ears（Lodagala等人，2024年），则将预训练范围扩展到了24种印度语言，其性能超过了之前的基准模型。尽管有了这些进展……

AdaSpeech：在本节中，我们介绍了AdaSpeech，这是一种新颖的框架，它通过一个小型可训练适配器，将冻结的语音编码器与大型语言模型连接起来。该框架由三个模块组成：（1）语音编码器；（2）多模态适配器；（3）大型语言模型解码器。图1展示了AdaSpeech框架以及各组件的详细结构。

实验设置：本节介绍了实验所使用的系统配置、实验流程以及各类数据集。

实验结果：本节对所提出的框架进行了性能评估，并在多种实验场景下将其与现有方法进行了比较。我们系统地调整框架中的各个组件，以此了解它们在低资源印地语自动语音识别任务中对性能的单独影响以及综合影响。我们首先验证了使用大型语言模型的好处，接着寻找性能最佳的语音编码器，然后确定最合适的大型语言模型，最后找出最有效的适配器架构。

结论：在本文中，我们提出了AdaSpeech，这是一种针对印地语自动语音识别设计的新型且参数效率高的框架，它通过一个轻量级的适配器，成功地将冻结的语音编码器与冻结的大型语言模型连接起来。我们的核心贡献在于多分辨率卷积适配器。通过大量实验，我们得出了几项重要结论：（1）AdaSpeech框架能够带来显著的性能提升，在IndicSUPERB测试集上，相较于经过精心微调的基准模型，其词错误率平均降低了21.2%。

作者贡献声明：Puneet Singh Bhooi负责撰写原文初稿、软件开发、方法设计以及实验分析工作；Vinayak Abrol负责文章审阅与编辑工作以及整体指导。

代码获取：包含示例数据以及一个轻量级的AdaSpeechsmall模型的推理代码已通过Zenodo档案馆公开发布（Bhooi，2025a年）。该模型的交互式在线演示版本也向公众开放（Bhooi，2025年）。目前我们已发布推理代码、演示代码、演示相关资源以及AdaSpeechsmall模型的检查点文件；完整的训练代码、实验代码库以及所有适配器模型的检查点文件，将在本文被接受后公开提供。

利益冲突声明：作者们声明存在以下可能被视为潜在利益冲突的财务利益或个人关系：Vinayak Abrol表示，Advanced Micro Devices Inc.为其提供了设备、药品或相关物资；Nebius Group N.V.也为他提供了类似支持。其他作者则声明自己不存在任何可能影响本研究结果的已知财务利益或个人关系。

致谢：本研究得到了Nebius研究基金的支持；Advanced Micro Devices, Inc.通过AMD AI & HPC集群计划给予了资助；Infosys Foundation则通过德里IIIT的Infosys人工智能中心为该项目提供了支持。

Puneet Singh Bhooi | Vinayak Abrol
德里IIIT计算机科学工程系及Infosys人工智能中心，印度新德里，邮编110020