基于向量的LoRA专家融合用于高效语音识别

《Information Fusion》：Vector-based LoRA expert fusion for efficient speech recognition

　　

•提出 VeLoRA，一种基于向量的 LoRA 专家融合方法，用于高效的语音识别。
•提出 FasterVeLoRA，一种快速适应变体，在可接受的性能下降范围内。
•发布代码，以促进利用 ASR 基础模型的研究。

**引言**
当前 ASR 基础模型，如 Whisper [1] 和 OWLS [2]，在其训练域内表现出鲁棒的性能，但在域偏移下会出现显著退化。例如，在 VoxPopuli [3] 数据集上评估时，Whisper-large [1] 由于英语口音变化，绝对词错误率（WER）增加了 13.6%。低秩适应（LoRA）[4] 已成为一种有前途的解决方案，提供了可与全模型微调性能相媲美的参数高效微调。微调后的 LoRA 模块可被视为高效的域专家。由于独特的口音、声学特征失真等因素，语音域的数量几乎无限，这自然导致了大量可重用的 LoRA 专家库 [5]。这一潜力引发了人们对一个关键问题的极大兴趣：如何有效地融合这些现有专家，以改善对新域的适应。

当前解决方案主要基于专家是否在目标域上进一步训练分为两组：静态专家融合（SEF）和动态专家融合（DEF）。SEF 方法计算冻结专家输出的预定义或可学习加权之和 [5]-[10]。虽然参数高效，但由于专家保持冻结，其表示能力有限，往往导致次优性能。相比之下，DEF 方法在新域上微调专家，产生更强大的语音表示。这些方法可以与不同的加权方案结合，包括均匀 [11]、基于相似性 [12] 和基于路由器 [13],[14] 的加权。然而，DEF 的性能提升是以参数效率为代价的。图 1(a) 和 1(b) 分别说明了 SEF 和 DEF 的核心架构，为简洁起见省略了它们的具体加权方案。总之，现有解决方案中始终存在参数效率和性能之间的根本权衡，这使得追求最佳平衡成为一个有前途的研究领域。

主要挑战是通过像 SEF 那样的间接专家调整，实现与 DEF 中直接专家微调相当的性能。本文提出了一种名为 VeLoRA 的新型基于向量的 LoRA 专家融合方法。如图 1(c) 所示，它首先学习小向量以调整每个冻结专家的低秩矩阵，然后计算调整后专家输出的加权之和。关键创新在于引入的向量，它们在两个方面具有优势：首先，VeLoRA 通过小向量适应冻结专家，有效地缓解了 SEF 的表示限制。具体来说，每个向量对其对应的矩阵执行列缩放，导致更好的表示能力。如图 1(e-f) 所示，VeLoRA 在 WER 方面明显优于 SEF，并获得与 DEF 相当的性能。其次，VeLoRA 通过优化缩放向量而不是直接专家微调来绕过直接专家微调。这种设计确保了出色的参数效率，这直接转化为大量的存储节省。如图 1(e-f) 所示，VeLoRA 在可训练参数数量方面显著超过 DEF 并与 SEF 持平。总体而言，VeLoRA 吸收了 SEF 和 DEF 两者的优势，从而建立了 LoRA 专家融合更有效的解决方案。

在实际应用中，新域的适应时间有时是最重要的考虑因素。因此，提出了 VeLoRA 的快速变体 FasterVeLoRA，以解决这一限制，具体做法是消除对专家前向传递的需要。具体来说，FasterVeLoRA 首先在训练前对专家权重取平均，然后将它们与骨干权重合并。如图 1(d) 所示，使用一个小向量来调整 $W_0'$ 而不是专家。FasterVeLoRA 比 VeLoRA 实现了可观的训练加速，性能下降在可接受范围内。

VeLoRA 和 FasterVeLoRA 非常适合许多工业应用，英语口音适应是一个关键示例。通过融合可用的 LoRA 专家（源自互联网或产品线）来适应新口音，比需要收集足够数据的手工密集型方法更实用、更快。构音障碍说话人适应是另一个示例。在这里，只能访问 LoRA 专家模型，因为数据隐私问题通常阻止敏感医疗录音的共享。专家融合提供了一个令人满意的解决方案，允许在不损害隐私的情况下有效适应新说话人。

我们在英语口音适应任务上进行了主要实验（使用 AESRC 语料库 [16]），以全面评估所提出的方法。Whisper [1]，最先进的 ASR 基础模型，被用作骨干。如图 1(e-f) 所示，VeLoRA 在性能和参数效率方面均取得了具有竞争力的结果。此外，与 VeLoRA 相比，FasterVeLoRA 在 Whisper medium 上实现了 4.8 倍的训练加速，词错误率（WER）相对下降 3.1%。在构音障碍说话人适应任务上的额外实验（使用 CDSD 语料库 [17]）证明，我们的方法在不同领域都是有效的。本文的主要贡献总结如下：
•我们提出了 VeLoRA，一种用于高效语音识别的基于向量的 LoRA 专家融合方法。其关键创新在于通过小缩放向量自适应地调整多个冻结专家，在保持高参数效率的同时实现有效的知识融合。
•我们提出了 FasterVeLoRA，一种快速适应变体，消除了对专家前向传递的需要，在可接受的性能下降范围内大大提高了适应效率。
•大量实验表明，与现有方法相比，我们的方法实现了有利的性能 - 效率权衡。源代码也已发布，以促进 ASR 基础模型高效适应的进一步研究。

本文其余部分结构如下。第 2 节涵盖相关工作，第 3 节提供初步背景和动机。第 4 节详细阐述了我们提出的方法。随后，第 5 节和第 6 节分别描述实验设置和呈现结果。本文以第 7 节的结论结束。

**章节片段**
**相关工作**
如上所述，本研究与现有专家融合方法的关键区别在于引入了小向量。本节简要回顾了与我们方法相关的几个研究领域。
ASR 基础模型通常通过自监督或监督学习范式开发。广泛采用的自监督模型，如 Wav2vec 2.0 [18]、Hubert [19] 和 WavLM [20]，通常需要在任务特定使用前进行微调。相比之下，监督...

**初步与动机**
**记号。** 在本文其余部分中，我们用 $W_0\in\mathbb{R}^{d\times k}$ 表示线性层的预训练权重矩阵，其中 $d$、$k$ 分别是输入和输出维度。$x\in\mathbb{R}^d$ 和 $y\in\mathbb{R}^k$ 分别表示层输入和输出。$A\in\mathbb{R}^{d\times r}$ 和 $B\in\mathbb{R}^{r\times k}$ 表示秩 $r\ll\min(d, k)$ 的低秩矩阵，而 $a\in\mathbb{R}^r$ 和 $b\in\mathbb{R}^k$ 表示缩放向量。运算符 * 表示带有自动广播的元素级乘法。

**VeLoRA**
本研究探讨了一个引人注目的问题：是否有可能融合来自互联网或产品线的现成 LoRA 专家，以有效适应新的 ASR 域？受 VeRA 启发，我们提出了 VeLoRA，它使用可学习的缩放向量来适应冻结专家。VeLoRA 克服了 DEF 的参数低效，而没有遭受 SEF 的性能限制。
图 1 (a) 和 (b) 分别说明了 SEF 和 DEF 的一般范式。它们之间的主要区别是...

**实验设置**
**评估指标。** 我们使用 WER 和字错误率（CER）作为表音（AESRC）和表意（CDSD）语言的主要 ASR 评估指标，数值越低表示识别准确率越高。
**数据集。** 我们的方法在两个代表性的工业应用上进行了评估 - 英语口音适应和构音障碍说话人适应，分别使用 AESRC [16] 和 CDSD [17] 语料库。AESRC 包含来自英国（UK）、美国（US）的十种英语口音...

**结果**
**实验目标。** 第 6.1 节比较了我们的方法与当前方法在性能与参数效率权衡方面的表现，而第 6.2 节进一步考察了它们的计算效率。第 6.3 节通过消融实验调查核心组件的贡献，第 6.4 节分析关键因素的影响，包括融合专家的数量和向量共享策略。最后，第 6.5 节评估了所提出...的可扩展性。

**结论**
本文提出了 VeLoRA，一种对现成 LoRA 专家进行新型基于向量融合的方法，用于高效的 ASR 域适应，解决了当前研究中参数效率与性能之间的固有权衡。此外，引入了快速适应变体 FasterVeLoRA，通过在训练前将专家与骨干合并来加速训练过程。在 AESRC 上的大量实验表明 (1) VeLoRA 始终提供更好的...

**CRediT 作者贡献声明**
Qing Hu：初稿撰写、验证、方法学、形式化分析、概念化。
Yan Zhang：审阅与编辑、验证、方法学、形式化分析。
Zongyu Han：审阅与编辑、形式化分析。
Xiaoqing Zhang：审阅与编辑、形式化分析、概念化。
Zetong Cai：审阅与编辑、形式化分析、概念化。

**利益冲突声明**
作者声明他们没有任何已知的竞争经济利益或个人关系，这些关系可能影响本文报告的工作。

Qing Hu|Yan Zhang|Zongyu Han|Xiaoqing Zhang|Zetong Cai