《Speech Communication》：Advancing automatic speech recognition using feature fusion with self-supervised learning features: A case study on Fearless Steps Apollo corpus
编辑推荐：
自监督学习（SSL）模型与特征融合方法显著提升了自然场景下的语音识别性能，特别是在Fearless Steps挑战（FSC）Phase-4和CHiME-6数据集上。通过优化特征细化损失函数和提出深度交叉注意力（DCA）融合策略，相比传统方法实现绝对+1.1%的WER降低。研究首次分析FSC Phase-4数据集，并验证了DCA在噪声环境下的有效性。
Szu-Jui Chen | John H.L. Hansen
德克萨斯大学达拉斯分校Erik Jonsson工程与计算机科学学院鲁棒语音系统中心，Richardson，75080，TX，美国
摘要
使用自监督学习（SSL）模型显著提高了下游语音任务的性能，超越了传统手工特征的能力。本研究探讨了SSL模型的融合方法，旨在利用它们的各自优势并优化提取的特征，以实现更自然场景下的语音识别模型。我们的研究分析了庞大的自然语音资源Fearless Steps (FS) APOLLO，特别关注FS Challenge (FSC) 第4阶段的语料库，并提供了对该数据集的首次分析。此外，我们还结合了CHiME-6数据集来评估不同自然语音场景下的性能。在探索之前提出的特征细化损失和融合方法时，我们发现这些方法在FSC第4阶段的语料库上效果不佳。为了解决这个问题，我们引入了一种新颖的深度交叉注意力（DCA）融合方法，旨在提升性能，尤其是在FSC第4阶段的语料库上。我们的目标是促进更优质的FS APOLLO社区资源的创建，以满足不同学科研究人员的多样化需求。所提出的解决方案使WER（词错误率）提高了1.1%，为庞大的FS APOLLO社区资源提供了有效的元数据。
引言
端到端（E2E）自动语音识别（ASR）系统因其简单的训练过程和更高的性能提升而成为研究领域中的主导解决方案（Xiong等人，2018年；Watanabe等人，2017年）。多个E2E ASR系统（Kim等人，2023年；Tüske等人，2021年；Radford等人，2023年）在LibriSpeech（Panayotov等人，2015年）、Switchboard和CHiME-6（Watanabe等人，2020年）等常见数据集上取得了最先进的结果。大多数研究使用传统的频谱特征，例如80维的对数幅度Mel频谱图表示作为模型训练的输入。
近年来，自监督学习（SSL）模型在包括语音翻译（Nguyen等人，2020年；Wu等人，2020年）、低资源ASR（Yi等人，2020年）、说话人验证、语言识别（Fan等人，2021年）和情感识别（Pepino等人，2021年）等一系列下游任务中表现出显著的性能优势。这些SSL模型（Hsu等人，2021年；Baevski等人，2020年；S. Chen等人，2022年）在训练过程中利用了大量未标记数据，从而产生了适用于多种下游应用的高质量语音特征。最近的一项研究（Chang等人，2021年）证明了使用SSL表示（SSLR）优于传统手工特征（例如FBANK）。这引出了一个基本问题：组合多组SSL特征是否可以进一步增强ASR系统。几项近期研究（Arunkumar等人，2022年；S.-J. Chen等人，2022年；S.-J. Chen等人，2021年；Berrebbi等人，2022年）探讨了组合SSL特征的有效性，或者使用不同的前端和后端模型以及融合策略来组合SSL特征和频谱特征。图1展示了从多通道团队语音信号中提取特征的一般过程，比较了传统输入特征与基于SSL的表示，并展示了添加、连接和共注意力等融合策略。
另一个有前景的方向是使用广泛且多样化的音频数据训练ASR系统，从而增强对口音、背景噪声以及专业词汇/技术术语内容的适应能力。OpenAI开发的Whisper模型（Radford等人，2023年）就是一个例子。这些模型在标准基准测试中表现出强大的泛化能力，并且经常能与之前的完全监督结果竞争。鉴于这些特性，在本研究中，我们将Whisper模型作为评估的强大基线。
本研究基于我们之前的初步研究（S.-J. Chen等人，2022年）进一步探索了与预训练SSL模型的特征融合。我们的贡献如下：首先，我们通过探索不同的参数设置进一步研究了特征细化损失，并使用可视化工具来研究损失函数的效果。接下来，我们基于SSL模型提出了一种新颖的深度交叉注意力（DCA）融合方法，并在Fearless Steps Challenge (FSC) 第4阶段语料库以及CHiME-6语料库上进行了评估。结果表明，与其他基线方法相比，所提出的特征融合方法在自然噪声语音场景中尤其有效。此外，我们还探索了基于SUPERB基准（Yang等人，2021年）的先进SSL模型。在这些模型的基础上，我们进行了详细的音素级错误分析、功能词错误分析和层选择实验，以更好地理解融合系统的核心优势以及性能提升的本质。最后，这是首次展示FSC第4阶段语料库的高级ASR结果以及每个通道的分析，该语料库是庞大的Fearless Steps APOLLO社区资源（Hansen等人，2018年；Hansen等人，2024年）的一部分，包含150,000小时的音频、元数据和语音技术基础设施。虽然SSL模型在各种语音处理任务中展示了其潜力，但本研究专注于ASR，以评估和提升SSL模型在具有挑战性的声学条件下的鲁棒性。这种有针对性的范围使我们能够彻底探索融合方法，例如我们提出的DCA，并分析它们在包括CHiME-6和FSC第4阶段在内的实际场景中对ASR性能的影响。
研究结构如下：第2节首先讨论了相关的过去研究，第3节介绍了我们提出的方法。第4节介绍了实验设置，第5节展示了结果和分析，第6节给出了总结和结论。
小节片段
自监督学习表示
自监督学习（SSL）是快速发展的无监督学习方法的一个子集。这些方法利用来自输入数据本身的信息作为学习信号，从而获得对后续任务有益的有意义表示，特别是在语音应用中。SSL语音模型可以分为三类（Mohamed等人，2022年）：生成方法、对比方法和预测方法。
提出的方法
在本节中，我们介绍了用于组合SSL模型特征的融合方法。组合后的特征随后被输入到预编码器中，然后再进入下游的编码器-解码器ASR模型。我们首先分析了特征细化损失，重点研究了其超参数的影响。
Fearless Steps挑战语料库
Fearless Steps Challenge (FSC) 语料库是原始19,000小时（2017年）Fearless Steps语料库（Hansen等人，2018年）的一个子集。FSC部分包括第1至第4阶段。
从FSC第2阶段到第4阶段
这是首次报告FSC第4阶段语料库的结果，而所有之前的研究仅评估了第2阶段。为了为我们的第4阶段结果提供有意义的背景，我们包括了在FSC第2阶段和第4阶段都进行评估的相同系统的比较。首先，我们展示了之前在FSC第2阶段语料库上的工作结果，如表2所示。Chen等人 （S.-J. Chen等人，2021年）在Eval集上取得了28.9%的词错误率（WER），超过了之前的最佳结果。
结论
本研究推进了自监督学习（SSL）特征融合在自然、嘈杂和多说话人环境中的自动语音识别（ASR）应用的研究。特别是，我们通过探索其特征细化的超参数来研究特征细化损失，并尝试了不同的提取特征之间的相关最大值。我们的研究结果表明，λ = 0 . 1 ? = 0 . 6
CRediT作者贡献声明
Szu-Jui Chen： 撰写——原始草稿、软件、方法论、概念化。John H.L. Hansen： 撰写——审阅与编辑、可视化、验证、监督、资源管理、项目协调、资金获取、数据整理、概念化。
利益冲突声明
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：本研究得到了NSF CISE CCRI——社区研究奖#2016725项目（UTDallas CRSS；Hansen作为项目负责人；“为自然语言处理研究社区开发多通道自然语音语料库”）的支持，以及德克萨斯大学达拉斯分校通过杰出大学电信教席提供的部分支持。
