通过多任务梯度补偿实现抗噪声的个性化关键词检测

《Knowledge-Based Systems》：Noise-Robust Personalized Keyword Spotting via Multi-Task Gradient Compensation

　　摘要

个性化关键词检测（PKWS）是一项语音处理任务，旨在从音频流中检测注册说话者所说的预定义关键词。它本质上整合了两个子任务：关键词检测（KWS）和说话者验证（SV）。尽管基于深度学习的最新PKWS系统在相对干净的环境中表现出了有希望的性能，但在强烈噪声环境中实现准确的PKWS仍然是一个重大挑战。为了解决这个问题，我们提出了一种抗噪声的个性化关键词检测系统，该系统由一个语音增强（SE）模块以及两个并行的KWS和SV分支组成。这种架构能够在噪声环境中同时进行关键词检测和说话者验证。然而，在统一框架内联合优化多个子任务是具有挑战性的，因为它们之间存在竞争性的学习目标。为了缓解这个问题，我们开发了一种基于帕累托的多任务梯度补偿算法，该算法动态地平衡了各任务之间的梯度更新，从而减少了相互干扰并提高了收敛效率。在Google Speech Commands数据集上的大量实验验证了所提出方法的有效性，实现了97.95%的说话者验证准确率和92.23%的关键词检测准确率。此外，我们的模型在各种信噪比（SNR）条件下均优于现有的多任务梯度优化方法，展示了强大的鲁棒性和在复杂声学环境中的优越泛化能力。

引言

关键词检测（KWS）涉及从连续音频流中检测语音命令或唤醒词[1,2]。作为各种实际应用中的基本组件，它在语音助手、转录系统和音频搜索引擎中发挥着关键作用。与自动语音识别（ASR）相比，KWS提供了一个计算效率更高的解决方案，同时功耗更低，并保持了高召回率和低误报率。历史上，KWS主要依赖于基于关键词/填充词的隐马尔可夫模型（HMM）的方法[3]。近年来，深度神经网络（DNNs）由于其强大的建模能力而成为主流架构范式，显著提高了KWS的性能，支持了许多实际应用[[4], [5], [6], [7]]。一些研究通过采用高级DNN架构（如时间卷积神经网络（TCN）[8]、Transformer [4,7]和Kolmogorov-Arnold网络（KAN）[9]）在关键词检测方面取得了更高的准确性。

传统的KWS系统仅关注关键词检测，而不考虑用户特定信息。然而，最近的现实应用越来越多地要求KWS系统提供辅助的说话者信息以确保交互安全。PKWS是KWS的扩展，它整合了关键词检测和说话者验证（SV）[10]。传统的解决方法是在级联管道中分别开发KWS和SV系统：一个关键词检测系统生成候选关键词，然后将其输入SV系统进行身份验证[11]。在这种情况下，这两个系统是独立优化的，往往无法实现全局联合优化。此外，这种结构大大增加了系统的处理延迟。为了解决这一缺陷，已经提出了几种并行结构框架。Jung等人引入了一个多任务网络，该网络利用声学、说话者和语音信息并行执行KWS和SV[12]。Yang等人设计了一个基于多任务学习和任务适应的PKWS系统，第一阶段专注于学习SV和KWS任务，第二阶段使用特定任务的评分函数适应目标用户的KWS任务[10]。除了多任务公式化之外，最近的研究还探索了通过条件机制将说话者信息纳入KWS模型。例如，Labrador等人提出使用特征级线性调制（FiLM）通过说话者嵌入来调节KWS表示，从而以最小的计算开销适应说话者特征[13]。然而，这些方法主要将说话者信息视为外部条件信号，并没有明确建模关键词检测和说话者区分任务之间的交互。与基于级联的PKWS系统相比，多任务学习实现了共享表示学习，并减少了阶段之间的错误传播，从而实现了更一致的优化。

尽管取得了这些研究进展，背景噪声仍然是影响KWS性能的最突出因素之一。主要有两种方法来增强KWS的噪声鲁棒性：多条件训练[[14], [15], [16]]和前端处理。多条件训练涉及使用在多样化噪声条件下收集的语音数据或通过数据增强人工添加各种噪声来训练声学模型[17]。然而，这种方法的有效性在很大程度上依赖于劳动密集型的数据收集和复杂的训练策略。获取大量多样化的训练数据成本高昂且耗时，因为通常需要人工监督。另一种广泛采用的策略是在KWS模块之前集成一个语音增强（SE）前端[[18], [19], [20]]。Prabhavalkar等人[21]开发了一种新的自动增益控制公式，根据语音的存在选择性地放大音频信号。Huang等人提出了一种受人类听觉系统启发的新噪声鲁棒KWS架构[22]，该架构使用来自KWS声学模型的后验概率反馈来更新滤波器权重，从而更有效地消除背景噪声。Liang等人开发了一个用于PKWS的多任务深度交叉注意力网络[23]，该网络使用共享的SE编码器来减少噪声干扰，并利用深度交叉注意力模块促进KWS和SV子任务之间的信息交换。Yang等人提出了一种称为SE-SPP的噪声管理前端，它同时执行SE和语音存在概率估计，以增强噪声环境中的KWS鲁棒性[18]。Chen等人将SE和KWS任务集成到一个统一网络中，学习共享的任务表示，并设计了可学习的损失函数来优先考虑KWS性能[24]。Xi等人提出了一种基于CTC的噪声感知KWS框架，以防止噪声过拟合[25]，他们将噪声占主导地位的片段建模为通配符标记，以更好地区分关键词语音和背景噪声。

SE已被证明在噪声减少和语音质量提高方面有效，但SE与后续任务（例如KWS和SV）的直接组合可能会引入额外的过抑制问题，导致说话者区分信息和精细频谱结构细节的丢失，这两者对下游系统性能都至关重要[26]。从优化的角度来看，SE任务和下游任务的梯度之间可能存在冲突；这些冲突可能会阻碍多任务学习并降低下游任务的性能[27]。这些观察表明，语音增强与下游任务之间的交互引入了非平凡的优化挑战。特别是，SE任务专注于抑制噪声并重建干净信号，而下游任务旨在保留诸如说话者身份和关键词相关线索等区分信息。从多任务学习的角度来看，这导致了任务之间的固有优化不一致性，梯度不仅在方向上可能存在冲突，在幅度和任务重要性上也可能存在冲突。这种不一致性可能会阻碍有效的联合优化并限制系统的整体性能。

尽管基于级联的方法是目前最常用的方法，但许多研究表明，由于独立优化模块的训练目标不一致，前端语音增强可能会对下游识别性能产生显著的不利影响[28]。然而，联合训练也往往由于任务目标不一致而遭受梯度冲突。梯度修复在解决此类梯度冲突方面已被证明比PCGrad更有效，因此在本工作中采用了梯度修复来缓解这个问题。现有的关于梯度修复的研究主要关注涉及两个顺序任务的相对简单场景（例如，语音增强和语音识别）[28]，并且对于同时涉及多个下游任务的场景的应用仍然有限。为了应对这些挑战，我们提出了一个统一的多任务优化框架，用于更复杂的多说话者关键词检测和说话者验证场景。这类场景在现实应用中很常见，表明所提出的方法具有很强的实际相关性和广泛的应用潜力。所提出的框架将梯度修复扩展到一个更复杂的设置中，其中共享的增强模块与多个并行的下游任务交互，并整合了基于帕累托的任务平衡、动态梯度对齐和梯度幅度调节，从而实现了跨异构任务的协调优化。本文的主要贡献总结如下：

（1）我们提出了一个高效的两阶段PKWS模型。在第一阶段，使用U形语音增强网络提取干净的语音信号。第二阶段使用多尺度深度时空卷积（MDTC）编码器提取共享特征，随后将其输入专用的SV和KWS分支网络，分别获得说话者和关键词识别结果。广泛的实验表明，所提出的两阶段PKWS模型能够在噪声环境中有效且同时执行关键词检测和说话者识别。

（2）为了解决PKWS中的多梯度冲突问题，我们提出了一种新颖的基于帕累托的多任务梯度补偿算法。所提出的方法共同处理梯度方向不一致性、幅度不平衡和任务级别的权衡。实验表明，该算法可以减少前后任务之间的相互干扰，平衡不同子任务之间的梯度更新，并提高收敛效率。此外，在噪声条件下，它在SV和KWS方面都实现了高准确率。

本文的其余部分结构如下：第2节回顾了相关工作。第3节详细介绍了所提出的两阶段抗噪声PKWS模型和多任务梯度补偿算法。第4节介绍了实验设置和结果。最后，第5节提供了结论和未来研究方向。

相关工作

多任务学习（MTL）被广泛用于解决复杂的多目标优化问题[29]。它涉及同时训练单个模型在多个任务上，这不仅减少了参数总数，还提高了计算效率。与单任务学习相比，MTL是一种机器学习范式，它利用多个相关任务中包含的有用信息来提高所有涉及任务的泛化性能[30]。

两阶段抗噪声PKWS模型

所提出的两阶段抗噪声PKWS系统的整体流程如图1所示。在第一阶段，输入的语音信号通过U形网络处理以生成增强后的语音，表示为H1=F1(X)。增强后的语音用于与干净的参考信号进行比较，以计算语音增强损失LSE。在第二阶段，增强后的语音首先转换为梅尔频率倒谱系数（MFCCs）。这些MFCC特征随后被编码...

数据集

实验在配备了Tesla T4显卡的Google Colab Pro云服务器上进行。我们在广泛使用且建立良好的Google Speech Commands V1数据集[41]上评估了所提出的方法。该数据集包含真实的人类语音，共有64,727条每条一秒长的录音，由1,881位不同的说话者说出30个单词，为我们的实验提供了现实的基础。为了模拟现实世界场景中遇到的声学条件...

结论

在本文中，我们提出了一种两阶段多任务学习方法，用于抗噪声的个性化KWS。具体来说，我们首先在第一阶段使用SE模块对输入语音进行去噪并获得干净的语音特征。然后，在第二阶段，我们使用个性化KWS模块获得预测结果。我们提出了一种多梯度修复优化算法来解决两个阶段中的梯度冲突问题，消除了SE梯度和个性化KWSC之间的冲突...

CRediT作者贡献声明

Chengli Sun：写作 - 审查与编辑，写作 - 原始草案，软件，方法论，概念化，资金获取；Jiayi Sun：方法论，验证；Bikang Chen：写作 - 原始草案，验证；Yan Leng：写作 - 审查与编辑；Feilong Chen：调查，资源，项目管理，资金获取；Jiawei Li：写作 - 审查与编辑；Biyun Ding：监督，资金获取；Miao Sun：写作 - 审查与编辑，写作 - 原始草案...

CRediT作者贡献声明

Chengli Sun：写作 - 审查与编辑，写作 - 原始草案，软件，方法论，资金获取，概念化。Jiayi Sun：验证，方法论。Bikang Chen：写作 - 原始草案，验证。Yan Leng：写作 - 审查与编辑。Feilong Chen：项目管理，调查，资金获取。Jiawei Li：写作 - 审查与编辑。Biyun Ding：监督，资金获取。孟孙：撰写（包括审稿与编辑）、撰写（初稿）、资金筹集、利益冲突声明
作者声明：他们没有已知的相互冲突的财务利益或个人关系，这些关系可能会对本文所报告的工作产生影响。

致谢
本项工作得到了赣鄱人才支持计划（20232BCJ22050）、赣州研究项目（2023ULGX0004）、广东省重点建设学科科技创新能力提升项目（2024ZDJS056）、国家自然科学基金（61861033）、山东省自然科学基金（ZR2025MS1040）、江西省青年科技人才培养项目（CK202404510、20252BAC200175）以及广州市教育局高等教育支持的帮助。

参与作者：程成利、孙嘉毅、陈碧康、冷岩、陈飞龙、李家伟、丁碧云、孟孙