适用于小型设备的开放式词汇表关键词检测技术，采用超匹配滤波器实现低资源占用

《Computer Speech & Language》：Open-vocabulary keyword spotting with hyper-matched filters for small footprint devices

　　Yael Segal-Feldman | Ann R. Bradlow | Matthew Goldrick | Joseph Keshet
以色列理工学院电气与计算机工程学院

**摘要**
开放词汇关键词检测（KWS）是指在语音记录中检测单词或术语的任务，无论这些单词或术语是否包含在训练数据中。本文介绍了一种具有先进检测精度且适用于小型设备的开放词汇关键词检测模型。该模型由语音编码器、目标关键词编码器和检测网络组成。语音编码器可以是tiny Whisper或tiny Conformer。目标关键词编码器实现为一个超网络，它将所需的关键词作为字符串输入，并为卷积层生成一组唯一的权重，这可以被视为特定于关键词的匹配滤波器。检测网络使用这些匹配滤波器权重进行特定于关键词的卷积操作，从而指导Perceiver模块中的交叉注意力机制来确定目标术语是否出现在录音中。结果表明，我们的系统实现了先进的检测性能，并能有效地泛化到领域外情况，包括第二语言（L2）语音。值得注意的是，我们最小的模型仅有420万个参数，但其性能与参数多几倍的模型相当甚至更优，展示了效率和鲁棒性。

**1. 引言**
关键词检测（KWS）是识别预定义的目标关键词的任务。这是语音识别系统中的关键任务，对于智能手机和小型扬声器等小型设备上的语音助手尤为重要（López-Espejo等人，2021年）。多年来，人们探索了多种技术来实现这一任务，从基于卷积神经网络（CNN）的基本深度神经网络（Chen等人，2014年；Sainath和Parada，2015年）到作为音频编码器的循环神经网络（RNN）（Shan等人，2018年；Arik等人，2017年）。随着研究的进展，注意力越来越多地转向开放词汇KWS，即检测语音记录中的关键词、术语或短语——即使这些目标在训练期间未被看到。这一任务中的一个核心挑战是实现准确检测先前未见过的关键词所需的灵活性。已经提出了多种方法来应对这一挑战。一种广泛采用的方法是示例查询（QbE），它利用目标关键词的注册音频样本来促进检测（Chen等人，2015年；Lugosch等人，2018年；Huang等人，2021年；Rikhye等人，2021年；R等人，2022年）。在QbE方法中，系统使用目标关键词的注册音频样本来构建参考模型，然后根据与存储样本的相似性来匹配传入的音频，识别目标关键词的实例。另一种QbE方法利用文本到语音（TTS）技术为新关键词合成音频（Vuppala等人，2024年），作为未来录音中检测这些关键词的参考。然而，QbE方法的性能对录音条件的变化非常敏感，因此保持音频环境的一致性对于可靠检测至关重要。为了解决这个问题，一些研究专注于使用连接时序分类（CTC）损失训练的深度声学模型（Graves等人，2006年）以及检测语音中目标关键词的技术（Zhuang等人，2016年；Xuan等人，2019年；Bluche等人，2020年；Wei等人，2021年）。其他研究方法涉及将目标关键词以音素或字形形式呈现，并使用得到的关键词嵌入作为声学模型的输入（Keshet等人，2009年；Sacchi等人，2019年；Fuchs等人，2021年；Shin等人，2022年；Nishu等人，2023a；Nishu等人，2023b；Pudo等人，2024年）。这种方法将目标关键词转换为声学模型可以处理的表示形式，使系统能够根据其音素或字形特征识别关键词。此外，一些方法使用超网络，其中主模型接收目标关键词的音素或字形形式，然后为另一个网络生成权重。例如，Bluche和Gisselbrecht（2020年）使用这种技术为单个CNN层生成特定权重，增强了其检测目标关键词的能力。另一方面，Navon等人（2024年）为Transformer（Vaswani，2017年）的归一化层生成权重，调整模型内部参数以更好地适应目标关键词。

尽管做出了这些努力，但上述工作的性能在转换到小型设备上时仍会显著下降。Bluche和Gisselbrecht（2020年）、Shin等人（2022年）、Nishu等人（2023a；Nishu等人，2023b）的模型虽然为小型设备设计，但在处理具有挑战性的目标关键词时性能较差。另一方面，Navon等人（2024年）展示了出色的性能，但其模型对于小型设备来说太大。本文提出了一种适用于小型设备的开放词汇KWS模型，具有先进的检测率。受到Navon等人（2024年）和Bluche与Gisselbrecht（2020年）工作的启发，所提出的系统由语音编码器、目标关键词编码器和检测网络组成。语音编码器提供了有效的语音表示。为了解决小型设备的挑战，我们使用tiny Whisper（Radford等人，2023年）或tiny Conformer（Nishu等人，2023a）来实现编码器。目标关键词编码器学习表示未见过的关键词，它作为一个超网络工作，而不是将关键词表示为嵌入向量，而是为检测网络的卷积层生成一组唯一的权重。检测网络利用这些权重进行特定于关键词的检测。它采用Perceiver架构（Jaegle等人，2021年）实现，允许使用参数较少的Transformer层，使其适用于小型设备。具体来说，特定于关键词的编码器的权重用于卷积操作中，以指导Perceiver模块内的交叉注意力权重。整个检测网络可以被视为一个突出关键词位置的匹配滤波器。因此，音频编码器的输出针对特定于目标关键词，从而能够检测录音中是否提到了该关键词。我们的实现和训练好的模型可在GitHub上获取。

**2. 实证评估**
我们对不同模型大小和多个数据集进行了模型评估。评估是在领域内场景下进行的，其中训练数据和测试数据来自同一来源。此外，我们还评估了模型在领域外泛化场景下的性能，包括训练期间未见的语言和非英语母语者。结果表明，我们的系统实现了先进的检测率，并能有效地泛化到领域外场景。此外，我们最小的模型（420万个参数）在某些场景下的表现与1000万个参数的模型相当。

**我们的工作贡献如下：**
（1）我们提出了一种新颖的、先进的开放词汇KWS模型，其架构适用于小型设备；
（2）我们使用各种音频编码器评估了所提出架构的多个实现；
（3）我们在多个数据集和不同的领域外场景下展示了结果，包括对L2说话者的评估；
（4）我们的系统代码可供学术用途公开访问，这使其区别于许多类似的KWS项目。

**本文结构如下。**
第3节介绍了我们提出的方法和模型架构。第4节详细说明了使用的数据集和实验设置，并展示了数据集的结果。最后，第7节总结了讨论和未来的研究方向。

**2. 相关工作**
我们回顾了相关工作，并根据其与本文核心思想的相关性进行了组织。

**2.1. 小型设备上的关键词检测**
关键词检测对于智能手机和小型扬声器等小型设备至关重要，这些设备支持Amazon的Alexa、Apple的Siri、Microsoft的Cortana和Google的“Hey Google”等语音助手（Sainath和Parada，2015年；López-Espejo等人，2021年；Nishu等人，2023b）。早期尝试将深度神经网络纳入关键词检测时采用了基本的CNN架构（Chen等人，2014年；Sainath和Parada，2015年）和TDNN结合隐马尔可夫模型（HMM）（Sun等人，2017年）。这些努力发展为更先进的设计，包括带有残差层的CNN（Tang和Lin，2018年）、深度卷积（Xu和Zhang，2020年）、多尺度时间卷积（Li等人，2020年）、sinc-卷积（Mittermaier等人，2020年）和瘦身CNN（Akhtar等人，2023年）。除了基于CNN的方法外，后来的方法还结合了RNN作为音频编码器（Arik等人，2017年）和集成的基于注意力的机制（Shan等人，2018年）。另一条研究路线探索了ASR模型对已知关键词的上下文偏置（Michaely等人，2017年）以及使用模型重新编程技术进行热修复关键词识别（Ku等人，2024年）。尽管取得了这些进展，所有这些方法都局限于检测预定义的关键词。

**2.2. 开放词汇关键词检测**
开放词汇关键词检测涉及在音频记录中识别目标关键词，即使这些关键词未包含在训练数据中。这些系统的一个显著优势是用户可以轻松添加新关键词或命令而无需重新训练整个模型。这一特性在需要快速高效集成新术语或命令的应用中特别有价值，有助于开发更加动态和适应性的语音控制系统（Zhuang等人，2016年；Trmal等人，2017年；Lugosch等人，2018年）。在基于完整ASR输出的开放词汇KWS的早期尝试中，Zhuang等人（2016年）提出了一种使用LSTM架构和CTC损失训练音频编码器的方法。他们采用最小编辑距离算法来匹配LSTM输出中的关键词音素序列，以识别关键词的存在。在此基础上，Bluche等人（2020年）引入了一种为小型设备设计的基于CTC的KWS模型。他们通过量化LSTM音频编码器来减小其大小同时保持性能，使其更适合资源受限的设备。

在此基础上，He等人（2017年）引入了一种使用RNN-T模型作为音频编码器的关键词检测系统。他们的方法包含一个注意力机制，旨在使模型专注于关键词，并生成“关键词开始”和“关键词结束”标记来指示音频中关键词的存在。类似地，Wei等人（2021年）也使用“关键词开始”和“关键词结束”标记，但采用了CTC损失。他们的方法结合了交叉注意力机制来引导音频编码器朝向关键词并准确定位关键词。

进行完整的转录进行关键词检测可能过于复杂，因此出现了其他方法，这些方法专注于使用关键词字符或音素嵌入进行关键词检测。Sacchi等人（2019年）、Shin等人（2022年）、Nishu等人（2023a；Nishu等人，2023b）提出将音频和关键词编码到共享嵌入空间中。然后他们开发了确定关键词存在的方法，从距离度量到额外的深度神经网络组件不等。相比之下，Fuchs等人（2021年）和Lee与Cho（2023年）引入了一种模型，在接收关键词嵌入的同时对音频进行编码，然后评估音频中是否提到了关键词。

**2.3. 超网络**
与我们方法最相关的工作涉及将超网络应用于KWS。超网络（Klein等人，2015年；Ha等人，2016年）是先进的神经网络，旨在为目标网络生成权重。超网络的核心创新在于它们能够根据提供的输入调整输出权重，从而动态调整目标网络的参数。这项技术在多个领域展示了巨大潜力，包括元学习和少样本学习（Sendera等人，2023年；Zhao等人，2020年）、语言建模（Suarez等人，2017年；Ruiz等人，2024年）和多目标优化（Navon等人，2020年）。在KWS的背景下，超网络学习代表关键词的参数，然后由目标网络使用这些参数来检测关键词。Bluche和Gisselbrecht（2020年）引入了一种方法，其中基于LSTM的超网络为目标音频编码器的最终CNN层生成权重，超网络接收关键词作为输入。相反，Navon等人（2024年）应用了一个超网络来为Transformer的归一化层生成权重，调整模型的内部参数以强调关键词。下载：下载高分辨率图片（222KB）下载：下载全尺寸图片（a）。下载：下载高分辨率图片（254KB）下载：下载全尺寸图片（b）。图1. HyperSpotter模型架构：（a）概述：该模型由一个语音编码器组成，用于生成音频输入的表示。一个单独的目标关键词编码器处理关键词——由其字符序列定义——并为检测网络生成相应的权重。值得注意的是，关键词编码器仅训练一次，可以在推理过程中为未见过的关键词生成权重。（b）检测网络架构的详细视图。3. 模型在开放词汇表KWS任务中，模型会收到一段语音输入，并必须确定其中是否包含给定的目标关键词，该关键词以字符序列的形式提供。需要注意的是，尽管训练数据包含了大量的关键词，但开放词汇表KWS模型旨在泛化并检测训练过程中未遇到的关键词。我们提出的模型称为HyperSpotter，由三个子模型组成：一个语音编码器、一个目标关键词编码器和一个检测网络。这种架构在图1中进行了说明。3.1. 语音编码器语音信号表示为x，其特征是一系列T个声学特征向量，每个向量的维度为D，采样间隔为10毫秒（msec）。语音编码器将语音序列x映射成一系列表示z。结果序列的长度为B，每个元素都是M维向量。我们使用了两种类型的架构来实现语音编码器。第一种是Whisper变压器模型（Radford等人，2023年）的编码器，该编码器在680,000小时的音频上进行了训练。为了确保我们的模型适合小型设备，我们使用了预训练的tiny Whisper变体，这是Whisper模型中最紧凑的版本。它包含4个Transformer层，每层有6个注意力头，特征大小为M=384，采样间隔为20毫秒。这种配置产生的编码器模块大约有7.6M个参数。当使用tiny Whisper作为编码器时，我们的关键词检测模型表示为HyperSpotter-w。7.6M个参数的编码器对于小型设备来说仍然相当大。因此，我们还尝试了第二种类型的编码器，即tiny Conformer（Nishu等人，2023a）。tiny Conformer有6个编码器层，4个注意力头，卷积核大小为3，特征大小为M=144，采样间隔为40毫秒。这种配置产生的模型包含3.7M个参数。该模型使用第4.2节中描述的CTC损失函数进行训练。当使用tiny Conformer作为编码器时，我们的关键词检测模型表示为HyperSpotter-c。3.2. 目标关键词编码器第二个模块接收目标关键词作为字符序列k作为输入，并生成一组权重Wk。然后利用这些权重来指导检测网络准确识别指定的目标关键词。这种对检测网络进行超调的方法受到了Bluche和Gisselbrecht（2020年）以及Navon等人（2024年）的启发。在我们的工作中，与Bluche和Gisselbrecht（2020年）类似，编码器为目标关键词k表示的卷积层输出权重Wk。这些权重可以被视为特定于关键词的匹配滤波器的参数，旨在最大化目标信号（在这种情况下是文本目标关键词）的信噪比（Therrien，1992年）。然而，与Bluche和Gisselbrecht（2020年）不同的是，目标关键词编码器为包含单个CNN层的检测网络生成整个权重集，而我们的检测网络利用这些权重在Perceiver模型内执行特定于关键词的卷积操作。这指导了Perceiver模块中的交叉注意力权重，然后通过整个Perceiver注意力机制进行处理。这一过程将音频编码器的输出导向目标关键词，从而能够检测录音中是否提到了该关键词。此外，我们的方法与Navon等人（2024年）的方法不同，后者使用目标关键词编码器为具有2个层的完整Transformer中的几个归一化层生成权重——这种方法不太适合小型设备。我们的目标关键词编码器具有161的嵌入大小的字符嵌入层和4个隐藏大小为256的LSTM层。此外，它还有2个线性层将LSTM隐藏状态投影到Wk，即卷积维度，这导致了2.7M个参数。小型设备使用一组预定义的目标关键词。在我们的方法中，添加新的目标关键词k不需要重新训练目标关键词编码器来生成相应的权重Wk。由于这些权重可以离线生成，因此目标关键词编码器本身不需要部署在设备上。3.3. 检测网络我们的最后一个模块是检测网络；其输入是语音编码器嵌入z和特定于关键词的卷积权重Wk。我们旨在保持较小的内核大小|Wk|，以适应小型设备，同时确保卷积能够有效捕获目标关键词。在这项工作中，我们使用了内核大小为16、膨胀率为1和步长为1的Whisper（20毫秒分辨率）和Conformer编码器（40毫秒分辨率）。我们采用深度卷积来最小化卷积权重，其中每个输入通道都与自己的滤波器集进行卷积。这种方法有助于保持卷积权重的同时保持卷积操作的有效性。结果，我们得到|Wk|=1024（内核大小为16，有64个通道）。我们还希望检测网络在检测目标关键词方面既紧凑又有效。因此，我们的检测网络使用了Perceiver架构（Jaegle等人，2021年）。Perceiver的独特之处在于其交叉注意力机制，该机制将高维输入映射到固定维度的潜在瓶颈。然后，Perceiver将Transformer风格的自我注意力块应用于潜在瓶颈。原始的Perceiver架构分两个阶段映射语音表示。首先，它将语音表示z从更高维度的嵌入空间（M维）映射到较低维度的空间（N维），其中N?M。然后，它将长度可变的B个元素映射到长度为S的固定长度向量，与B无关。在这项工作中，映射分为三个阶段。首先，语音表示z从更高维度的嵌入空间（Whisper为384，Conformer为144）映射到较低维度的空间（N=64）。接下来，我们结合了我们的方法，其中Perceiver实现应用了特定于关键词的卷积（图1(b)中的Conv元素）。最后，它将长度可变的B个元素映射到长度为S=16的固定长度向量，与B无关。然后我们使用1到5个Perceiver层评估了性能，这些层由一个交叉注意力层后跟一个潜在Transformer组成。3.4. 损失函数HyperSpotter-w和HyperSpotter-c模型都由语音编码器、目标关键词编码器和检测网络组成，使用二元交叉熵（BCE）损失进行训练，定义如下：（1）LBCE=?1E∑i=1Eyilogy?i+(1?yi)log(1?y?i)，其中E表示批量大小，yi是表示关键词存在（1）或不存在（0）的二元标签，yi?表示检测网络预测关键词k存在于音频样本x中的概率。在训练过程中，BCE损失是在检测网络的输出上计算的，其梯度通过目标关键词编码器和检测网络反向传播。4. 实验我们首先详细介绍了用于训练和评估的数据集，然后描述了实验设置。接下来的部分展示了结果。4.1. 数据集我们使用了多个数据集来训练和评估我们的模型。第一个数据集VoxPopuli（Wang等人，2021年）是一个包含大约1800小时跨16种语言的转录语音的语料库。这个数据集用于训练和评估。为了准备VoxPopuli数据集进行开放词汇表KWS训练，我们采用了Navon等人（2024年）提出的方法，该方法在每个批次中以四种不同的方式生成负例。第一种方法是从批次中的其他目标关键词中随机选择一个负关键词。第二种方法通过连接两个不同的目标关键词来创建一个负例。第三种方法是将目标关键词中的一个字符替换为另一个字符。第四种方法选择批次中最接近的负关键词。在评估阶段，我们采用了类似的负样本技术，排除了最接近的负关键词。第二个数据集LibriPhrase（Shin等人，2022年）是一个基于LibriSpeech（Panayotov等人，2015年）数据集的最新KWS基准。作者提供了语料库的测试部分。然而，他们发布的用于创建训练和验证部分的代码缺少一些参数。因此，我们能够生成大约200K个示例（总共800K个）。LibriPhrase包含两个子集：LibriPhrase Hard（LH）和LibriPhrase Easy（LE），每个子集包含长度从一到四个词的短语。这个数据集用于训练和评估阶段。LibriSpeech数据集（Panayotov等人，2015年）主要用于训练Conformer语音编码器。由于LibriPhrase测试数据集是从train-others-500子集构建的，我们将LibriSpeech的使用限制在train-clean-100和train-clean-360子集上。最后，我们使用了三个数据集进行领域外评估。第一个数据集是Speech Commands V1（Warden，2018年），我们遵循了Shin等人（2022年）提出的设置，其中包含10个不同的关键词。第二个数据集是FLEURS数据集（Conneau等人，2023年）的测试子集，用于评估低资源语言的模型。第三个数据集Wildcat Diapix语料库（Van Engen等人，2010年）包含两位发言者在互动任务中产生的英语对话。每位发言者都在看两张显示街道场景的图片的不同版本。仅使用语音，发言者必须合作找出两张图片之间的差异。对于关键词，我们使用了一组与图片中的10个差异相关的20个单词。这个数据集使我们能够评估母语为英语（L1）和非母语为英语（L2）的说话者的性能。我们使用了所有对话者类型，除了两个缺乏正确的语音到转录对齐的发言者对。为了准备Wildcat音频文件进行关键词检测任务，每个互动会话都根据转录对齐进行了分割。长度小于0.5秒的片段被丢弃，而长度超过30秒的片段被分成两部分。这个过程产生了7745个音频文件，其中5948个文件属于L2英语发言者，1797个文件属于L1英语发言者。Speech Commands和Wildcat被视为封闭集数据集，其中所有可能的关键词-音频对都通过将每个K个关键词与每个A个音频片段进行比较来进行评估。VoxPopuli和FLEURS遵循基于采样的评估协议。每个音频片段都被随机分配一个二元标签，表示是否存在关键词。当分配了正面标签时，从音频的真实转录中随机选择一个关键词。当分配了负面标签时，使用上述方法之一生成一个关键词。这个过程产生了一组平衡的正面和负面示例。LibriPhrase根据数据集作者提供的协议进行评估。表1概述了本研究中使用的所有数据集，包括用于训练和测试的关键词数量，表2报告了每个数据集的持续时间统计信息。表1. 本研究中使用的所有数据集的概述。“开放”表示用于训练的关键词集不是固定的。数据集训练评估语言# 关键词（训练）# 关键词（测试）VoxPopuli（Wang等人，2021年）??多语言13,745LibriSpeech 100+360（Panayotov等人，2015年）?x英语––LibriPhrase（Shin等人，2022年）??英语开放4003Speech Commands V1（Warden，2018年）x?英语–10FLEURS（Conneau等人，2023年）x?多语言–2045Wildcat Diapix（Van Engen等人，2010年）x?英语–20表2. 每个数据集的训练、验证和测试部分的持续时间统计（最小值、最大值和平均值，单位为秒）。破折号表示相应的数据集没有使用分割。
**DatasetTrain持续时间（秒）** **Validation持续时间（秒）** **Test持续时间（秒）**
**空单元** **最小值** **最大值** **平均值** **最小值** **最大值** **平均值** **平均值** **VoxPopuli（Wang等人，2021）** 0.5163 0.01 0.00 0.523 0.01 0.40 0.523 0.01 0.2
**LibriPhrase（Shin等人，2022）** 0.50 1.87 0.65 0.50 1.24 0.66 0.50 2.00 0.65
**Speech Commands V1（Warden，2018）** --- --- --- 1.00 1.00 1.00
**FLEURS（Conneau等人，2023）** --- --- --- 4.02 30.01 3.2
**Wildcat Diapix（Van Engen等人，2010）** --- --- --- 0.13 29.12 76.4

**实验设置**
第3节讨论的模型包含两种类型的语音编码器。HyperSpotter-w和HyperSpotter-c模型的音频输入是由25毫秒窗口和10毫秒步长生成的80通道对数幅度梅尔频谱图。Conformer语音编码器已在VoxPopuli（Wang等人，2021）以及LibriSpeech数据集的train-clean-100和train-clean-360子集上针对自动语音识别（ASR）任务进行了预训练（Panayotov等人，2015）。Conformer使用了三种增强技术进行训练：频率掩蔽、时间掩蔽和加性噪声。加性噪声来自MUSAN数据集（Snyder等人，2015），信噪比（SNR）在5到15分贝之间随机采样。这些增强操作是使用TorchAudio库完成的。

**训练**
训练使用了CTC损失，共250个周期，采用Adam优化器（Kingma和Ba，2015），学习率为0.0001，批量大小为96。对于开放词汇表KWS任务，HyperSpotter-w和HyperSpotter-c模型均使用二元交叉熵（BCE）损失进行训练，最多250个周期，采用耐心值为40的验证损失停止条件，Adam优化器，批量大小为96，学习率为0.0001。我们报告了用于KWS评估的标准指标，即F1分数、曲线下面积（AUC）、等错误率（EER）以及在假接受率为5%时的假拒绝率（FRR@FAR5%）。

**模型比较**
我们将我们的模型与最新的开放词汇表KWS技术进行了比较，包括CED（Nishu等人，2023a）、EMKWS（Nishu等人，2023b）、CMCD（Shin等人，2022）和Bluche和Gisselbrecht（2020），这些技术基于文本-音频嵌入及其之间的融合网络。我们还将我们的模型与Navon等人（2024）提出的最先进方法进行了比较。由于原始模型和源代码没有公开，我们重新实现了该方法并在我们的实验框架内进行了训练。这种重新实现的结果在所有数据集下都以AdaKWS-tiny*的名称报告。对于LibriPhrase数据集，我们还报告了Navon等人（2024）的结果，记为AdaKWS-tiny。我们报告了每个模型的参数数量，仅包括需要存储在设备上的参数。这意味着我们排除了目标关键词参数以及其他使用类似架构的模型中的参数。

**5. 结果**
在本节中，我们提供了详细的实验来评估我们模型的检测性能。我们首先评估了完全训练后的模型配置，然后评估了它们对领域外场景的泛化能力。最后，我们提供了消融结果来分析Whisper编码器深度对性能的影响。在整篇论文中，最佳结果以粗体显示。

**模型大小**
模型大小是我们工作的一个关键方面；因此，我们报告了使用1到5个Perceiver层的配置结果，以检查模型大小和性能之间的权衡。Perceiver层的数量用括号表示（例如，HyperSpotter-w（5）表示使用Whisper编码器作为音频编码器且具有5个Perceiver层的HyperSpotter模型）。

**5.1. 主要结果**
我们首先在VoxPopuli数据集的开放词汇表KWS适应版本上评估了我们的模型。表3报告了多种语言的AUC、F1和EER分数。在这种设置中，只有检测网络和目标关键词编码器被训练，而HyperSpotter-c和HyperSpotter-w模型中的语音编码器保持不变。

**表3. VoxPopuli数据集上的AUC、F1、EER和设备上的参数数量**
| 模型 | AUC | F1 | EER | 参数数量 |
| --- | --- | --- | --- |
| AdaKWS- tiny*（Navon等人，2024） | 98.01 | 91.93 | 6.72 | 413.5 |
| HyperSpotter-w（5） | 98.54 | 94.27 | 5.43 | 10 |
| HyperSpotter-w（4） | 98.61 | 94.39 | 5.44 | 29.5 |
| HyperSpotter-w（3） | 98.55 | 94.34 | 5.43 | 9 |
| HyperSpotter-w（2） | 98.41 | 94.00 | 5.84 | 58.6 |
| HyperSpotter-w（1） | 98.48 | 94.12 | 5.69 | 98.1 |
| HyperSpotter-c（5） | 98.78 | 94.67 | 5.07 | 66 |
| HyperSpotter-c（4） | 98.90 | 94.88 | 4.91 | 85.5 |
| HyperSpotter-c（3） | 98.76 | 94.72 | 5.54 | 15 |
| HyperSpotter-c（2） | 98.80 | 94.56 | 5.21 | 14.6 |
| HyperSpotter-c（1） | 98.66 | 94.52 | 5.30 | 84.2 |
| HyperSpotter-c（1） | 98.66 | 94.52 | 5.30 | 84.2 |
| HyperSpotter-w（3） | 98.80 | 94.56 | 5.21 | 14.6 |
| HyperSpotter-w（1） | 98.41 | 94.00 | 5.84 | 58.6 |
| HyperSpotter-c（5） | 98.78 | 94.67 | 5.07 | 66 |
| HyperSpotter-c（4） | 98.90 | 94.88 | 4.91 | 85.5 |
| HyperSpotter-c（3） | 98.76 | 94.72 | 5.54 | 15 |
| HyperSpotter-c（2） | 98.80 | 94.56 | 5.21 | 14.6 |
| HyperSpotter-c（1） | 98.66 | 94.52 | 5.30 | 84.2 |
| HyperSpotter-w（3） | 98.80 | 94.56 | 5.21 | 14.6 |
| HyperSpotter-w（1） | 98.66 | 94.52 | 5.30 | 84.2 |
| HyperSpotter-w（3） | 98.76 | 94.72 | 5.54 | 15 |
| HyperSpotter-w（2） | 98.80 | 94.56 | 5.21 | 14.6 |
| HyperSpotter-w（1） | 98.41 | 94.00 | 5.84 | 58.6 |
| HyperSpotter-c（5） | 98.78 | 94.67 | 5.07 | 66 |
| HyperSpotter-c（4） | 98.90 | 94.88 | 4.91 | 85.5 |
| HyperSpotter-c（3） | 98.76 | 94.72 | 5.54 | 15 |
| HyperSpotter-c（2） | 98.80 | 94.56 | 5.21 | 14.6 |
| HyperSpotter-c（1） | 98.66 | 94.52 | 5.30 | 84.2 |
| HyperSpotter-w（3） | 98.80 | 94.56 | 5.21 | 14.6 |
| HyperSpotter-w（1） | 98.41 | 94.00 | 5.84 | 58.6 |
| HyperSpotter-w（1） | 98.48 | 94.12 | 5.69 | 98.1 |
| HyperSpotter-c（5） | 98.78 | 94.67 | 5.07 | 66 |
| HyperSpotter-c（4） | 98.90 | 94.88 | 4.91 | 85.5 |
| HyperSpotter-c（3） | 98.76 | 94.72 | 5.54 | 15 |
| HyperSpotter-c（2） | 98.80 | 94.56 | 5.21 | 14.6 |
| HyperSpotter-c（1） | 98.66 | 94.52 | 5.30 | 84.2 |
| HyperSpotter-w（3） | 98.80 | 94.56 | 5.21 | 14.6 |
| HyperSpotter-w（1） | 98.41 | 94.00 | 5.84 | 58.6 |
| HyperSpotter-w（1） | 98.48 | 94.12 | 5.69 | 98.1 |
| HyperSpotter-c（5） | 98.78 | 94.67 | 5.07 | 66 |
| HyperSpotter-w（4） | 98.90 | 94.88 | 4.91 | 85.5 |
| HyperSpotter-w（3） | 98.76 | 94.72 | 5.54 | 15 |
| HyperSpotter-w（2） | 98.80 | 94.56 | 5.21 | 14.6 |
| HyperSpotter-w（1） | 98.66 | 94.52 | 5.30 | 84.2 |
| HyperSpotter-w（3） | 98.80 | 94.56 | 5.21 | 14.6 |
| HyperSpotter-w（1） | 98.41 | 94.00 | 5.84 | 58.6 |
| HyperSpotter-c（5） | 98.78 | 94.67 | 5.07 | 66 |
| HyperSpotter-w（4） | 98.90 | 94.88 | 4.91 | 85.5 |
| HyperSpotter-w（3） | 98.76 | 94.72 | 5.54 | 15 |
| HyperSpotter-w（2） | 98.80 | 94.56 | 5.21 | 14.6 |
| HyperSpotter-w（1） | 98.41 | 94.00 | 5.84 | 58.6 |
| HyperSpotter-c（5） | 98.78 | 94.67 | 5.07 | 66 |
| HyperSpotter-w（4） | 98.90 | 94.88 | 4.91 | 85.5 |
| HyperSpotter-c（3） | 98.76 | 94.72 | 5.54 | 15 |
| HyperSpotter-w（2） | 98.80 | 94.56 | 5.21 | 14.6 |
| HyperSpotter-c（1） | 98.66 | 94.52 | 5.30 | 84.2 |
| HyperSpotter-w（3） | 98.80 | 94.56 | 5.21 | 14.6 |
| HyperSpotter-w（1） | 98.41 | 94.00 | 5.84 | 58.6 |
| HyperSpotter-c（5） | 98.78 | 94.67 | 5.07 | 66 |
| HyperSpotter-w（4） | 98.90 | 94.88 | 4.91 | 85.5 |
| HyperSpotter-c（3） | 98.76 | 94.72 | 5.54 | 15 |
| HyperSpotter-w（2） | 98.80 | 94.56 | 5.21 | 14.6 |
| HyperSpotter-w（1） | 98.66 | 94.52 | 5.30 | 84.2 |
| HyperSpotter-w（3） | 98.80 | 94.56 | 5.21 | 14.6 |
| HyperSpotter-w（1） | 98.41 | 94.00 | 5.84 | 58.6 |
| HyperSpotter-c（5） | 98.78 | 94.67 | 5.07 | 66 |
| HyperSpotter-w（4） | 98.90 | 94.88 | 4.91 | 85.5 |
| HyperSpotter-w（3） | 98.76 | 94.72 | 5.54 | 15 |
| HyperSpotter-w（2） | 98.80 | 94.56 | 5.21 | 14.6 |
| HyperSpotter-w（1） | 98.41 | 94.00 | 5.84 | 58.6 |
| HyperSpotter-c（5） | 98.78 | 94.67 | 5.07 | 66 |
| HyperSpotter-w（4） | 98.90 | 94.88 | 4.91 | 85.5 |
| HyperSpotter-w（3） | 98.76 | 94.72 | 5.54 | 15 |
| HyperSpotter-w（2） | 98.80 | 94.56 | 5.21 | 14.6 |
| HyperSpotter-w（1） | 98.41 | 94.00 | 5.84 | 58.6 |
| HyperSpotter-c（5） | 98.78 | 94.67 | 5.07 | 66 |
| HyperSpotter-w（4） | 98.90 | 94.88 | 4.91 | 85.5 |
| HyperSpotter-w（3） | 98.76 | 94.72 | 5.54 | 15 |
| HyperSpotter-w（2） | 98.80 | 94.56 | 5.21 | 14.6 |
| HyperSpotter-w（1） | 98.41 | 94.00 | 5.84 | 58.6 |
| HyperSpotter-c（5） | 98.78 | 94.67 | 5.07 | 66 |
| HyperSpotter-w（4） | 98.90 | 94.88 | 4.91 | 85.5 |
| HyperSpotter-w（3） | 98.76 | 94.72 | 5.54 | 15 |
| HyperSpotter-w（2） | 98.80 | 94.56 | 5.21 | 14.6 |
| HyperSpotter-w（1然而，如果用户愿意为了缩小模型尺寸而牺牲一些准确性，那么即使不使用所有的编码器层，仍然可以获得非常好的性能。6. 分析我们在本文的最后进行了噪声鲁棒性研究以及对感知器交叉注意力机制的分析。6.1. 噪声分析我们的模型在各种数据集上表现出了强大的性能，但我们同时也希望评估它们在噪声环境中的有效性。图2展示了我们的模型在Voxpopuli数据集上，在白噪声和酒吧噪声条件下的EER和AUC分数，这些条件在Whisper论文（Radford等人，2023年）中有描述，涵盖了不同的信噪比（SNR）水平。下载：下载高分辨率图像（227KB）下载：下载全尺寸图像(a)。下载：下载高分辨率图像（233KB）下载：下载全尺寸图像(b)。下载：下载高分辨率图像（240KB）下载：下载全尺寸图像(c)。下载：下载高分辨率图像（229KB）下载：下载全尺寸图像(d)。图2. 在不同信噪比（SNR）水平下，Voxpopuli数据集上的AUC和EER测量结果，包括酒吧噪声和白噪声条件。(a) 白噪声下的AUC，(b) 白噪声下的EER，(c) 酒吧噪声下的AUC，(d) 酒吧噪声下的EER。与其他数据集一致，HyperSpotter-c（4）在所有信噪比（SNR）水平下，无论是在酒吧噪声还是白噪声条件下，都在AUC和EER方面表现最佳。此外，HyperSpotter-w（5）也取得了非常强的结果。总体而言，所有模型在不同的信噪比（SNR）水平上表现都很好。令人惊讶的是，HyperSpotter-c模型的性能优于HyperSpotter-w模型。尽管HyperSpotter-c的Conformer编码器是使用额外的噪声进行预训练的，但我们最初预计HyperSpotter-w模型的表现会更好，因为它们的编码器使用了更多的数据进行训练。尽管如此，HyperSpotter-w模型仍然取得了非常强的结果。正如之前的结果所示，HyperSpotter-c（4）在所有信噪比（SNR）水平下，无论是在酒吧噪声还是白噪声条件下，都在AUC和EER方面始终表现最佳。此外，HyperSpotter-w（5）也表现非常好。6.2. 推理时间分析我们使用包含所有20个关键词的封闭集Wildcat数据集，分析了推理时间随搜索关键词数量的变化情况。对于每个音频文件，都会在改变关键词批量大小E的情况下评估所有关键词，批量大小E决定了在检测网络阶段并行处理的关键词数量。关键词核权重是预先计算好的，因此测量时间仅包括处理音频和应用关键词检测网络的过程。批量大小E∈{1,2,5,10,15,20}涵盖了从顺序到完全并行的关键词搜索。实验是在一台CPU工作站（Intel Xeon Gold 6338，128个逻辑核心）上进行的，使用1个核心。每个批次处理一个音频样本，同时评估多个关键词。嵌入式设备上的绝对延迟可能会有所不同，但缩放趋势是具有代表性的。结果如图3所示。下载：下载高分辨率图像（292KB）下载：下载全尺寸图像(a)。下载：下载高分辨率图像（279KB）下载：下载全尺寸图像(b)。图3. 音频编码器和检测网络的计算时间：(a) 每个文件的平均处理时间作为关键词批量大小的函数；(b) 每个关键词的平均处理时间作为关键词批量大小的函数。如图3(a)所示，基于Conformer的模型始终实现了更快的运行时间，模型深度之间的差异很小；最慢的配置（五个Perceiver层）与其他配置相比只引入了适度的开销。相比之下，基于Whisper的模型对深度更敏感：HyperSpotter-w（5）是最慢的变体，平均比HyperSpotter-w（1）慢近500毫秒。此外，增加关键词批量大小可以稳步减少基于Conformer的模型的处理时间，而基于Whisper的模型在E≈10时显示出最佳的平衡。图3(b)报告了每个关键词的平均处理时间。推理时间通常随着评估的关键词数量增加而增加，基于Whisper的模型的依赖性更强。虽然适度的批量处理可以提高效率，但过度的批量处理会导致收益减少，甚至可能增加基于Whisper的模型的处理时间。相比之下，基于Conformer的模型在每个批次处理大约10个关键词时受益最大，超过这个数量后，每个关键词的推理时间基本保持不变。下载：下载高分辨率图像（192KB）下载：下载全尺寸图像图4. HyperSpotter-w（5）感知器的交叉注意力热图，针对目标关键词“legal basis”：显示了感知器固定维度S（y轴）在各个时间帧（x轴）上的概率分布。更高的概率分数对应于目标关键词的位置。颜色越深表示概率越低，颜色越亮表示概率越高。6.3. 交叉注意力分析我们旨在探索我们的系统，以确认我们的关键词特定卷积功能是否作为匹配滤波器起作用，即感知器的交叉注意力机制是否有效地突出了音频中目标关键词的位置。图4展示了HyperSpotter-w（5）感知器的交叉注意力热图，针对目标关键词“legal basis”。在这个热图中，y轴代表感知器的固定维度S，而x轴对应于语音编码器的嵌入时间帧（20毫秒分辨率）。值得注意的是，较高的概率分数与目标关键词被说出的两个时间点对齐。6.4. 在词汇表内和词汇表外的关键词开放词汇表关键词搜索（KWS）任务的一个重要方面是与词汇表内（IV）和词汇表外（OOV）关键词相关的性能问题。通常，开放词汇表KWS系统在IV设置下的表现比在OOV设置下要好得多。在我们的工作中，无法评估这些设置下的模型性能。由于在训练过程中我们动态生成负关键词并随机选择正关键词，我们无法确定哪些关键词被包含在训练中，哪些没有。然而，由于评估过程中的关键词生成过程与训练过程相同，我们假设一些评估关键词在训练期间并未出现。因此，词汇表内（IV）和词汇表外（OOV）关键词之间的区别仍然不明确。需要注意的是，评估过程中负关键词和正关键词的选择是确定性的。7. 结论在这项研究中，我们介绍了HyperSpotter，这是一个专为小型设备上的口语关键词检测设计的新颖端到端系统。所提出的模型结合了各种语音编码器和一个超网络，该超网络生成特定于关键词的卷积权重，有效地作为针对每个目标关键词的匹配滤波器。我们评估了该模型的两个变体，HyperSpotter-w和HyperSpotter-c，它们在多个基准数据集上均实现了最先进的检测精度，包括VoxPopuli、LibriPhrase和Speech Commands。此外，我们在Wildcat数据集上的实验——该数据集包含非母语（L2）英语说话者——展示了我们方法在领域外条件下的强大泛化能力。我们的结果显示了两种模型变体之间的一致性能差异：HyperSpotter-c模型在用于训练和微调的数据集上表现更好，而HyperSpotter-w模型在领域外场景中表现出更强的鲁棒性。我们还分析了模型深度的影响，并发现感知器层的最佳数量取决于编码器的选择。具体来说，当使用基于Conformer的编码器时，四层通常是理想的，而使用Whisper编码器时，五层可以获得最佳结果。展望未来，我们计划探索其他类型的语音编码器和检测架构，以进一步减小模型的大小和计算开销，同时保持或提高性能。此外，我们计划系统地评估不同模型之间的关键词可能性分数的校准，这可能进一步提高部署的可靠性。CRediT作者贡献声明Yael Segal-Feldman：写作——审阅与编辑，写作——原始草稿，方法论，形式分析。Ann R. Bradlow：写作——审阅与编辑，资源，方法论。Matthew Goldrick：写作——审阅与编辑，资源。Joseph Keshet：写作——审阅与编辑，写作——原始草稿，监督，方法论。关于写作过程中生成式AI和AI辅助技术的声明在准备这项工作时，作者使用ChatGPT来协助文本编辑和改写。所有生成的内容都经过了作者的仔细审查和修改，作者对发表文章的最终内容负全责。