《Computers and Electrical Engineering》：SpeechFormer++ compression using quantization and group query attention for small footprint spoken keyword spotting
编辑推荐：
摘要关键词检测（KWS）在人机交互中至关重要，特别是在功耗和处理能力有限的嵌入式系统中。实现高精度和低误报率是关键要求，这需要采用先进的模型，例如Transformer。然而，Transformer的计算复杂性给在资源受限的边缘设备上进行部署带来了重大挑战。本研究提出了一种针
摘要
关键词检测（KWS）在人机交互中至关重要，特别是在功耗和处理能力有限的嵌入式系统中。实现高精度和低误报率是关键要求，这需要采用先进的模型，例如Transformer。然而，Transformer的计算复杂性给在资源受限的边缘设备上进行部署带来了重大挑战。本研究提出了一种针对用于此类设备的基于Transformer的KWS模型的压缩方法。所提出的模型在Google语音命令数据集的两个版本（GSC V1和V2）上进行了评估。Keyword Transformer被用作基线模型。受SpeechFormer++架构的启发，引入了时序嵌入和相对位置编码等增强措施。此外，为了降低计算需求，采用了分组查询注意力（Group Query Attention），优化了注意力机制。同时，利用动态量化显著压缩了模型体积。最终的压缩模型相比基线模型体积缩小了90%以上，同时在GSC V1上保持了93.17%的高准确率，在GSC V2上达到了93.66%。此外，参数量从基线模型的5,361 K大幅减少至仅15.36 K。这些结果表明，在不显著损失性能的前提下，将高效的基于Transformer的KWS模型部署到边缘设备上具有可行性。
引言
随着人工智能（AI）的快速扩展，人机交互（HMI）已成为智能系统开发的关键领域。基于语音的交互方式已被企业和服务商广泛采用，使用户能够通过语音命令与机器人和虚拟助手进行交流[1]。关键词检测（KWS），即在语音信号中检测预定义的关键词，已成为语音助手、语音控制设备和语音搜索应用的核心组件。这些系统通常部署在资源受限的硬件上，如微控制器和边缘设备，其中内存、计算能力、能耗和实时响应性都是主要限制因素。此外，日益增长的网络安全和隐私问题也增加了对设备端语音处理的需求，从而消除了将数据传输到云端的需要。
尽管深度神经网络能够实现较高的KWS准确率，但其内存和计算需求限制了在边缘设备上的部署。早期的研究主要依赖卷积神经网络（CNN）和循环神经网络（RNN）来降低模型复杂度。近年来，基于Transformer的架构因其对未见词汇的更强泛化能力、对噪声的更强鲁棒性、对长距离时序依赖关系的改进建模以及与生成式和多任务学习框架的兼容性而展现出卓越的性能。然而，Transformer主要是为高性能硬件（如图形处理单元（GPU）、张量处理单元（TPU）和EdgeTPU）设计的，在没有额外优化技术的情况下，不太适合边缘设备。
在本研究中，我们开发了一种压缩的基于Transformer的KWS模型，既保留了Transformer架构的优势，又解决了边缘设备的限制问题。本研究的关键贡献在于开发了一种简化的扁平化Transformer架构，替代了复杂的层级化SpeechFormer++设计，并将分组查询注意力（GQA）与动态量化相结合，以实现适用于TinyML微控制器的紧凑型模型。这种组合使基于Transformer的KWS在与紧凑型CNN主导的环境竞争时仍能保持竞争力。
本文其余部分组织如下。第2节回顾了KWT和Transformer压缩方法的基础知识。第3节对相关工作进行了综述。第4节介绍了所提出的架构。第5节报告并讨论了实验结果。最后，第6节总结了全文并概述了未来的工作方向。
章节摘要
技术背景
为了更清晰地理解构成所提出方法理论和技术基础的概念，我们首先考察SpeechFormer++的架构结构、GQA以及量化压缩方法。
文献综述
基于先前的研究，大多数早期用户定义的KWS（UDKWS）模型基于示例查询（Query by Example, QbyE）方法，即输入语音在特征空间中与预先录制的示例进行比较。尽管这种方法简单，但它容易受到噪声影响，并依赖于高质量的音频样本。此外，它的计算量也很大。大词汇连续语音识别（LVCSR）系统一直是KWS中使用最广泛的方法之一。然而，由于其高昂的
所提出的方法
所提出的方法以KWT模型[14]作为基线。在KWT模型[14]中，输入的语音首先经过预处理并转换为梅尔刻度频谱图。然后将其划分为不重叠的时域片段。这些片段与一个可学习的类别标记一起，构成多层Transformer编码器的输入标记。此外，每个标记都添加了一个可学习的位置嵌入。多层Transformer编码器的输出经过一个
实验结果
在本节中，我们展示了所提出模型的实验结果。首先，我们描述了实验设置，随后对实验结果进行了分析。
结论
关键词检测（KWS）是现代人机交互的重要组成部分，特别是在嵌入式系统和智能助手中。然而，由于内存有限、计算资源不足以及实时处理要求，在资源受限的硬件上部署深度学习模型仍然具有挑战性。本研究通过提出LightSpeechFormer++-KWS——一种轻量级的基于Transformer的架构，在准确率和计算效率之间取得平衡，从而解决了这些挑战。
Ali Zare | Shima Tabibian
Shahid Beheshti大学网络空间研究所，伊朗德黑兰
