《Sensors》：MambaIR-YOLO: A Feature-Guided Lightweight State-Space Framework for Aerial Small-Object Detection
编辑推荐：
基于脉冲神经网络（Spike Neural Networks, SNNs）的关键词识别（Keyword Spotting, KWS）系统为常开语音接口提供了一种有前景的解决方案。然而，在资源受限的边缘设备上，实现计算开销与识别精度之间的有利权衡仍具挑战性。本文
基于脉冲神经网络（Spike Neural Networks, SNNs）的关键词识别（Keyword Spotting, KWS）系统为常开语音接口提供了一种有前景的解决方案。然而，在资源受限的边缘设备上，实现计算开销与识别精度之间的有利权衡仍具挑战性。本文提出了一种用于KWS的轻量级卷积脉冲神经网络（convolutional spiking neural network, CSNN），该网络结合了流式Mel-to-Spike编码器、卷积脉冲特征提取器以及一个利用可学习突触延迟的延迟感知分类模块。所提出的编码器采用逐帧流式编码将语音特征转换为稀疏脉冲序列，而延迟感知分类器则联合优化突触权重和时间延迟，以增强时空证据聚合。在Google Speech Commands V1和V2（GSC-V1和GSC-V2）、Heidelberg Digits（HD）以及中文普通话关键词（Chinese Mandarin Keyword, CMK）数据集上的实验表明，平均测试准确率分别为94.37%、92.87%、99.10%和95.60%。所提出的方法在12类和20类分类任务中仅使用64.05 K和68.14 K个可学习参数，同时对加性噪声保持强鲁棒性。这些结果表明，所提出的CSNN在KWS的精度、紧凑性和噪声鲁棒性之间实现了有利的算法级平衡。
**论文解读：基于可学习突触延迟的轻量级卷积脉冲神经网络用于关键词识别**
**研究背景与问题**
关键词识别（KWS）是边缘设备（如智能手机、智能音箱和可穿戴系统）上常开语音接口的关键技术。传统基于人工神经网络（Artificial Neural Networks, ANNs）的KWS系统虽然能实现高识别精度，但其密集计算和频繁内存访问使得在资源受限硬件上的长期部署面临挑战。近年来，脉冲神经网络（Spiking Neural Networks, SNNs）作为第三代神经网络架构，通过离散脉冲事件处理信息，仅在事件发生时激活计算，这种事件驱动特性使其适用于边缘KWS的紧凑模型。然而，现有研究存在两方面的局限：一是基于生物启发的耳蜗编码通常需要大量缓冲来生成脉冲，可能无法满足实时流式推理需求；二是循环或深度SNN虽能改善时间建模但增加了结构复杂度，而轻量级卷积SNN虽降低了参数成本但常通过简单读出层提供有限的时间聚合能力。因此，如何在紧凑模型下实现高效的时间证据聚合，同时保持流式处理能力，是当前边缘KWS面临的关键挑战。
**研究内容与结论**
研究人员提出了一种轻量级卷积脉冲神经网络（CSNN）用于KWS，该网络由流式LogMel-to-Spike编码器、卷积脉冲特征提取器和延迟感知全连接（DAFC）分类器组成。编码器将连续值对数梅尔特征逐帧转换为稀疏脉冲序列，避免依赖预先生成和缓冲的耳蜗脉冲；卷积脉冲特征提取器提取频谱时间特征；DAFC分类器通过一维可学习间隔空洞卷积（1D-DCLS）引入可学习突触延迟，以低参数成本增强时间证据聚合。在GSC-V1、GSC-V2、HD和CMK四个数据集上，该方法在12类和20类任务中分别仅使用64.05 K和68.14 K个可学习参数，平均测试准确率分别达到94.37%、92.87%、99.10%和95.60%。此外，在信噪比控制下的加性噪声鲁棒性评估中，该方法表现出稳定的性能。该研究证明了所提出的CSNN在精度、紧凑性和噪声鲁棒性之间实现了有利的算法级平衡，为边缘KWS提供了有前景的解决方案。该论文发表在《Sensors》。
**关键技术方法**
研究人员主要采用了以下关键技术方法：
1. 流式LogMel-to-Spike编码器：基于滑动离散傅里叶变换（SDFT）提取对数梅尔特征，并通过可训练的卷积和LIF神经元将连续值特征转换为稀疏脉冲序列，实现流式处理。
2. 卷积脉冲特征提取器：由堆叠的卷积层、LIF激活和最大池化组成，以事件驱动方式提取紧凑的频谱时间表示。
3. 延迟感知全连接（DAFC）分类器：基于1D-DCLS，为每个特征到类别的连接引入可学习时间延迟，通过高斯插值实现可微优化，从而在低参数开销下增强时间证据聚合。
4. 训练策略：使用MSE脉冲计数损失和Fast Sigmoid代理梯度函数进行反向传播，优化突触权重和延迟参数。实验在NVIDIA GeForce RTX 3090 GPU上进行，数据集来源包括公开的Google Speech Commands V1/V2、Heidelberg Digits以及自采集的中文普通话关键词（CMK）数据集（含36位讲者，覆盖中国四个地理区域）。
**研究结果**
**3.1 数据集**：在四个数据集上评估，包括GSC-V1（12类）、GSC-V2（12类）、HD（20类）和CMK（20类，自采集的普通话关键词数据集，含11,030条语音，来自36位讲者）。
**3.2 实验配置**：所有音频重采样至16 kHz，使用Adam优化器，权重学习率0.001，延迟参数学习率0.1，训练最多500轮，早停机制。
**3.3 训练与消融研究**：
- 仿真时间步长T的影响：通过调整T，发现不同数据集的最佳T值（如GSC-V1为20，GSC-V2为10，HD为20，CMK为14），在识别精度与计算效率之间取得平衡。
- 代理梯度函数比较：比较了六种函数（Fast Sigmoid、Atan、Sigmoid、Spike Rate Escape、Straight-Through Estimator、Leaky Spike Operator），结果显示Fast Sigmoid在所有数据集上表现最佳，Atan次之。
- 噪声鲁棒性：在SNR控制的加性高斯白噪声下评估，随着SNR降低，精度逐渐下降，但所提出方法在中等噪声水平下仍保持相对稳定，表明学习到的脉冲表示具有判别性。
- 分类器消融：在CMK数据集的随机分割和说话人独立分割下，比较DAFC（可学习延迟）、DAFC（固定随机延迟）、时间卷积分类器和传统全连接（CFC）分类器。DAFC（可学习延迟）在干净语音和噪声条件下均取得最高精度（随机分割下96.21%和-10 dB时48.16%），说明可学习延迟有助于时间证据聚合。
**4. 结果与讨论**：
- 训练动态与混淆矩阵：在CMK上，验证损失快速下降，验证精度在约30轮后稳定，最佳验证精度达96.41%（第143轮）。混淆矩阵显示大多数关键词类别识别率超过95%，部分达100%，仅少数类别与声学相似类别存在混淆。
- 与现有方法比较：在GSC-V1、GSC-V2、HD和CMK上，所提出CSNN在识别精度与可学习参数数量之间提供了竞争性权衡，优于或接近许多代表性SNN基线方法（如SNN with Delay、DCLS-Delays等）。
- 内存与计算分析：可学习参数仅64.05 K（12类）和68.14 K（20类），对应64.05 KB和68.14 KB（8位量化）。动态内存主要来自神经元状态（93,556个膜电位，约182.7 KB，16位表示）和脉冲中间张量（约14.2 KB/步）。总分析存储估计约270-300 KB。密集等效计算量约159.32 M MACs（GSC-V1）、80.24 M（GSC-V2）、160.65 M（HD）和112.81 M（CMK）。但实际脉冲驱动推理中，稀疏加法计算（AC）可大幅降低，实测脉冲活动率在0.36%至4.92%之间，使得实际AC计数远小于MAC计数，例如GSC-V1的AC计数仅约1.81 M（12类）。此外，LIF神经元状态更新成本为93,556次加法/步。总体而言，该模型具有低内存和低计算开销的潜力。
**总结与讨论**
本文提出了一种轻量级卷积脉冲神经网络（CSNN）与可学习突触延迟用于关键词识别，结合了流式LogMel-to-Spike编码器、卷积脉冲骨干网络和基于1D-DCLS的延迟感知全连接分类器。与依赖缓冲耳蜗脉冲生成或重型时间模块的方法不同，该方法在分类阶段引入可学习延迟以增强时间证据聚合，同时保持紧凑结构。实验结果表明，在GSC-V1、GSC-V2、HD和CMK上，该方法在12类和20类设置下分别以64.05 K和68.14 K个可学习参数实现了竞争性识别性能。结果进一步表明，延迟感知分类器增强了退化声学条件下的鲁棒性，并有效整合了紧凑脉冲模型中的时间分布证据。结合面向FPGA的分析讨论，这些发现表明所提出的CSNN在边缘关键词识别中实现了识别精度与模型大小之间的平衡。
**研究结论**（翻译）：
本文提出了一种轻量级卷积脉冲神经网络与可学习突触延迟用于关键词识别，该网络结合了流式LogMel-to-Spike编码器、脉冲卷积骨干网络和基于1D-DCLS的延迟感知全连接分类器。与依赖缓冲耳蜗脉冲生成或重型时间模块的方法不同，它在分类期间添加可学习延迟以增强时间证据聚合，同时保持紧凑结构。在GSC-V1、GSC-V2、HD和CMK上的实验结果表明，所提出的方法在12类和20类设置下分别以64.05 K和68.14 K个紧凑可学习参数计数实现了竞争性识别性能。结果进一步表明，延迟感知分类器增强了退化声学条件下的鲁棒性，并有效整合了紧凑脉冲模型中的时间分布证据。结合面向FPGA的分析讨论，这些发现表明所提出的CSNN在边缘关键词识别中提供了识别精度与模型大小之间的平衡。
也应指出若干局限性：首先，硬件导向分析仍是模型级估计，而非完整的FPGA实现；其次，鲁棒性评估仅关注信噪比控制的加性噪声，而实际常开KWS场景可能涉及混响、远场录音和非平稳背景噪声；第三，当前消融分析主要针对DAFC分类器，尚未提供编码器、骨干网络、延迟范围、核大小或模型大小与识别精度之间权衡的更细粒度分解。未来工作将聚焦于FPGA实现、量化感知部署、实际声学条件下的鲁棒性评估，以及面向常开关键词识别场景的更详细组件级消融研究。
