《Internet of Things》：Lightweight Streaming Speech Enhancement for AIoT-Enabled Wearable Hearing Aids Using Parallel Spiking Mamba
编辑推荐：
在可穿戴助听器中部署基于深度学习的语音增强面临挑战，由于对延迟和实时处理的严格约束。传统模型通常计算密集且不适合资源有限的边缘设备。为了解决这一问题，研究人员提出了一种基于并行Spiking Mamba架构的轻量级端到端流式语音增强框架。所提出的模型结合了脉冲
在可穿戴助听器中部署基于深度学习的语音增强面临挑战，由于对延迟和实时处理的严格约束。传统模型通常计算密集且不适合资源有限的边缘设备。为了解决这一问题，研究人员提出了一种基于并行Spiking Mamba架构的轻量级端到端流式语音增强框架。所提出的模型结合了脉冲神经网络（SNN）的计算高效、事件驱动特性与状态空间模型（SSM）的长程序列建模能力。并行设计使得能够同时提取局部声学特征和全局时间依赖性，支持高效的流式推理。实验结果表明，所提出的方法在VoiceBank-DEMAND数据集上的流式设置中达到了2.73 PESQ和93.9% STOI，仅使用了0.26 M参数和0.11 G/s MACs。在默认配置下，它还实现了30 ms的端到端算法延迟，展示了神经形态启发方法在AIoT赋能助听器中实时语音处理的潜力。
**研究背景与问题**
在可穿戴助听器等AIoT（人工智能物联网）赋能设备中部署语音增强算法面临严苛的实时性、功耗和资源约束。传统深度学习模型（如CNN、RNN、Transformer）虽性能优异，但计算密集，难以在边缘设备上实现低延迟流式处理。现有方法在捕捉长程时间依赖时效率低，或复杂度高（如Transformer的二次复杂度）。脉冲神经网络（SNN）具有事件驱动和稀疏计算优势，但单独使用时对复杂声学任务的时序建模能力不足；状态空间模型（SSM）如Mamba虽能实现近线性复杂度的长程序列建模，但直接处理密集波形流计算负担重。此外，助听器场景还需个性化补偿（如听力图）。因此，研究人员提出一种轻量级、端到端的流式语音增强框架——并行Spiking Mamba语音增强（PSMSE），旨在同时满足实时性、低功耗和个性化需求。
**开展的研究与结论**
研究人员设计了PSMSE框架，核心创新在于并行集成Spiking Mamba卷积（SMC）模块和Spiking Mamba循环（SMR）模块，分别捕捉局部声学特征和全局时间依赖。通过将Mamba操作直接应用于基于脉冲的表示，显著降低序列复杂度。模型采用严格因果设计，实现低延迟流式推理（默认30 ms）。在VoiceBank-DEMAND数据集上，流式设置下达到2.73 PESQ和93.9% STOI，仅0.26 M参数和0.11 G/s MACs。此外，引入听力图引导的个性化模块，实现端到端联合优化，在助听器性能上优于两级联系统。该工作发表在《Internet of Things》，展示了神经形态启发方法在AIoT助听器中的潜力。
**关键技术方法**（不超过250字）
主要关键技术包括：1）并行Spiking Mamba架构，包含Spiking Mamba卷积（SMC）模块（结合1D卷积、Mamba和PLIF神经元）和Spiking Mamba循环（SMR）模块（结合稠密层、循环层和PLIF神经元），分别提取局部特征和全局依赖；2）Parametric Leaky Integrate-and-Fire（PLIF）神经元，其膜时间常数可训练，增强适应性；3）Mamba状态空间模型，通过输入依赖的选择性状态转移实现近线性复杂度长程建模；4）流式训练与推理框架，采用30 ms帧长和50%重叠，实现因果低延迟处理；5）个性化融合模块，将用户听力图（来自Clarity挑战赛，共100个真实听力图，85%训练/15%评估）作为先验知识，与噪声输入特征拼接，并通过NAL-R和WDRC预处理目标语音。训练数据来自DNS Challenge、CommonVoice、VCTK等，噪声来自DNS、WHAM!、NoiseX92等。
**研究结果**
**6.1 在VoiceBank-DEMAND上的结果**：在离线评估中，PSMSE以0.26 M参数和0.11 G/s MACs达到2.85 PESQ、95.1% STOI、3.77 CBAK和3.61 COVL，在背景噪声抑制和整体质量上领先，参数和计算量远低于其他模型。在流式评估中，PSMSE以2.73 PESQ和93.9% STOI超越所有对比模型（包括DEMUCS、HiFi++等），验证了流式效果。
**6.2 在DNS测试数据上的结果**：PSMSE在DNS测试集上达到2.72 PESQ和94.6% STOI，参数最少（0.26 M），总MAC仅1.05 G，性能优于DCCRN、DPCRN等。散点图显示PSMSE的PESQ和STOI分布更集中在上高值区域，一致性更好。频谱图可视化表明PSMSE在噪声抑制和语音保真度间取得更好平衡。
**6.3 不同噪声条件下的性能**：在气泡、工厂和白噪声下，PSMSE在多数信噪比（SNR）条件下取得最优或次优PESQ和STOI，尤其在低SNR（-5 dB）下表现突出（如工厂噪声下PESQ 1.19），表明对不同噪声类型的鲁棒性。
**6.4 下游任务性能**：在语音识别任务中，PSMSE达到最高字符准确率（CAcc）96.53%；说话人识别任务中，PSMSE的说话人相似度（SpkSim）为90.01%，几乎与干净语音持平，优于DPCRN和DEMUCS（后者因非线性失真导致特征丢失）；语音情感识别任务中，PSMSE情感相似度（EmoSim）为99.23%，表现稳健。
**6.5 域迁移下的性能**：在未见过的中文语音（AISHELL-1）和环境噪声（ICME ASC）上，PSMSE的PESQ和STOI分别为2.33和85.9%，CAcc为82.57%，均优于DeepFilterNet等基线，且性能下降更可控，表明其泛化能力。
**6.6 助听器性能**：在模拟听力损失数据上，PSMSE的HASPI和HASQI分别为0.90和0.60，优于仅补偿方法（NAL-R、WDRC等）和两级联系统（如DeepFilterNet+HLC）。波形和频谱分析表明模型能根据听力图自适应补偿，在高频处提供近30 dB增益。
**6.7 消融实验**：并行结构优于级联结构；去除SMC或SMR模块均导致性能下降，尤其SMR影响更大；去除SNN特征使计算成本升至0.61 G/s MACs，性能降至2.75 PESQ；去除Mamba使PESQ降至2.80；用GRU替换Mamba性能略降；用标准LIF替换PLIF性能略降；去除稀疏性损失或二值卷积也导致性能下降或计算增加。帧长实验表明，30 ms帧长在性能与计算效率间取得最佳平衡，端到端算法延迟为30 ms。
**总结讨论**
讨论部分指出，PSMSE通过并行设计有效融合局部与全局特征，SNN的稀疏事件驱动特性大幅降低计算成本，Mamba提供高效长程建模。个性化模块实现端到端联合优化，避免级联误差。消融证实各组件贡献，帧长与延迟权衡表明30 ms帧长适合实时应用。模型在未见数据上的稳定性表明其泛化能力。当前硬件评估基于FP32，未来需量化部署到实际硬件。
**研究结论**
本文提出了一种基于并行Spiking Mamba架构的轻量级端到端流式语音增强框架，用于AIoT赋能的可穿戴助听器。通过整合脉冲神经网络（SNN）的能效、事件驱动特性与状态空间模型（SSM）的长程序列建模能力，所提方法有效解决了严格边缘约束下的实时语音增强挑战。实验结果表明，所提模型在语音质量和可懂度上达到竞争性能，同时显著降低参数量和计算复杂度。流式设计实现了低延迟处理，使框架适用于资源受限设备的实时部署。此外，个性化听觉信息的融入突显了该技术在以人为本的助听系统中的潜力。从AIoT视角看，本工作为连接高效边缘智能与可穿戴健康应用提供了实用方案，证明神经形态启发架构是低成本、实时信号处理在信息物理人类系统中的有前景方向。未来工作将在真实硬件平台（包括神经形态设备）上验证框架，并扩展到多通道和更复杂声学环境。
