一种高效的轻量级Spike神经元网络在脑卒中后构音障碍语音识别中的应用

《Speech Communication》:An efficient lightweight Spike Neuron Network applied to Post-stroke Dysarthria speech recognition

【字体: 大 中 小 】 时间:2026年04月25日 来源:Speech Communication 3

编辑推荐:

  中文病理语音分类研究提出轻量级脉冲神经网络模型,通过39维MFCC特征输入和时空注意力机制,有效识别中风后构音障碍患者语音特征,模型参数少且计算效率高,适用于便携设备部署。

  
刘一军|郑英聪|叶武健|雷腾|唐浩|牟志伟
广东工业大学集成电路学院,中国广东省广州市,510000

摘要

中风患者有很大可能发展成中风后构音障碍(PSD),这是一种非进行性的发音障碍。然而,大多数关于病理语音分类的研究都集中在帕金森病等进行性障碍上,并且主要基于传统的神经网络模型。尽管这些模型表现优异,但由于参数量大且计算需求高,它们不适用于便携式设备。为了解决这些问题,我们提出了Spike TCAFormer,这是一种高效、轻量级的SNN模型,我们的研究基于普通话PSD语音数据集。该模型使用39维MFCC特征作为输入,与频谱图相比可以显著减少浮点运算次数(FLOPs)。Spike TCAFormer模型整合了低计算复杂度的时间和通道注意力机制,有效提取用于分类的特征,同时利用Leaky Integrate-and-Fire(LIF)神经元的特性实现极高效率。为了嵌入输入特征的位置信息,我们基于SNN的特性设计了Spike位置编码生成器(SPEG)。所提出的模型在PSD语音数据集上表现出优越的性能,其准确性与当前SNN基准测试在Google Speech Commands v2测试中的结果相当。此外,模型参数少和浮点运算次数低表明了该模型的轻量级和算法效率。

章节摘录

引言

在中国,由于人口老龄化加剧以及居民不健康的生活方式,中风发病率持续上升(Tu和Wang,2023)。中风是一种严重的急性脑血管疾病,常伴有后遗症,其中构音障碍是常见的中风后并发症(Sellars等人,2005)。构音障碍严重影响了患者的清晰发音能力,造成了重大的沟通障碍,严重影响他们的生活质量(Piacentini等人,2014)。PSD...

数据集

本研究使用的数据集由济南大学附属医院言语治疗中心收集(Ye等人,2022;Ye等人,2024)。音频记录在经过声音处理的房间中(≤40 dB HL)使用SONY ZOOM H4NPRO录音机录制。语音信号以44.1 kHz的采样率、16位分辨率存储为.wav格式。部分发音波形如图1所示。
音频数据集分为A和B两部分,如表1所示。由于质量...

方法论

在本节中,我们介绍了基于SNN的PSD语音分类模型。模型的整体架构在第3.1节中描述。第3.4节详细介绍了将静态数据集编码为基于脉冲的特征图的过程。第3.5节解释了我们框架中Spike TCAFormer模块的计算过程。

实验环境

我们的工作使用PyTorch 2.3框架和Spikingjelly(v0.0.0.0.14)进行网络架构构建。训练和推理过程使用Nvidia RTX 4070 Super GPU加速。对于PSD数据集,我们按照2.1节中的描述手动将数据分为训练集和测试集,未使用随机种子。未使用数据增强技术、类别加权或采样。我们采用了AdamW优化器,学习率设置为0.001。

结论

将计算机技术应用于PSD的病理语音识别可以加快筛查速度,实现及时诊断和治疗。传统的病理语音识别算法面临参数量大、功耗高和计算速度慢等挑战,这些限制了它们的实用性。为了解决这些问题,本文提出了一种高效且高性能的Spike TCAFormer网络,用于识别PSD患者的病理音节。

资助

刘一军报告获得了广东省重点研发计划(奖励编号:2018B030338001)的财务支持。刘一军报告获得了广州市基础研究计划(奖励编号:202201010595)的财务支持。叶武健报告获得了广州市科技项目(奖励编号:202201020046)的财务支持。叶武健报告获得了广东工业大学(奖励编号:220413548)的财务支持。牟志伟...

CRediT作者贡献声明

刘一军:监督。 郑英聪:撰写 – 审稿与编辑,撰写 – 原稿。 叶武健:撰写 – 审稿与编辑。 雷腾:研究。 唐浩:可视化。 牟志伟:资源提供。

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的财务利益或个人关系。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号