可学习的前端技术有助于更高效地实现咳嗽检测的表征学习

《Biomaterials and Biosystems》：Learnable front-end facilitates more efficient representation learning for cough detection

　　徐华兴|何凯宇|刘旭东|李苏云|杨建亚|谢阳|任海川中国河南省郑州市科学大道450000，郑州大学电气与信息工程学院摘要如今，在最先进的咳嗽检测任务中，基于梅尔滤波器组的特征通常与各种深度学习模型结合使用。然而，这些手工设计的特征是基于语音感知的先验知识，并非专为咳嗽声设计，因此可能会忽略重要信息的潜力。本文则提出了一种可在原始声音样本上使用的可学习前端（LEAF）层用于咳嗽检测。与梅尔尺度滤波器类似，LEAF模块由一组可学习的带通滤波器组成，随后通过可学习的池化和压缩操作分别降低时间分辨率和动态范围。以数据驱动的方式，LEAF与剩余的深度学习后端模型共同优化，从而得到更适用于特定咳嗽任务的表征。在大型真实世界咳嗽数据集（COUGHVID）上的实验结果表明，其性能始终优于基于类似梅尔滤波器组训练的模型，精确度和召回率分别高达98.37%和98.22%。此外，对所学滤波器的可视化分析显示，它们能够更好地捕捉与咳嗽数据相关的关键特征。总体而言，该可学习前端所需的参数相对较少，预计引入更先进的神经网络框架有望进一步提升性能。引言咳嗽声是多种具有医学意义的疾病和状况中常见且重要的症状[1]。因此，分析这些声音具有重要的诊断价值，因为其特征的变化可以反映治疗效果或疾病进展[2]。在临床和研究环境中，通常通过咳嗽问卷或患者的主观描述来评估咳嗽，如莱斯特咳嗽问卷和视觉模拟量表（VAS）[3]、[4]。然而，主观报告的咳嗽数据存在可靠性和准确性不足的问题，尤其是在夜间症状以及儿童报告的症状方面[5]。为克服这些缺陷，开发一种无创且高度精确的咳嗽检测系统十分必要[6]。利用麦克风对咳嗽声进行评估的相关研究起步较早。早在1964年，[7]就使用磁带录音机系统对连续录制的咳嗽声进行计数，以研究止咳药的效果。此后，也有类似的研究被提出用于咳嗽监测，如[8]、[9]、[10]，这些方法可实现更长时间的监测（最长可达24小时[8]）。不过，要识别咳嗽事件，这些系统仍需人工专家手动分析录音，这一过程既耗时又费力。因此，人们更倾向于开发能够自动检测录音中咳嗽声的技术。借助信号处理和模式识别技术，自动检测录音中的咳嗽声已变得可行[6]。通常，基于音频录音的咳嗽检测可分为两个阶段：特征提取和咳嗽分类。在特征提取阶段，所使用的特征可大致分为时间特征、频谱特征和时间-频谱特征[6]、[11]。其中，许多源自语音相关应用的特征被广泛使用，例如线性预测编码（LPC）系数[12]、梅尔频率倒谱系数（MFCC）[13]、GammaTone倒谱系数（GTCC）[14]。在分类阶段，早期研究中采用了包括高斯混合模型（GMM）[15]、隐马尔可夫模型（HMM）[13]、[16]以及支持向量机（SVM）[17]、[18]在内的经典分类器。随着深度学习的进步，各种深度神经网络（DNN）架构在咳嗽检测任务中发挥着越来越重要的作用[6]。将各种时间-频谱谱图视为图像，就可以利用专为图像识别任务设计的强大DNN模型。通常，各种知名的卷积神经网络（CNN）[19]、[20]被用来对咳嗽片段进行分类[21]，例如DeepCough[22]。为建模咳嗽的时间依赖性，循环神经网络（RNN），及其变体门控循环单元（GRU）和长短期记忆（LSTM）网络被用于对一系列谱图帧进行编码[19]、[23]。最近，由于Transformer具备通过自注意力机制更好地学习长距离依赖性的能力，也被用于这项任务。得益于其能够自动捕捉谱图中的复杂关系，DNN模型通常比传统方法具有更高的准确率[21]、[25]。此外，数据增强[26]、[27]、注意力机制[26]等其他技术也被作为模型的一部分，用以提升性能。除了音频信号外，整合其他模态数据[28]（如惯性测量单元（IMU）[29]和视频信号[30]）也能进一步提升检测性能。无论采用何种神经网络架构，上述用于咳嗽检测的解决方案[19]、[20]、[23]、[24]仍然依赖于手工设计的特征作为输入表征，尤其是长期以来备受青睐的MFCC[20]。更确切地说，由于特征提取是预先固定的，这并非端到端的过程。这些人工设计特征中的参数设置，尤其是梅尔缩放，主要是针对语音信号的频谱特性而设计的[31]，其中包含了对语音识别任务非常有价值的先验信息。有观点认为，基于感知证据设计的滤波器组并不一定总是最适合不同的声音识别任务，相关研究[32]、[33]、[34]、[35]、[36]中也指出了这一点，例如伪造语音检测[37]和水下声学分类[38]。另一方面，音频咳嗽事件通常缺乏明显的共振峰结构，由三个阶段组成[39]，其频谱特征与人类语音有所不同[17]。总体而言，手工特征提取中的预处理技术未必与咳嗽任务相匹配，可能会妨碍对咳嗽声关键特征的提取。鉴于上述问题，并受到语音相关应用中端到端学习取得的优异成果的启发[35]，我们开发了一个端到端的咳嗽检测框架，该框架直接从原始咳嗽数据中学习，旨在更好地建模当前咳嗽声的信号特征。具体而言，该框架构建了一个包含三个组件的可学习前端（LEAF）层：可学习时域滤波、自适应池化以及参数化非线性压缩，用于提取特定于任务的频谱特征。由于LEAF中的参数是可微分的，因此可以使用标准梯度下降法与其后的深度网络模型一起进行端到端训练。这样一来，就可以针对给定的数据集和咳嗽检测任务，对所有参数与后端网络进行联合优化。在构建了这个前端之后，我们对其进行了与传统基于梅尔特征的方案相比的全面分析，以评估其在咳嗽检测方面的有效性。总之，常用的咳嗽检测特征基于先验知识，大多与语音感知相关，并非专为咳嗽声设计。而在本研究中，我们引入了一种可从原始音频信号中提取的可学习时频特征层，该层与后续的后端模型共同优化，从而得到更适用于特定咳嗽任务的表征。本文的其余部分结构如下：第2节详细介绍了可学习特征前端模块；第3节阐述了用于评估的咳嗽数据集、实验设置及结果；第4节讨论了我们的主要发现并指出了一些局限性；第5节给出了研究的结论。框架概述图1展示了所提出的咳嗽检测框架的架构。假设数据集中共有N个声音样本，每个原始样本的长度为L(i)，可表示为xi∈RL(i)，其中i∈{1,2,…,N}。采用滑动窗口方法将xi分割成长度均为L的片段集合{xi1,xi2,…,xiJ(i)}。需要指出的是，某个片段的所有标签{yi1,yi2,…,yiJ(i)}都与原始标签yi∈{0,1}相同，其中1表示咳嗽，0表示非咳嗽。数据集为了检验所提出的咳嗽检测模型的有效性，我们使用了规模较大的咳嗽数据集Coswara3 [45]。该数据集是通过众包方式收集的，包含了2635名参与者（截至2023年6月22日）的咳嗽、呼吸和说话声音。因此，这些音频文件的质量多样性很高，可作为野外采集的音频数据的代表性样本。该数据集共包含5408段录音。与[21]、[46]类似，为了……讨论考虑到常用的、主要与语音感知相关的特征可能会忽略重要信息的潜力，本研究引入了一种可从原始音频信号中提取特征的可学习前端LEAF，用于咳嗽检测。在大型真实采集的咳嗽数据集上的测试表明，LEAF前端优于传统的梅尔滤波器组，最大绝对改进幅度约为1%。对所学滤波器的可视化分析显示，LEAF有助于更好地适应咳嗽检测任务。结论在本研究中，我们设计了一种多功能的可学习前端层，该层与后续的深度学习后端网络共同学习，以自适应地提取时频表征，从而更好地建模咳嗽声的信号特征。在大型咳嗽语料库上的实验表明，该方法的性能优于基于类似梅尔滤波器组（包括MFCC和梅尔滤波器组）训练的模型。对所学滤波器的分析显示，它们能够灵活调整，以更好地适应……CRediT作者贡献声明徐华兴：写作——审稿与编辑、写作——初稿、验证、软件、方法论、研究、概念设计。何凯宇：写作——初稿、验证、软件、形式分析、数据整理。刘旭东：写作——审稿与编辑、验证。李苏云：监督、项目管理、资金筹集。杨建亚：资源提供、数据整理。谢阳：资源提供、数据整理。任海川：监督、项目管理、资金筹集。利益冲突声明作者声明没有已知的财务利益或个人关系可能影响本文所述的工作。致谢本研究部分得到了中国国家重点研发计划（2022YFC3502400）、非传染性疾病国家科技重大专项（2023ZD0506700）以及2023年河南省卫生健康委员会国家中医药传承创新中心研究专项基金（2023ZXZX1154）的支持。