**BCough:一种用于设备内咳嗽检测的骨传导嵌入式AI平台的设计与评估** 作者:Mayur Sanap、Joseph de la Viesca、Aadesh Shah、Sameer Dalal、Jack Twiddy、Michael Daniele 和 Edgar J. Lobaton

《Electronics》:BCough: Design and Evaluation of a Bone-Conduction-Embedded AI Platform for On-Device Cough Detection Mayur Sanap, Joseph de la Viesca, Aadesh Shah, Sameer Dalal, Jack Twiddy, Michael Daniele and Edgar J. Lobaton

【字体: 大 中 小 】 时间:2026年05月02日 来源:Electronics 2.6

编辑推荐:

  摘要 持续咳嗽监测为呼吸健康提供了宝贵的见解;然而,传统的空气传导麦克风极易受到环境噪声的影响,并引发隐私问题。本文介绍了BCough,这是一种基于骨传导的嵌入式AI平台,用于设备上的咳嗽检测,其在MAX78000神经加速器上进行了设计和评估。该系统使用佩

  摘要 持续咳嗽监测为呼吸健康提供了宝贵的见解;然而,传统的空气传导麦克风极易受到环境噪声的影响,并引发隐私问题。本文介绍了BCough,这是一种基于骨传导的嵌入式AI平台,用于设备上的咳嗽检测,其在MAX78000神经加速器上进行了设计和评估。该系统使用佩戴在胸部的皮肤接触式骨传导传感器来捕捉通过骨骼和组织传递的身体振动,从而检测咳嗽事件,同时将环境干扰降至最低。这个定制的原型集成了骨传导麦克风、同步的6轴惯性测量单元(IMU)、电源管理电路以及嵌入式神经加速器,以支持实时推理和未来的多模态扩展。一个紧凑的8位量化卷积神经网络针对MAX78000进行了优化,并使用留一法交叉验证在来自五名参与者的19,955个标记事件的语料库中,对一秒钟的咳嗽和非咳嗽片段进行了评估。部署的模型实现了0.80的Macro-F1分数、0.81的平衡准确率、0.74的咳嗽F1分数和0.89的AUC分数,推理延迟为15-16毫秒,每次推理的能量消耗约为20焦耳。这些结果证明了在初始的五名参与者研究中,使用低功耗、保护隐私的骨传导咳嗽检测在嵌入式AI硬件上的可行性。当前的设计是一个台式原型;因此,这些发现应被视为初步的可行性评估,而不是在多样化用户和真实世界条件下表现出强大性能的证据。未来的工作将把这个平台扩展为结合骨传导和惯性传感的可穿戴实现,以实现连续的多模态呼吸监测。

1. 引言
呼吸系统疾病,如哮喘和慢性阻塞性肺病(COPD),仍然是全球发病率和死亡率的主要原因之一[1]。咳嗽是与这些疾病相关最常见且具有临床意义的症状之一,通常作为疾病进展和治疗效果的指标[2]。准确量化咳嗽频率可以提供有价值的诊断和预后信息,但传统的评估主要依赖于患者的自我报告或短期声学记录[3]。这些方法具有主观性,往往无法反映日常生活中的真实咳嗽频率。此外,连续的临床监测设备价格昂贵,需要笨重的设备,不适合长期家庭使用。因此,迫切需要能够在真实环境中连续运行的自动化、客观且保护隐私的咳嗽检测系统。
早期在自动咳嗽检测方面的研究主要利用了声学特征和传统的分类器,如隐马尔可夫模型和支持向量机[4,5,6]。已经开发了几种用于咳嗽监测的商业设备,包括Leicester Cough Monitor [3]、VitaloJAK? [7] 和 LEOSound? [8]。这些系统在受控环境中展示了可靠的咳嗽事件检测能力,但依赖于离线处理的长期音频记录,这引发了隐私和安全问题,可能限制了用户的舒适度和采用率。最近,出现了可穿戴系统,如CoughWatch [9]、CoughBuddy [10] 和 HearCough [11],它们将麦克风和惯性测量单元集成到智能手表或耳塞中。虽然这些设备支持移动监测,但它们经常依赖于基于云的计算或智能手机连接,这增加了能耗和延迟,限制了它们用于连续日常监测的适用性。
为了解决这些限制,嵌入式AI平台作为一种在受限硬件上进行设备内推理的手段而受到关注[12,13,14]。本地处理信号减少了对连续数据传输的需求,从而降低了延迟、网络依赖性和隐私风险。最近的研究展示了用于设备内推理的轻量级模型。例如,HearCough [11] 推出了Tiny-COUNET,这是一个紧凑的卷积网络,在商用耳塞上部署时实现了90%的检测准确率,功耗仅为5.2毫瓦。更近期,Cough-E [15] 提出了一种结合声学和运动特征的多模态、保护隐私的咳嗽检测算法,部署在边缘硬件上,并具有硬件感知的模型设计,Orlandic等人[16] 提供了第一个公开的多模态边缘AI咳嗽数据集,涵盖了15名受试者的同步音频和运动模式。尽管取得了这些进展,大多数咳嗽检测系统仍然依赖于具有大量参数的深度神经网络,这些网络的参数数量往往超过了超低功耗微控制器的Flash和SRAM限制,例如MAX78000(Analog Devices, Inc., Wilmington, MA, USA)和STM32G4(STMicroelectronics, Geneva, Switzerland)[17,18]。此外,HearCough和Cough-E都没有针对骨传导传感或MAX78000神经加速器,因此基于骨传导的传感和硬件感知的嵌入式AI推理的协同设计仍然是一个未解决的挑战。
骨传导(BC)麦克风检测通过骨骼和组织传递的内部身体振动,而不是传统空气传导(AC)麦克风检测的空气压缩波。与AC麦克风不同,BC传感器本质上对环境噪声具有鲁棒性,并通过排除旁观者的言语和背景声音来保护隐私。此外,由于带宽有限,BC麦克风捕获的语音频谱特征较少,进一步减少了监测过程中捕获的个人信息量[19]。最近的研究证明了BC传感在可穿戴应用中的实际价值:He等人[20]表明,通过头戴式设备捕获的骨传导振动可以在真实世界的嘈杂环境中支持强大的语音增强,Liu等人[21]表明,基于PMUT的BC传感器在高噪声环境下的信噪比比传统AC麦克风高出五倍以上。这些进展证实了BC传感作为保护隐私的可穿戴健康监测实用模式的成熟度。
当与惯性测量单元(IMU)结合使用时,BC麦克风提供了与咳嗽期间胸部和颈部运动相对应的补充运动线索[22,23],这可以在日常生活中典型的嘈杂或移动条件下提高检测的可靠性。先前的工作表明,IMU信号本身就可以作为保护隐私的咳嗽检测替代方案:Diab和Rodriguez-Villegas [24]证明,在LOSO评估下,三轴加速度计的特征实现了88%以上的F1分数,证实了惯性传感在呼吸事件分类中的区分能力。我们小组的进一步工作表明,将空气传导音频与IMU信号结合可以在不同的真实世界条件下实现强大的咳嗽检测。Chen等人[23]表明,一个增强了离群检测(OOD)的音频-IMU多模态系统在16 kHz下实现了超过90%的准确率,并且在750 Hz时仍保持强劲的性能,同时保护了音频隐私。后续研究[25]进一步证实,惯性信号能够以足够的区分能力捕获由咳嗽引起的身体运动,覆盖了1到5秒的窗口大小。这些结果确立了IMU作为可穿戴咳嗽检测的可靠传感模式。
然而,以往的工作主要集中在离线多模态分析或使用空气传导麦克风的基于智能手机的计算上,而没有探索嵌入式、低功耗执行的硬件-软件协同设计。本文通过用骨传导传感替换空气传导音频,并针对微控制器级别的神经加速器进行部署,扩展了这一研究方向,这是一个之前未涉及的协同设计挑战。因此,将BC传感和硬件感知的AI推理集成在一起,仍然是实现实际设备内呼吸健康监测的一个开放挑战。
在本文中,我们介绍了BCough的设计、实现和评估,这是一个基于MAX78000微控制器的基于骨传导的嵌入式AI咳嗽检测系统。这项工作的主要贡献是一个端到端的协同设计流程,它将骨传导传感、硬件受限的CNN、训练后的量化以及在MAX78000神经加速器上的部署集成在一个统一的框架中。该系统的支持组件包括一个定制的硬件原型、一个多模态数据集和系统的设计空间探索。完整的设计和评估框架概述见图1。第7节提供了与BCough密切相关的边缘部署咳嗽检测系统的比较。具体来说,这项工作做出了以下贡献,其中第一项是主要贡献,其余项目是支持组件:
图1. BCough设计和评估框架概述。(a) 带有BC麦克风和IMU的可穿戴传感平台。(b) 四种会话条件下的数据收集协议。(c) 模型开发及评估流程,包括训练、量化、评估和总结阶段。(d) 在MAX78000神经加速器上的设备内部署及评估指标。蓝色箭头表示从数据收集到模型开发再到设备内部署和推理的顺序流程。
BCough:一种基于骨传导的嵌入式AI平台,用于在MAX78000神经加速器上进行保护隐私的咳嗽检测,该平台结合了一个轻量级CNN,在8位训练后量化后实现了0.80的Macro-F1分数、0.81的平衡准确率、0.74的咳嗽F1分数和0.89的AUC分数,推理延迟为15-16毫秒,每次推理的能量消耗约为20焦耳,在最初的五名参与者可行性研究中进行了评估。
一个训练后的量化流程,通过基于缩放的裁剪来平衡模型准确率、内存占用和能源效率,适用于微控制器级别的部署。
一个系统的设计空间探索,涉及输入分辨率、采样率、特征表示和量化策略,以表征嵌入式咳嗽检测的准确率-效率权衡。
一个定制的硬件原型,集成了骨传导麦克风、音频编解码器、IMU和SD卡接口,用于同步的多模态数据采集和设备内验证。
一个包含19,955个标记事件的多模态数据集,这些事件来自五名参与者,在受控的静止和移动条件下收集。
本文的其余部分组织如下。第2节描述了用于训练和评估的数据收集程序和数据集。第3节介绍了骨传导传感的特性,包括其保护隐私的属性以及与空气传导音频的比较。第4节概述了嵌入式AI模型设计,包括CoughNet架构、输入配置和量化流程。第5节描述了训练和评估工作流程,包括多阶段流程、设计空间探索和最终模型配置。第6节讨论了在MAX78000上的嵌入式部署,包括模型选择、合成和设备内性能。第7节进行了讨论,包括与先前边缘部署系统的比较、BC与AC模式的权衡以及本研究的局限性。最后,第8节总结了关键发现和未来工作的方向。

2. 数据收集
使用了一个集成了骨传导振动传感器、空气传导MEMS麦克风和6轴惯性测量单元(IMU)的体感平台来收集定制的骨传导咳嗽检测数据集。数据收集遵循北卡罗来纳州立大学机构审查委员会(IRB)批准的协议28453进行。
这项人类研究的目的是捕捉个体在静坐(坐着)和活动(行走)状态下的多种传感模式,以检测言语和非言语发声。如图2所示的可穿戴数据采集设置将骨传导传感器和IMU放置在胸部,以捕捉自然咳嗽过程中的振动和运动信号。表1总结了记录的信号及其相应的采样率。原始音频以48 kHz的频率捕获,并在使用标准抗混叠滤波器降采样到16 kHz后进行特征提取。由于BC传感器本身对环境声学噪声具有鲁棒性,因此没有对骨传导通道应用专门的降噪处理。BC波形中可见的明显背景活动反映了传感器捕获的低幅度接触振动,其能量远低于咳嗽瞬态。IMU数据以100 Hz的频率记录,并带有同步的时间戳,以供未来的多模态扩展使用。
图2. 用于同步骨传导和惯性传感的可穿戴数据采集设置。骨传导传感器和IMU安装在胸部,系统通过USB连接到智能手机以进行同步数据记录。
表1. 记录的信号及其采样率。每个10分钟的会话遵循一个结构化协议,以在受控和半自然条件下捕获多样化的咳嗽和非咳嗽活动。会话包括基线言语,然后是交替的一分钟咳嗽、打喷嚏、清嗓子、手臂或肩膀运动以及有无言语的衣物摩擦。这种设计确保了与真实世界咳嗽检测相关的声学和运动干扰的平衡混合。
音频前端使用了V2S200D(Syntiant Corp., Irvine, CA, USA)骨传导传感器[26]和SPH0141LM4H-1(Knowles Corporation, Itasca, IL, USA)MEMS麦克风[27],通过PDM-to-USB接口传输立体声音频(16位,48 kHz)。左通道记录振动数据,右通道捕获空气音频。同时,MetaMotionS(MbientLab Inc., San Francisco, CA, USA)传感器[28]以100 Hz的频率记录了3轴加速度计和3轴陀螺仪数据,为潜在的多模态融合提供了同步的运动信息。
数据来自五名参与者(P1–P5),每个人在四种实验条件(S1–S4)下进行记录,旨在捕捉身体运动、环境背景和对话干扰的变化。如表2所总结的,协议包括静止和行走条件,以及单独说话和对话设置。在每次会话中,参与者执行了一组共同的参与任务,包括间歇性咳嗽、咳嗽伴随打喷嚏、咳嗽伴随清嗓子、咳嗽伴随衣物摩擦以及咳嗽伴随手臂/肩膀动作。所有参与者和会话的总数据集包含19,955个标记事件。数据收集设置和会话条件在图1a和图1b中进行了总结。表2列出了用于多模态咳嗽数据收集的记录会话协议。本研究最初旨在调查硬件部署的可行性。选择了五名参与者,以便在批准的IRB协议(28453)的约束下,在台式原型验证阶段系统地收集数据。这个样本量与相关的嵌入式和可穿戴健康传感领域的早期可行性研究一致;例如,Orlandic等人[16]在一个类似受控的实验室环境中从15名受试者那里收集了一个结构化的边缘AI咳嗽数据集,而Cough-E研究[15]使用了20名健康受试者进行初始模型开发和验证。本研究代表了这一进程的早期阶段,数据收集工作正在继续进行中,并且目标是将参与者数量扩大到12-15名,以提高在不同用户和真实世界条件下的泛化能力。结构化的会话协议旨在在受控的采集环境中最大化声学相关事件的多样性,包括语音、清嗓子、打喷嚏、衣物摩擦和运动伪影,确保数据集能够捕捉到与实际可穿戴设备部署相关的主要非咳嗽干扰因素,同时保持在不同参与者之间的可重复性。这种设计优先考虑了信号多样性和控制的标记准确性,而不是自然发生的咳嗽频率,这适合于专注于硬件-软件协同设计验证的可行性研究,而不是群体层面的泛化。

对于二元咳嗽检测,用于模型开发和评估的数据集是通过留一法(LOSO)交叉验证从更大的数据集中提取的。在每个折叠中,被保留的参与者构成测试集,其余四名参与者构成训练集。所有咳嗽片段在两个分割中都被保留。非咳嗽片段来自声学相关的事件,如研究人员的语音、参与者的语音、清嗓子、打喷嚏、手臂运动伪影和衣物摩擦,并使用以下三阶段程序独立地为每个分割选择。在第一步过滤中,去除骨传导RMS低于0.001的非咳嗽样本。这个阈值作为噪声底限门,丢弃几乎没有区分性的几乎无声的帧;它不会选择性地去除声学上具有挑战性的非咳嗽事件。0.001的阈值是通过系统评估多个候选阈值(包括0.1、0.005和0.001)确定的。对于每个候选阈值,保留的样本通过听觉检查手动验证,以确认高于阈值的片段包含可感知的声学事件,如咳嗽、语音、清嗓子和摩擦,而不是传感器噪声或几乎无声的接触伪影。选择0.001的阈值是因为它在可靠地排除几乎无声且没有区分性声学内容的帧的同时,最大化了保留的样本数量。然后,每个标签类别内的剩余非咳嗽样本按照BC RMS降序排名,保留最具有声学显著性的片段。随后使用循环程序跨标签类别选择样本,每一步都优先考虑代表性不足的标签:在每次迭代中,选择迄今为止选择样本最少的标签,在代表性不足的标签中,选择BC RMS最高的样本。这个过程持续进行,直到非咳嗽样本与咳嗽样本的比例达到目标2:1。这种程序确保了选定的非咳嗽池在事件类型上具有声学多样性,并且保留了最具区分性的样本,即那些BC接触信号最强的样本。这种2:1的平衡分别独立地应用于每个LOSO折叠中的训练和测试分割,以便每个被保留的参与者的测试集也保持2:1的非咳嗽与咳嗽比例,而不是反映参与者的自然事件分布。选择这个比例是为了在初始可行性研究中反映一个可处理的类别不平衡,同时仍然要求分类器能够区分咳嗽和多种非咳嗽事件。应该注意的是,与真正的连续监控场景相比,这种比例简化了分类任务,在真实的连续监控场景中,非咳嗽事件的发生频率远高于咳嗽事件。这是本研究的一个已知限制,将在未来的工作中通过更现实的类别分布下的滑动窗口评估来解决。

表3总结了分类器使用的样本数据集的参与者组成。表3. 经过排除、BC-RMS过滤和2:1非咳嗽/咳嗽平衡后,二元咳嗽检测管道使用的按参与者划分的样本数据集。最后一行的粗体值表示所有参与者的总数。总体而言,该数据集为基于骨传导的咳嗽检测提供了一个受控且现实的基准,捕捉了发声、身体运动和环境条件的变化,同时与低功耗嵌入式AI系统兼容。然而,由于参与者数量有限和采集协议的结构化,从这个数据集得出的结果应被视为初步的可行性评估,而不是对现实世界泛化的全面评估。

图3展示了在咳嗽(左)和说话(右)期间记录的空气传导(AC)、骨传导(BC)和惯性测量(IMU)的代表性样本。这些信号是使用放置在胸骨上的现成传感器捕获的,选择这个位置是因为它能够捕捉到声学和生理振动,尽管所提出的框架可以推广到其他身体上的放置位置[29]。图3. 在咳嗽(左)和说话(右)期间,使用放置在胸骨上的传感器记录的空气传导(AC)、骨传导(BC)和IMU信号的比较。咳嗽事件在AC和BC通道中表现为短暂的高能量瞬变,在IMU Z轴上表现为尖锐的峰值,而说话则产生持续的低幅度模式。BC信号仅在身体耦合事件期间激活,抑制了在AC通道中可见的旁观者语音(阴影区域)。仅凭AC信号的幅度不足以可靠地区分说话者和附近的旁观者,而惯性信号则显示出与咳嗽事件相对应的明显峰值。相比之下,说话产生更平滑、低幅度的运动模式。BC麦克风对环境噪声具有很强的鲁棒性,仅在用户相关的说话或咳嗽事件期间激活,这证实了它适用于身体佩戴的声学检测[21]。这种选择性是BC传感在保护隐私的呼吸监测中的关键实际优势:因为传感器机械地连接到身体表面,它可以减弱旁观者语音和环境声音,否则这些声音会污染空气传导记录。

图4比较了在(a)咳嗽和(b)说话期间记录的AC和BC信号的光谱和时间特性。顶部行展示了归一化到各自传感器完整动态范围的时间域波形。在说话期间,AC和BC信号都显示出与发音音节相对应的幅度变化,而在咳嗽期间,短暂的高能量瞬变主导了波形。BC波形显示出较少的环境背景活动,并且与AC波形相比,单个咳嗽事件的时间隔离更清晰,反映了传感器与身体表面的机械耦合。波形还展示了BC传感相对于AC传感的特征性幅度衰减。这种衰减是由于通过组织而不是空气传输振动而直接产生的,代表了BC模式的基本权衡:在提高噪声抵抗力的同时降低了信号幅度和带宽。图4. 在(a)咳嗽和(b)说话期间,比较了骨传导(BC)和空气传导(AC)信号的时间域波形(顶部)和频谱图(底部)。BC信号在2-6 kHz频段显示出相对于AC的衰减高频内容,频谱图中的红色虚线矩形表示这一点。尽管带宽减少,但在BC通道中咳嗽事件仍然可以清晰地区分出来,表现为宽带、短时长的爆发,而说话的谐波结构则被大幅抑制,这展示了BC模式的隐私保护特性。底部行展示了相同信号的频谱图表示。说话的频谱图显示出结构化的谐波带和时间连续性,而咳嗽的频谱图包含宽带、短时长的能量爆发。即使在嘈杂的采集条件下,BC频谱图也保持了高信号对比度,进一步证实了该模式的抗干扰能力。图4中突出显示的区域揭示了BC音频在2-6 kHz频段相对于AC的显著衰减。这种效应在说话(图4b)中最为明显,其中该频段的频谱特征在AC麦克风中被清晰捕获,但在BC频谱图中几乎不存在。BC频谱图还显示了7 kHz附近的频谱能量升高,这归因于V2S200D传感器的共振频率(图5)。尽管带宽减少,但在BC通道中咳嗽事件仍然可以清晰区分出来,表现为宽带、短时长的爆发,而说话的谐波结构则被大幅抑制,这展示了BC模式的隐私保护特性。底部行展示了相同信号的频谱图表示。说话的频谱图显示出结构化的谐波带和时间连续性,而咳嗽的频谱图包含宽带、短时长的能量爆发。BC频谱图即使在嘈杂的采集条件下也保持了高信号对比度,进一步证实了该模式的抗干扰能力。

图4中突出显示的区域揭示了BC音频在2-6 kHz频段相对于AC的显著衰减。这种效应在说话(图4b)中最为明显,其中该频段的频谱特征在AC麦克风中被清晰捕获,但在BC频谱图中几乎不存在。BC频谱图还显示了7 kHz附近的频谱能量升高,这归因于V2S200D传感器的共振频率(图5)。通过骨传导记录的音频通常表现出显著的高频衰减,衰减的程度取决于特定BC传感器的频率响应[30]。因此,尽管频谱带宽减少,但从BC信号单独来看,咳嗽检测仍然是可行的,如图3所示。因此,骨传导提供了一种信息量最小、保护隐私的呼吸事件检测模式:它捕获了足够的区分信息用于咳嗽分类,同时自然地抑制了在传统空气传导记录中会引起隐私问题的丰富声学细节。

图5展示了V2S200D骨传导麦克风(Syntiant Corp., Sunnyvale, CA, USA)的频率响应,显示在7 kHz附近有一个峰值灵敏度。这个共振峰在BC频谱图中表现为7 kHz附近的能量升高,并为第4节中描述的选择性增强(Selective SpecAugment)策略的设计提供了依据。

4. 嵌入式AI模型设计
4.1. 模型架构
所提出的模型是一个轻量级的卷积神经网络(CNN),专为在MAX78000神经加速器上进行设备上的咳嗽检测而设计。该网络使用ai8x-training框架实现,并旨在满足MAX78000 AI85加速器(Analog Devices, Inc., Wilmington, MA, USA)的部署要求,包括8位整数计算、有限的片上内存以及融合卷积操作以实现高效执行。该模型以从骨传导音频信号派生的Mel频谱图表示作为输入。在主要配置中,输入是一个单通道的Mel频谱图。为了研究特征维度对分类性能和可部署性的影响,使用了双通道(Mel + )和三通道(Mel + + )输入变体进行了额外的实验。这些实验用于评估在嵌入式硬件限制下时间导数特征的贡献,如“特征提取:频谱图、时间导数和MFCC比较”部分所述。该架构包括六个卷积层,后面跟着一个全连接分类层。每个卷积阶段都采用融合卷积和ReLU激活函数,大多数中间层应用最大池化操作,以逐步扩大感受野,同时将空间分辨率从降低到。特征通道的数量从早期层的16增加到64,以实现分层特征提取,随后在后期层减少到32和16,以平衡表示能力与片上内存限制。这种先扩展后减少通道的策略是由于需要在早期层捕获多尺度频谱-时间特征,同时保持最终特征图足够小,以适应MAX78000全连接层的内存限制(fc_inputs × dim2 ≤ 1024)。网络架构的总结见表4。表4. 提出的CoughNet模型的层级架构。最终的全连接层将扁平化的16通道特征表示映射到两个输出神经元,分别对应咳嗽和非咳嗽类别。在部署过程中,批量归一化和激活操作被合并到卷积层中,以减少运行时内存使用和推理延迟。该架构支持不同的输入分辨率(例如,和),同时保持相同的整体下采样行为和与MAX78000硬件的兼容性。总体而言,该网络包含大约57k个可训练参数,并且每次推理所需的乘法-累加(MAC)操作少于350k次。这些计数被有意保持紧凑,以满足MAX78000的Flash和SRAM限制,这排除了在智能手机或基于服务器的咳嗽检测系统中常用的更大架构的使用。该模型支持浮点数和8位量化推理,性能损失最小,使其适合于始终开启的低功耗呼吸事件检测。

4.2.自动化MAX78000训练、量化和评估流程

为了在MAX78000神经加速器上进行可复制和可扩展的实验,我们开发了一个完全自动化的多阶段流程,该流程集成了模型训练、训练后量化、评估以及跨多个随机种子的统计总结。该框架的目标是在支持硬件感知模型配置的确定性基准测试的同时,最小化模型开发过程中的手动干预。流程阶段的总结见表5。

表5. MAX78000模型开发与评估的自动化流程。

(1) 训练:在第一阶段,模型在多个随机种子上进行确定性训练,以量化性能变化。所有实验均使用Adam优化器进行,学习率为0.001,权重衰减为0.01,批量大小为64。训练进行了75个周期,采用学习率逐步调整的方案,每个种子的最佳浮点检查点根据验证Macro-F1分数进行选择。从训练数据中留出15%作为验证集用于检查点选择;剩余数据用于训练。每个折叠使用四个随机种子(1、3、4、6)来量化性能变化,从而每个实验配置得到20次运行(5个折叠×4个种子)。每次训练运行都使用预定义的增强策略,结合波形扰动和SpecAugment进行时间和频谱掩蔽,具体内容在第5.5.1节中详细描述。预处理模块自动生成Mel频谱表示,应用通道选择,并对输入特征进行归一化。训练任务在CPU核心上并行执行以加速实验,每次运行的最佳检查点使用标准化命名方案保存,以便后续处理。

(2) 量化:在第二阶段,每个浮点检查点通过ai8x-synthesis框架提供的量化工具实现自动化训练后量化流程。评估了多种裁剪策略,包括MAX、AVGMAX、SCALE和STDDEV,以确定激活值和权重的适当动态范围。对于SCALE策略,探索了几个缩放系数来平衡范围压缩与数值精度。同样,对于STDDEV策略,测试了多个标准差乘数以将激活值限制在可控的方差范围内。得到的量化模型存储为与MAX78000加速器兼容的8位表示形式,流程记录每个种子的裁剪策略、量化参数和生成的检查点。评估多种裁剪策略的动机是,最佳量化范围取决于训练模型的激活值分布,这可能因种子和配置而异;系统化的枚举确保每次运行都选择最佳策略。

(3) 评估:使用确定性配置评估每个浮点和量化模型,以消除由数据排序、增强和数据集划分引起的变化。评估在用于相应浮点模型的相同保留测试集上进行,从而可以直接比较量化效果。在推理过程中,流程计算Macro-F1分数、平衡准确率、类别F1分数和AUC,并生成混淆矩阵以进行类别性能分析。还记录了中间激活值和代表性样本输入,以支持可解释性并便于硬件部署期间的验证。这些跟踪信息有助于诊断量化引起的性能下降,并确保软件推理和设备上执行之间的一致性。

(4) 总结:在所有种子的训练和评估完成后,最后阶段解析浮点和量化日志文件,提取测试集指标,并汇总各次运行的结果。计算每个指标的平均值和标准差,以表征预期性能和运行间的稳定性。汇总结果以结构化CSV文件的形式导出,以便后续分析准确性与效率的权衡以及硬件-软件协同设计决策。

自动化流程为MAX78000上的量化神经网络提供了端到端的可复制评估框架。通过确保从训练到总结的每个阶段都是确定性地执行并系统地记录,该框架支持大规模参数扫描和多种子基准测试,且所需的手动工作量最小。

4.3. 量化和测试

为了评估降低数值精度对模型性能和硬件兼容性的影响,我们研究了两种互补的8位量化策略,用于在MAX78000神经加速器上部署:训练后量化(PTQ)和量化感知训练(QAT)。这两种方法都针对权重和激活值的整数推理,以实现MAX78000 AI加速器上的高效执行。

(1) 训练后量化(PTQ):在PTQ设置中,训练后的浮点检查点在无需额外梯度更新的情况下进行量化,使用ai8x-synthesis框架提供的量化工具。评估了多种裁剪策略,包括MAX、AVGMAX、SCALE和STDDEV,每种策略都定义了校准期间使用的激活范围。PTQ在计算上高效,适用于快速硬件原型设计;然而,其性能取决于裁剪策略,特别是当激活值分布不均匀或包含异常值时。

图6总结了在八种裁剪配置下训练后量化(PTQ)后准确率变化(Accuracy = Q8 ? Float)的分布。y轴显示了相对于浮点基线的每个种子的准确率变化;所有值都是负数,证实量化一致性地降低了准确率。这种普遍的下降反映了紧凑网络对降低数值精度的基本敏感性:由于只有57k个参数且激活值集中在少数特征通道中,即使单个层中的轻微裁剪错误也会传播并影响最终的分类边界。

图6. 在八种裁剪配置(AVGMAX、MAX、SCALE_0.75、SCALE_0.85、SCALE_0.95、STDDEV_1.5、STDDEV_2.0和STDDEV_2.5)下,训练后量化(PTQ)后的准确率变化(Accuracy = Q8 ? Float)分布。所有值都是负数,证实量化一致性地降低了相对于浮点基线的准确率。每个箱形图显示了相应配置内各个种子的分布。SCALE_0.85和SCALE_0.95显示出最小的分布和最小的下降,表明在中等范围压缩下最有效地保持了模型准确率。AVGMAX和MAX显示出更宽的分布,反映出对层级激活异常值的更大敏感性。在测试的方法中,SCALE策略在缩放因子上的性能最一致,方差最小,如图6中SCALE_0.85和SCALE_0.95的窄四分位数范围所示。这种行为可以通过训练网络的激活值分布来解释:紧凑的架构产生了相对均匀的每层激活范围,0.85的缩放系数有效地裁剪了大约15%的激活范围,去除了否则会使量化网格变得不必要的粗糙的异常激活值。因此,这种受控的范围压缩保留了大多数激活的有效数值精度,这些激活值主导了分类性能。相比之下,MAX和AVGMAX根据校准期间观察到的最大或平均最大激活值来确定裁剪范围,使它们对任何单个高能量异常激活值敏感,这扩大了量化范围并降低了大多数激活的有效精度,从而在图6中显示出更大的变化性。基于STDDEV的方法在中等裁剪设置下表现出竞争力,但随着裁剪范围的过度放宽,性能变得不稳定,可能是因为过宽的裁剪降低了有效的量化精度。

图7比较了所有评估种子和裁剪设置下表现最佳的PTQ配置的浮点和量化F1分数。每个点代表来自特定种子和裁剪配置的一对(浮点、量化)数据。位于或接近虚线对角线的点表示量化性能紧密跟踪浮点基线的情况,反映了最小的量化引起的下降,而位于对角线以下的点表示量化后的性能损失。右上区域(Float F1 ≈ 0.6–0.8)中基于SCALE的配置聚类,最接近对角线,证实SCALE裁剪在量化精度和激活值保留之间取得了最有利的平衡。出现在低浮点F1值(≈0.2)处的AVGMAX和STDDEV点并不代表量化失败;相反,如图7的标题中所述,它们对应于浮点模型在训练期间本身收敛不佳的随机种子,使得这些特定的运行中的量化比较没有信息量。这种模式进一步强调了跨多个种子报告结果的重要性,而不是仅从单次训练运行中报告结果,并证实这些配置中观察到的量化性能不佳是由于训练不稳定造成的,而不是量化策略本身。这些结果证实,使用0.85系数的SCALE裁剪的PTQ在MAX78000上实现了稳定的部署性能,并且实现复杂度相对较低,因此被选为所有后续实验的量化策略。

图7. 比较了表现最佳的PTQ配置的浮点(x轴)和量化F1分数(y轴),按裁剪类型分开:SCALE(蓝色圆圈)、AVGMAX(橙色方块)和STDDEV(绿色方块)。每个点代表来自特定种子和裁剪配置的一对(浮点、量化)数据。虚线对角线表示量化性能完全匹配浮点基线的理想情况。基于SCALE的点聚集在右上区域(Float F1 ≈ 0.6–0.8),最接近对角线,证实了它们卓越的量化稳定性。在较低浮点F1值(≈0.2)处的AVGMAX和STDDEV点表示浮点模型本身表现不佳的配置,使得这些运行中的量化比较没有意义。

(2) 量化感知训练(QAT):为了进一步检查是否可以改进量化性能,我们还在MAX78000兼容的训练框架内评估了QAT。在这种方法中,量化操作符直接插入训练图中,以便在正向传递过程中模拟8位推理时优化网络,同时仍然以浮点精度计算梯度更新。结合了硬件感知机制,包括固定点缩放和学习的输出偏移,以保持与MAX78000加速器的兼容性。

在我们的实验中,QAT并没有提供比PTQ更一致的改进。在多个种子和量化设置中,得到的量化模型通常无法在分类性能或稳定性上超过最佳的PTQ配置。这一结果可能是由于相对紧凑的网络架构和在此任务中观察到的受限激活范围,这减少了QAT的潜在优势,同时在优化过程中引入了额外的量化噪声。因此,选择了PTQ作为最终的量化策略进行部署,因为它在简单性、可重复性和MAX78000平台上的性能之间提供了更有利的权衡。

5. 训练和评估工作流程

所提出模型的开发工作流程被组织为一个多阶段流程,以支持在MAX78000平台上的可复制量化、评估和部署分析。对于每个实验配置,模型在四个确定性随机种子(1、3、4、6)上进行训练,采用留一法(LOSO)交叉验证,共五折,每个配置得到20次运行。得到的浮点检查点使用基于第4节描述的PTQ分析选择的0.85缩放系数的SCALE裁剪策略进行量化。然后使用确定性测试协议在相应的保留折叠上评估每个量化模型,以实现配置间的一致比较。

由于这项工作的主要目标是设备上部署,因此最终比较中仅报告8位量化(Q8)的结果。性能使用Macro-F1分数、咳嗽和非咳嗽类别的平衡准确率以及AUC进行总结,结果跨种子汇总并报告为平均值±标准差。Macro-F1分数和平衡准确率作为主要的部署指标,因为它们考虑了类别不平衡,并且在与设备上二进制推理一致的固定决策阈值下计算。AUC作为这些指标的阈值独立补充。这种评估协议允许识别在MAX78000硬件上部署的最稳定和表现最佳的量化配置。

应当注意的是,所有结果都是基于预分割的一秒窗口的段级二分类。这种评估协议适用于评估部署模型的每个段的检测能力,但并不直接评估连续咳嗽监测性能。在连续监测场景中的部署需要额外的事件检测层,例如滑动窗口分割和起始检测策略,这超出了本可行性研究的范围,并被确定为未来工作的方向。

5.1. 基线模型配置

基线配置作为所有后续实验的参考点。在这种设置中,使用单通道Mel频谱输入,采样率为16 kHz,段持续时间为1秒,频谱分辨率为128 Mel滤波器,FFT大小为1024,跳长为118。该模型使用[1.5, 1.0]的类别权重分别对咳嗽和非咳嗽类别进行训练,在此阶段没有应用数据增强。选择这种配置作为起点,是因为它满足了MAX78000的内存限制(fc_inputs × dim2 = ),同时为骨传导咳嗽信号提供了足够的频谱和时间分辨率。实验工作流程分为三个连续的阶段,每个阶段都专注于调整流程的不同方面:数据预处理(第5.2节)、特征表示和模型架构(特征提取:频谱图、时间导数和MFCC比较),以及数据增强(第5.5.1节)。每个阶段结束时,将表现最佳的配置纳入基线,然后作为下一个阶段的起点。这种迭代改进确保每个后续阶段都建立在模型和训练流程的最有效版本之上。由于主要目标是设备上的部署,因此每个阶段的配置选择基于量化(Q8)性能,而不是浮点性能。

5.2. 数据预处理
此阶段建立了整个训练和评估过程中使用的信号预处理配置。系统地改变了三个预处理参数,以研究它们对分类性能和硬件兼容性的影响:片段持续时间(0.5–1.0秒)、采样频率(4–16 kHz)和频谱图输入分辨率。改变每个参数的理由如下:
- 片段持续时间决定了分类器可用的时间上下文;由于典型的人类咳嗽持续时间约为0.5秒,较长的窗口可以提供咳嗽前后的上下文,但会增加输入大小。
- 采样频率决定了输入的频谱带宽;V2S200D骨传导传感器在7 kHz附近表现出峰值灵敏度,根据奈奎斯特准则,需要至少14 kHz的采样率来保留这一信息丰富的频率范围。
- 输入分辨率控制了频谱细节和片上内存使用之间的权衡,更高的分辨率可以保留更细的频谱-时间结构,但会增加特征图的维度,并增加超出MAX78000内存限制的风险。最终选择的预处理配置旨在平衡预测性能与MAX78000平台的内存和部署限制。

5.2.1. 片段持续时间
在自然条件下,典型的人类咳嗽持续时间约为0.5秒。为了评估更长的输入窗口是否通过捕获咳嗽前后的上下文来提高分类效果,将片段持续时间从0.5秒变化到1.0秒。由于训练数据集包含1秒的音频样本,因此通过提取每个剪辑的中心部分而不是从高能量开始处截断来生成较短的片段。这种中心提取策略确保了所有片段长度的时间覆盖平衡,并防止模型依赖于可能无法在不同咳嗽风格和强度上泛化的能量起始线索。
表6总结了三种评估持续时间的量化(Q8)性能。1.0秒的配置在所有报告的指标上取得了最佳结果。较短持续时间的性能下降与假设一致,即1秒的窗口不仅捕获了主要的咳嗽爆发,还捕获了之前的呼吸和之后的衰减,这两者都有助于区分性的频谱-时间结构。0.5秒的窗口仅大致匹配咳嗽爆发的持续时间,显示出最大的性能下降和最高的方差,表明这种持续时间提供的上下文不足以实现稳定的量化分类。因此,所有后续实验都选择了1.0秒的片段持续时间。从部署的角度来看,这一选择确认了MAX78000必须在每个推理周期处理一整秒的骨传导音频,这一限制直接影响了第6节中描述的内存预算分配和输入流程设计。

5.2.2. 输入大小变化
为了研究频谱图分辨率对模型性能的影响,通过改变Mel频率箱的数量和时间分辨率,评估了四种输入配置:、、和。对于每种配置,FFT大小和跳跃长度按比例调整,以保持一致的时间覆盖。较低分辨率的输入减少了模型参数的数量和计算复杂性,而较高分辨率的输入在增加内存和计算要求的同时保留了更细的频谱细节。
MAX78000硬件对全连接层的维度有约束,要求扁平化输入特征的总数(fc_inputs × dim2)保持在允许的片上内存限制之内,其中dim表示卷积和池化后的特征图的最终空间维度。对于配置,这一条件得到满足()。扩大到会使得最终特征图的大小超过MAX78000的限制,因此无法部署。因此,配置仅用于参考,并未被视为可行的部署选项。

5.2.3. 采样频率分析
为了研究采样率对模型性能和计算效率的影响,输入音频在三种采样频率下进行了评估:4 kHz、8 kHz和16 kHz。对于每种配置,分析窗口固定为64毫秒,而FFT大小和跳跃长度按比例调整,如表8所示。较低的采样率降低了计算成本和内存使用,这对于资源受限的嵌入式系统是有利的。然而,激进的降采样会限制可用的频谱带宽,并可能移除有助于咳嗽区分的高频成分。

表8. 采样频率与预处理参数和量化(Q8)性能的比较。结果以种子平均±标准差的形式报告。选定的配置由灰色阴影行表示。
本研究中使用的骨传导麦克风在7 kHz附近表现出峰值灵敏度(图5)。根据奈奎斯特准则,保留这一频率范围需要至少14 kHz的采样率。因此,16 kHz的配置提供了足够的带宽来捕获骨传导咳嗽信号中最丰富的频谱内容,同时仍与MAX78000的部署限制兼容。而8 kHz和4 kHz的配置分别截断了低于和远低于这一共振的频谱内容。
如表8所示,16 kHz的配置在所有指标上实现了最佳的量化性能。配置产生了较低的分数,这与预期的在降低分辨率时丢失精细频谱和时间线索的结果一致。尽管配置的内存占用较低,但在量化后显示出更大的性能下降,这是一个违反直觉的结果,需要解释。在分辨率下,跳跃长度为236个样本,对应于每个频谱图列大约14.75毫秒的时间步长。这种分辨率足够粗糙,可以模糊咳嗽事件的短持续时间瞬态结构,同时又足够细,可以保留一些频谱细节,导致特征表示既不像那样紧凑和稳健,也不像那样详细。在8位量化下,这种中间表示特别有问题:激活值覆盖了中等宽的动态范围,但没有在更高分辨率下存在的强烈、一致的能量模式,使得在训练后量化期间更难以准确设置裁剪边界。相比之下,配置产生了高度压缩、粗糙的特征,其激活分布更加均匀,因此更适合稳定的8位量化,这解释了为什么尽管其浮点分辨率较低,但它仍然表现更好。AUC值呈现出不同的趋势,从在增加到在,再到在,因为AUC是一个与阈值无关的指标,反映了模型的整体区分能力,无论阈值依赖的敏感性-特异性平衡如何影响MacroF1和F1分数的下降。配置在区分性特征分辨率、量化稳定性和MAX7800硬件可行性之间提供了最佳平衡,因此被选为所有后续实验的配置。

5.3. 特征和模型架构
第二阶段在第一步优化的预处理配置基础上进行,重点通过特征级和架构改进来提高模型的表示能力。这一阶段研究了三个因素:频谱特征表示(Mel频谱图与MFCC);输入通道配置(一个、两个或三个通道);以及类别权重优化。
研究这些因素的理由如下:
- 频谱表示的选择决定了哪些骨传导信号的声学特性可供分类器使用。Mel频谱图保留了完整的频谱能量分布,非常适合捕捉咳嗽事件的宽带、瞬态特性,而MFCC强调感知加权的频谱形状,更加紧凑。
- 输入通道的数量决定了是否包括时间导数特征();这些导数捕捉了频谱变化的速率和加速度,有助于表征咳嗽爆发的起始和衰减。然而,多通道输入也会增加内存需求,并可能在硬件受限的平台上降低量化稳健性。
- 类别权重通过为咳嗽错误分类分配更高的损失惩罚来解决训练集中的2:1非咳嗽/咳嗽不平衡问题,这对于最大化对目标事件的敏感性很重要。
这一阶段的目标是确定最具有信息量和量化鲁棒性的输入配置,用于骨传导咳嗽检测,同时保持与MAX78000平台的内存和计算限制的兼容性。在第二阶段确定的最佳配置作为第三阶段(数据增强,第5.5.1节)的起点。

特征提取:频谱图、时间导数和MFCC比较
为了捕捉咳嗽声音的频谱和时间特征,评估了多种特征表示和通道配置,如图8所示。对于基于Mel的输入,单通道配置(1-ch)仅使用对数梅尔频谱图(log-Mel spectrogram),表示随时间变化的频谱能量分布。双通道配置(2-ch)在对数梅尔频谱图的基础上增加了其一阶时间导数(),这强调了与咳嗽发作等瞬态事件相关的短期频谱变化。三通道配置(3-ch)进一步增加了二阶时间导数(),捕获频谱变化的加速度,并提供了关于咳嗽爆发和衰减的时间演变的额外信息。其中,表示第t帧的对数梅尔能量,N是时间窗口大小(通常为1024)。这些导数捕捉了频谱能量随时间的变化速度和加速度,丰富了咳嗽时间动态的表示。同样的单通道、双通道和三通道配置也用于基于MFCC的输入。图8显示了单个咳嗽片段的波形和对数梅尔特征表示,包括对数梅尔频谱图(顶部)、一阶时间导数(中间)和二阶时间导数(底部)。对数梅尔频谱图捕捉了咳嗽事件的宽带能量爆发,而一阶时间导数突出了咳嗽的起始和结束转变,二阶时间导数捕捉了急剧的频谱加速。尽管这些导数通道丰富了浮点表示,但在8位部署限制下,它们降低了量化鲁棒性。如表9所示,基于导数的表示改善了浮点性能,特别是对于梅尔特征,其中双通道配置在梅尔变体中取得了最强的浮点域结果。然而,这种好处并没有在8位部署中体现出来。量化后,单通道梅尔表示在MacroF1、平衡准确性和AUC方面取得了最佳的整体性能。从Mel(1-ch)到Mel(3-ch),MacroF1的逐渐下降表明,额外的导数通道引入的量化敏感性超过了它们在8位限制下的表示优势。这可能是因为导数特征具有更宽的激活范围和更不均匀的分布,使得在PTQ(Quantization-Tolerance Quantization)过程中更难以准确裁剪。表9比较了不同通道配置下的量化(Q8)性能。结果以种子平均±标准差报告。选定的配置由灰色阴影行表示。在MFCC变体中,单通道配置取得了最佳结果,具有竞争力的咳嗽F1分数和最高的平衡准确性。尽管如此,Mel(1-ch)被选为最终的特征表示,因为它在MacroF1、非咳嗽区分和AUC之间提供了最佳的整体平衡,这些对于目标部署场景来说比单独的咳嗽敏感性更有信息量。

5.4. 类别加权策略
为了解决训练数据集中咳嗽样本和非咳嗽样本之间的类别不平衡问题,采用了类别加权交叉熵损失。咳嗽类别包含2000个样本,非咳嗽类别包含800个样本,比例为2:1。总损失定义为:
\[L = \sum_{i=1}^{N} (-y_i \log(p_i))\]
其中,\(p_i\) 是第i个样本属于咳嗽类别的概率。类别加权配置分别表示为:\[W_1 = 1\], \(W_2 = 2\], \(W_3 = 3\]。如表10所总结的,增加咳嗽类别的权重在MacroF1、平衡准确性和咳嗽F1分数上产生了适度但一致的改进。其中,\(W_3 = 3\) 的配置在这些指标上取得了最佳结果。与\(W_1 = 1\) 相比,MacroF1从0.7提升到0.75,咳嗽F1从0.6提升到0.7,应解释为渐进式的改进而不是实质性变化。值得注意的是,在所有三种配置下,AUC保持稳定,表明类别加权主要将决策阈值向更高的咳嗽敏感性方向移动,而没有显著改变模型的整体判别能力。因此,选择了\(W_3 = 3\) 的配置进行后续实验,因为它在咳嗽敏感性和整体量化性能之间提供了最佳平衡。AUC在所有三种配置下的稳定性对于部署来说是一个实际重要的发现:它证实了底层模型无论采用何种加权方案都具有持续的判别能力,并且\(W_3 = 3\) 的配置只是将操作点向有利于召回的方向移动,这对于健康监测应用来说是临床上更可取的,因为漏检的咳嗽事件比偶尔的误报代价更大。

5.5. 数据增强
5.5.1. SpecAugment增强
为了提高模型的泛化能力和对未见咳嗽模式的鲁棒性,在训练过程中应用了SpecAugment,通过随机屏蔽梅尔频谱图在频率和时间轴上的连续区域。探索了几种屏蔽配置:频率和时间屏蔽宽度分别为0.25、0.5和1,以及一个不屏蔽的基线配置。对于每种屏蔽宽度,评估了两种增强变体:标准SpecAugment,其中屏蔽不限制屏蔽区域;选择性SpecAugment,其中屏蔽受到限制,以保留最具信息量的骨传导频率区域。这种策略鼓励模型依赖更全局和不变的频谱-时间线索,而不是局部特征,从而有助于减轻过拟合,同时仍符合MAX78000的实时和内存限制。表11总结了按平均对数能量及其对应时间导数排名的前十个梅尔频率区间。高亮显示的区间(排名3-5)对应于大约7-8 kHz的频率范围,该范围内对数能量及其时间导数都显示出显著的活动。这个区域与骨传导传感器在7 kHz附近的共振峰重合。标准SpecAugment偶尔会屏蔽这个频谱上显著的区域,从而抑制了对咳嗽特征描述重要的判别线索。为了缓解这一点,选择性SpecAugment排除了6-8 kHz范围内的梅尔区间(大约是梅尔区间96-128)。通过保留这个高能量共振带,模型保留了与骨传导咳嗽爆发相关的关键频谱信息,同时仍然受益于时间屏蔽和低频谱屏蔽。

5.5.2. 波形增强
除了频谱图级别的增强外,还探索了波形级别的扰动,包括随机幅度缩放、时间移位和低级别高斯噪声注入,以模拟皮肤接触和传感器耦合的变化。这些扰动在种子和折叠之间的量化性能上没有提供一致的改进。因此,波形增强没有包含在最终的实验中,而是更加强调了频谱图级别的策略,这些策略在面向部署的评估中显示出更清晰和一致的好处。这一结果与骨传导传感模式的物理特性一致。与容易受到环境声学变化影响的空气传导麦克风不同,骨传导传感器机械地耦合到身体表面,因此在采集会话中表现出相对稳定的信号特性。因此,这个数据集中变异性的主要来源是频谱和时间上的,与参与者之间的咳嗽风格、强度和持续时间的差异有关,而不是低级别波形幅度或噪声。这解释了为什么直接针对频谱和时间变异性的频谱图级别增强对于这种模式来说比波形级别的扰动更有效。

5.6. 最终模型设计
最终的训练配置使用了1秒的音频片段,采样率为16 kHz,生成单通道梅尔频谱图输入、类别加权配置以及具有频率-时间屏蔽配置的选择性SpecAugment。这种组合是基于第1-3阶段的累积结果选择的,每个设计选择都是根据前面章节中描述的硬件和任务限制来激励的。如表13所总结的,最终配置在量化性能上相对于基线产生了适度但一致的改进。MacroF1从0.7提升到0.75,平衡准确性从0.6提升到0.65,咳嗽F1分数从0.6提升到0.7。非咳嗽F1分数基本保持不变(0.5 vs. 0.5),两种配置的AUC都稳定在0.7。这些改进是真实的,但幅度较小,应解释为渐进式的精细化,而不是大的性能提升;它们的实际意义在于提高了咳嗽敏感性和类别平衡,这些对于部署目标来说比总体准确性更为相关。

6. 嵌入式AI部署
本工作的最后阶段重点是在MAX78000平台上部署优化的量化模型,如图1d所示,以评估其在低功耗设备上的实际可行性。除了分类性能外,这一阶段还评估了面向部署的指标,包括推理延迟、能耗和内存使用情况,这些对于始终开启的嵌入式传感系统来说是关键的限制。这里报告的结果应该被视为在台式原型上的初步硬件可行性评估,而不是作为连续实时监测准备就绪的证据,考虑到数据集的五名参与者队列和受控的采集条件。

MAX78000是一种低功耗微控制器,集成了一个硬件CNN加速器,用于嵌入式应用中的能效高效推理。该设备结合了一个Arm Cortex-M4核心用于通用系统控制,以及一个专用CNN引擎,支持高度并行的8位神经网络执行。通过将权重和激活值存储在片上内存中,加速器减少了对外部内存访问的依赖,降低了推理功耗。这种架构使MAX78000非常适合始终开启的传感任务,如音频事件检测和可穿戴健康监测。该平台提供了标准的外设接口,包括I2S、SPI和I2C,支持与麦克风、惯性传感器和辅助嵌入式组件的集成。为了支持本研究,我们围绕MAX78000开发了一个定制的硬件原型,用于多模态呼吸传感和设备上的推理。该原型由一个四层印刷电路板组成,集成了MAX78000、一个电源管理IC(PMIC)、麦克风接口电路和SD卡接口用于数据记录。该板还包括扩展头,用于连接外部IMU,以实现多模态数据收集期间的运动和振动信号的同步采集。这种模块化设计通过易于访问的测试点和灵活的传感器接口,便于在早期阶段进行调试和迭代硬件改进。图9展示了本研究中使用的嵌入式AI硬件设置。图9显示了由骨传导传感器(V2S200D,Syntiant Corp.,美国加利福尼亚州森尼韦尔)、ESP32-S3接口以及MAX78000神经加速器平台(Analog Devices, Inc.,美国马萨诸塞州威尔明顿)组成的嵌入式AI硬件设置。ESP32-S3(Espressif Systems,中国上海)通过SPI将PDM音频流传输到MAX78000以进行实时推理。当前的实现是一个台式原型;一个微型化的可穿戴版本正在开发中。需要注意的是,当前的实现是一个台式原型,并未针对可穿戴用途进行微型化。一个紧凑版本的电路板目前正在开发中,其大小约为XX厘米,未来将集成到胸式可穿戴贴片中。因此,本节报告的结果反映了实验室条件下的设备内推理性能,不应被解释为经过验证的可穿戴系统性能。

6.2. 最终部署模型的选择和C代码生成
模型选择基于在MAX78000平台上的量化性能和硬件可行性。尽管一些更高维度的特征配置实现了更强的软件级性能,但最终部署的模型是从能够在设备内存限制内合成和执行的配置集合中选出的。最终部署配置使用单通道骨传导梅尔频谱图输入,段长为1秒,采样频率为16 kHz,输入分辨率为XX,采用类权重进行训练,并结合了选择性增强(Selective SpecAugment)和掩码配置。2通道梅尔+表示法未被采用作为最终部署,因为它在预处理和CNN输入分配过程中超出了MAX78000的可用内存预算。所选的单通道配置满足了目标平台的硬件限制,同时保持了强大的量化分类性能。

在量化评估中,部署的模型实现了MacroF1值为XX,平衡准确率为XX,咳嗽F1分数为XX,非咳嗽F1分数为XX,AUC为XX。完整的部署配置和设备内指标在表14中总结。表14列出了在MAX78000平台上最终部署的模型配置及其量化(Q8)性能。结果以跨种子的平均值±标准差的形式报告。所选的检查点使用ai8x-synthesis框架(版本20240705,提交6e7a784)合成,该框架将训练好的PyTorch(版本2.3.0)模型转换为与MAX78000软件开发套件兼容的定点C代码。合成流程生成了量化网络参数、C源文件和验证向量,用于软件推理与设备内执行之间的位精确验证。

为了进一步研究特定模态的行为,最终部署的骨传导(BC)模型与匹配的空气传导(AC)参考模型进行了比较,使用细粒度的类别预测率进行总结,如表15所示。这两种模态实现了相似的真实咳嗽检测率(BC为XX%,AC为XX%),它们的整体AUC值也相当(BC:XX;AC:XX%)。这些特定模态结果的详细解释,包括非均匀的权衡特性及其对可穿戴部署的影响,在第7.2节中提供。

7. 讨论
7.1. 与先前边缘部署的咳嗽检测系统的比较
表16专门关注针对边缘或嵌入式部署的咳嗽检测系统,并有意限于这一子集的先前工作。与基于智能手机或依赖云的系统进行更广泛的比较被省略了,因为它们的评估条件和硬件限制与本工作的部署目标有根本不同。对边缘AI咳嗽检测数据集和算法的更广泛调查,包括Orlandic等人[16]的多模态数据集和Cough-E系统[15],为将当前贡献置于更广泛的领域提供了额外的背景。

表16总结了为边缘或嵌入式部署设计的咳嗽检测系统的性能。这些系统在评估条件、传感器模态、数据集和分类协议方面存在显著差异;直接数值比较应谨慎解读。LOSO = 留一受试者法;CV = 交叉验证;AC = 空气传导;BC = 骨传导;Sens. = 灵敏度/召回率;Prec. = 精确度;Acc. = 准确率。表16中的系统在评估条件、传感器模态、数据集和分类协议方面存在显著差异,这限制了直接数值比较的可行性。Albini等人[15]在基于事件的交叉验证协议下报告了灵敏度和精确度,使用不同的类别定义和数据集,而Wang等人[11]使用随机受试者内部分割训练/测试,Zhang等人[31]使用留一会话法并在耳塞安装的传感器上进行检测,这些都与此处使用的LOSO交叉验证不同。这些评估协议、传感器模态和硬件目标的差异意味着表16中的数值性能指标不能直接比较,应相应地进行解释。

BCough在MAX78000上全硬件部署时,实现了咳嗽F1分数为XX%,AUC为XX%,延迟为15-16毫秒,每次推理的能量消耗约为20焦耳。值得注意的是,表16中列出的系统在评估条件、传感器模态、数据集和分类协议方面存在显著差异,这限制了直接数值比较。如表16的评估协议列所详述,Albini等人[15]使用不同的类别定义和数据集进行了基于事件的交叉验证,而Wang等人[11]使用随机受试者内部分割,Zhang等人[31]使用留一会话法并在耳塞安装的传感器上进行检测,这些都不同于此处使用的LOSO交叉验证。这些差异意味着表16中的数值性能指标不能直接比较。

BCough的咳嗽F1分数低于某些先前系统,原因有几个。首先,模型被明确限制在大约57k参数和少于350k MAC操作,以满足MAX78000的Flash和SRAM限制,这本质上限制了相对于在智能手机或云服务器上部署的模型的表示能力。其次,使用五名参与者的LOSO交叉验证产生的方差较大,通常比一些先前工作中使用的受试者内部分割或随机分割评估的总体性能要低。第三,骨传导传感在2-6 kHz频段牺牲了频谱信息,以换取噪声鲁棒性和隐私保护,这减少了分类器可用的判别特征,与全带宽空气传导记录相比。这些权衡是按设计进行的,反映了本工作的部署目标,而不是方法的缺陷。BCough代表了基于骨传导的咳嗽检测的端到端演示,满足了微控制器级CNN加速器的Flash和SRAM限制,架起了保护隐私的BC传感与超低功耗嵌入式AI推理之间的桥梁。

还应注意的是,本研究中没有评估仅使用IMU和BC-IMU多模态基线。尽管所有参与者都收集了同步的IMU数据和骨传导音频(第2节),但本研究的主要目标是确定骨传导音频作为MAX78000上嵌入式咳嗽检测的单一传感模态的可行性。在引入额外模态之前,有必要在硬件部署限制下表征仅音频的性能基线。每种额外的传感模态都会引入预处理、同步和内存开销,必须在MAX7800硬件限制下进行验证,如2通道梅尔+音频配置所示,该配置在预处理和CNN输入分配期间就已经超过了可用内存预算(第6.2节)。将其扩展到IMU融合不仅需要验证组合后的内存占用,还需要在实时推理条件下表征骨传导音频管线与100 Hz IMU流之间的同步延迟,这两者在当前的硬件原型上尚未得到验证。因此,在相同的LOSO协议和部署限制下评估仅IMU和BC-IMU融合基线是必要的,并且是下一步需要追求的工作,这与第8节中描述的计划中的参与者群体扩展和硬件微型化相一致。

7.2. BC与AC模态的权衡
表17展示了在相同条件下训练和评估的最终部署的BC模型与匹配的AC参考模型的总体量化性能。在总体水平上,两种模态在所有报告的指标上表现相似。MacroF1(XX% vs. XX%),平衡准确率(XX% vs. XX%),以及两个类别的F1分数几乎相同,AUC值仅相差一个百分点(AC为XX% vs. BC为XX%)。这些总体结果本身表明这两种模态在很大程度上是可以互换的。然而,表15中的类别预测率揭示了一个非均匀的权衡特性,这比总体指标更有信息量。BC模型显著减少了语音(XX% vs. XX%)和摩擦(XX%)的误检。这种减少反映了BC传感器与身体表面的机械耦合,减少了会污染空气传导记录的外部声学干扰。同时,BC对真实咳嗽事件的召回率(XX%)略高于AC(XX%),表明BC漏掉了更少的实际咳嗽事件。这种结合减少了来自语音和摩擦的误报以及漏掉的咳嗽事件,代表了BC传感在可穿戴部署中的主要实际优势,在这种应用中,旁观者的语音、衣物摩擦和表面接触伪像是空气传导麦克风的常见故障模式。

此外,部署的BC模型实现了XX%的咳嗽召回率,超过了其XX%的咳嗽精确度,表明该模型在咳嗽类别上更倾向于灵敏度而非特异性。对于健康监测应用来说,这种操作点更为理想,因为漏掉的咳嗽比偶尔的误报代价更高。相反,BC模型在生理上相似的内部事件(如清嗓子和打喷嚏)的混淆率更高。清嗓子的咳嗽预测率从AC的XX%增加到BC的XX%,而打喷嚏的咳嗽预测率从XX%增加到XX%。这种模式的出现是因为清嗓子和打喷嚏产生的身体传导振动在频谱和时间上与咳嗽瞬态相似,使得单独通过BC传感难以区分。其根本机制是颈部和胸部的共享生物力学振动路径:这两种事件都通过相同的组织路径产生短持续时间、高能量的压力瞬态,与咳嗽耦合到胸骨。因此,结果中的BC频谱图在段级别难以与真实咳嗽事件区分开来。值得注意的是,BC对咳嗽类别的精确度(XX%)低于AC(XX%),主要是由于这种与内部呼吸事件的混淆增加所致。

回到模态比较,BC和AC展示了互补的错误特性,这共同激发了未来多模态整合的方向。BC对外部耦合的干扰(如旁观者语音和衣物摩擦)更为鲁棒,而AC在区分内部产生的类似咳嗽的事件(如清嗓子 and 打喷嚏)方面表现更好。这种互补行为强烈推动了BC和AC信号的多模态融合作为未来工作的方向,因为结合这两种模态可以同时解决各自的局限性。我们小组之前的工作已经证明了音频-IMU融合在强大咳嗽检测中的有效性[23,25],为将来将这种方法扩展到BC-AC-IMU多模态系统奠定了基础。

8. 结论和未来工作
本文介绍了BCough,一个基于骨传导的嵌入式AI平台,用于设备上的咳嗽检测,它在统一的边缘AI管道中集成了传感、模型开发、量化和硬件部署。通过利用骨传导传感的隐私保护和身体耦合特性,所提出的方法减少了对环境干扰和旁观者语音的敏感性,而不依赖于传统的空气传导麦克风。进行了系统的实验研究,以优化整个部署管道,包括预处理设计、特征表示、类别权重和增强策略。优化后的配置使用了1秒的段长、16 kHz的采样频率、单通道梅尔频谱图输入、类别权重以及选择性增强和掩码配置。在量化评估中,最终模型实现了MacroF1值为XX%,平衡准确率为XX%,咳嗽精确度为XX%,咳嗽召回率为XX%,咳嗽F1分数为XX%,非咳嗽F1分数为XX%,AUC为XX%。这些结果表明,仔细的预处理、特征选择和训练策略的协同设计对于强大的嵌入式部署至关重要。

最终模型成功部署在MAX78000神经加速器上,实现了实时推理,延迟为15-16毫秒,每次推理的芯片能耗约为20焦耳。为了支持这项研究,开发了一个定制的四层硬件原型,该原型集成了MAX78000微控制器、电源管理电路、骨传导传感接口、音频编解码器、惯性测量单元(IMU)连接功能以及SD卡数据记录功能。初步的五名参与者研究结果证实了利用骨传导传感技术和微控制器级别的神经加速器实现低功耗、保护隐私的咳嗽检测的可行性。有两个重要发现值得强调:最佳的浮点运算配置并不一定是最佳的部署配置;最终的嵌入式模型需要根据量化性能和硬件兼容性来共同确定。此外,骨传导(BC)和交流(AC)两种检测方式在误差特性上具有互补性——骨传导方式对外部干扰更为敏感,而交流方式则更擅长区分由人体内部产生的类似咳嗽的信号,这提示未来工作应优先考虑多模态融合技术。需要指出的是,所有评估都是在受控采集条件下,针对预分割的一秒时间窗口内进行的,并且参与者的数量为五名。将此平台扩展到连续监测、不同用户群体以及真实世界环境仍然是未来的研究方向。

未来的工作将从多个方面进一步发展这个平台:首先,将研究骨传导信号与惯性测量单元数据的融合,以提高对类似咳嗽的干扰信号(如清嗓子和打喷嚏)的检测鲁棒性;这一方向受到我们团队先前研究的启发,该研究表明惯性传感在可穿戴咳嗽检测中具有互补作用[23,25]。其次,将探索更复杂的时间建模和事件计数策略,以实现连续咳嗽监测而不仅仅是分段检测。最后,目前正在开发一种微型电池供电的胸贴装置,该装置集成了传感技术、嵌入式人工智能以及无线通信功能,旨在实现真实环境下的长期可穿戴呼吸监测。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号