《SoftwareX》:RespAnno: A graphical software tool for manual and machine-assisted annotation of continuous respiratory sounds
编辑推荐:
RespAnno是一种用于呼吸声时间对齐人工与机器辅助注释的图形化软件工具。该工具整合了同步波形图与语谱图可视化、可编辑的机器生成候选区间、基于模型的特异性审查进度,以及将已审查注释迭代用于后续模型更新与候选生成的功能。研究人员在2506条呼吸声录音上对机器辅
RespAnno是一种用于呼吸声时间对齐人工与机器辅助注释的图形化软件工具。该工具整合了同步波形图与语谱图可视化、可编辑的机器生成候选区间、基于模型的特异性审查进度,以及将已审查注释迭代用于后续模型更新与候选生成的功能。研究人员在2506条呼吸声录音上对机器辅助工作流的吸气相(Inspiration)候选生成性能进行了定量评估。最终配置取得了0.8274的精确率(Precision)、0.8089的召回率(Recall)、0.8181的事件F1分数(Event F1)以及59.7%的严格完全匹配率(Strict-perfect rate)。
**论文解读:RespAnno——面向连续呼吸声人工与机器辅助注释的图形化软件工具**
**1. 研究背景与动机**
呼吸声是表征呼吸活动及异常声学事件的重要声学信号。吸气相(Inspiration)与呼气相(Expiration)构成了呼吸 Cycle 的基本时间结构,而喘息(Wheeze)、鼾音(Rhonchi)、喘鸣(Stridor)、爆裂音(Crackles)及胸膜摩擦音(Pleural rub)等附加音则可能出现在呼吸 Cycle 的不同位置。对于呼吸相位分析与事件检测任务而言,仅凭录音级别的标注无法描述事件发生的具体时间位置,因此具有明确起止时间的时间对齐区间注释(Time-aligned interval annotations)对于数据集构建、模型开发与评估至关重要。
目前已有多个公开的呼吸声数据库(如ICBHI、HF_Lung和SPRSound)可供呼吸声分析算法的开发与评估使用。然而,不同数据集在录音方案、参考标准和标注流程方面存在显著差异,这一变异性已被确认为重要的方法论问题。构建此类数据库需要对呼吸 Cycle、相位及附加音事件进行精细标注,这一过程需要大量的人工投入。标注人员通常需要结合音频回放、波形检查与时频信息来定位呼吸相位和其他事件,而不同事件类型可能相互重叠,且在持续时间和声学表现上差异显著。随着录音数量或时长的增加,这种反复的定位和边界调整工作变得愈加繁重。
虽然包括Audacity、Praat、ELAN和Label Studio在内的多种通用音频或多媒体标注工具提供了音频可视化、时间对齐区间标注和标签管理等功能组合,亦有面向呼吸声及其他生物医学信号的领域专用标注工具被开发出来,但这些工具仅支持人工呼吸声标注所需的基本操作。考虑到现有呼吸声数据规模有限且录音差异显著,一种人在回路(Human-in-the-loop)的机器辅助标注方法——即由系统生成候选区间再由用户审查和修正——更适合当前的数据条件。在这种机器辅助模式下,模型输出以可编辑候选的形式呈现给用户,用户可接受、编辑或拒绝这些候选项。随后,已审查的信息可用于后续模型更新,并在剩余未审查区域生成新的候选。随着人工审查的推进,来自当前录音的新审查信息被纳入后续候选生成轮次,形成迭代式的机器辅助标注工作流。
为满足上述需求,研究人员开发了RespAnno——一种用于呼吸声时间对齐标注和数据集构建的图形化软件工具。
**2. 软件架构与核心功能**
RespAnno结合了基于PyQt5的图形界面与可复用的后端模块。界面层支持音频导航与播放、同步信号可视化、区间编辑、候选审查和文件操作,而后端则负责音频处理、注释管理、机器辅助候选生成、呼吸相位时间处理和注释导入/导出。核心处理功能与界面分离,便于测试和复用。软件接受WAV格式录音和可选的已有注释。呼吸相位、附加音、其他事件及机器生成候选均表示在统一时间轴上,每条注释存储其标签、时间边界、来源和审查状态。
软件的主要功能包括:音频加载、播放和时间导航,并在共同时间轴上提供同步的波形图和短时傅里叶变换(STFT)语谱图视图;使用吸气相、呼气相、喘息(Wheeze)、爆裂音(Crackles)、胸膜摩擦音(Pleural rub)、鼾音(Rhonchi)、喘鸣(Stridor)、语音(Speech)和咳嗽(Cough)等呼吸声标签创建和编辑时间对齐的区间注释;支持从异构来源导入注释的标签映射;注释可从CSV、TXT和JSON文件导入导出,同时保留时间边界、标签类别、来源和审查状态。机器生成的候选区间与现有注释一同显示,用户可接受、编辑或拒绝;在审查之前,它们与已确认的注释保持可区分状态。
**3. 关键技术方法**
本研究涉及的关键技术方法包括:(1)**特征提取**:每条录音经重采样和带限滤波后分帧,每帧提取56维特征向量,包含7维时域特征、30维频域特征和19维COR特征(描述频谱相关结构);(2)**模型训练与预测**:使用LightGBM进行帧级二分类预测,每个录音独立使用其审查前缀(前两个完整呼吸Cycle)中的样本从头训练新模型,并通过StandardScaler标准化和基于互信息的特征选择(最多保留25个特征)进行预处理;(3)**时间解码**:对吸气相和呼气相使用隐半马尔可夫模型(HSMM)进行解码,将碎片化的帧级预测组织成时间上连贯的相位候选区间;(4)**候选细化**:在HSMM解码后应用M1–M4四个候选细化模块,分别处理短预测、审查边界附近效应、扩展派生硬负反馈和负样本质量控制,随后通过动态时间规整(DTW)对过长候选进行局部细化。定量评估使用了HF_Lung数据库的2506条录音,每条录音的前两个完整呼吸Cycle作为审查前缀(已审查区域),其余部分作为未审查评估区域(未审查区域)。
**4. 研究结果**
**4.1 功能验证**
软件功能验证确认了信号可视化与处理、手动注释与编辑、注释导入/导出、注释状态管理、多标签审查区域机制以及机器辅助候选生成的各项功能均通过测试。
**4.2 特征消融实验**
在相同实验方案下对时域、频域和COR特征分别及组合评估。完整的56维特征(时域+频域+COR)组合取得了最优性能,事件F1为0.8198、帧F1为0.7745、严格完全匹配率为59.5%。单一特征组中,频域特征表现相对较强,时域和COR特征在与其他特征组组合时产生额外增益。
**4.3 候选细化消融与整体性能**
以保留HSMM解码但禁用M1–M4和DTW的基线配置为对照,逐步启用各细化模块。基线配置的精确率为0.7125、召回率为0.8146、事件F1为0.7601、严格完全匹配率为43.8%。完整的M1–M4+DTW流水线将事件F1从0.7601提升至0.8181,严格完全匹配率从43.8%提升至59.7%,而召回率保持相似(0.8146对0.8089)。最终配置的精确率为0.8274、召回率为0.8089、事件F1为0.8181,严格完全匹配率为59.7%。这些细化主要提高了事件F1和严格完全匹配率,表明候选精确率得到提升且未显著损失事件覆盖率。
**4.4 长录音标注示例**
使用实验人员采集的两条较长呼吸声录音来展示半自动工作流在连续录音上的应用。标注从初始审查区域开始,通过重复的候选生成和人工审查逐步推进,代表性结果(包括机器生成候选和审查区域的推进过程)在附录中展示。
**5. 讨论与结论**
**5.1 功能定位讨论**
与现有标注工具相比,RespAnno在保留基本手动标注功能的基础上,将机器生成候选、人工审查以及审查信息的持续使用整合到同一呼吸声标注工作流中。对Audacity、Praat、ELAN、Label Studio和SLAM的比较表明,RespAnno是其中唯一集成了完整机器辅助标注工作流(包括候选生成、人工审查、审查信息用于模型更新及后续候选生成)的工具。
**5.2 机器辅助候选生成讨论**
帧级呼吸相位预测可能呈现碎片化特征,无法直接提供完整的注释区间。HSMM-based时间解码作为第一个时间组织步骤,将局部预测转换为连贯的呼吸相位候选;后续的M1–M4和DTW流程进一步提升了候选质量。特征消融实验也表明三个特征组具有互补性:时域特征描述幅度和波形变化,频域特征表征频率成分和能量分布,COR特征捕获频谱相关结构。
**5.3 局限性与未来工作**
定量评估依赖于HF_Lung数据库提供的呼吸相位参考注释,2506条录音未进行独立完整重新标注。在资格标准之后未应用基于声音清晰度的额外主观过滤,因此具有弱信号、噪声或模糊相位边界的录音仍保留在评估集中。虽然RespAnno支持多种呼吸声事件,但当前定量评估聚焦于吸气相,因为可用附加音事件过于稀疏且分布不均,无法进行稳定的逐类评估。审查前缀至未审查区域的实验方案也不同于传统的跨录音训练/测试评估,因此不旨在与此类方法进行直接数值排名。本研究未量化注释时间减少或其他工作负荷指标。未来评估可扩展到更大的长时录音数据集、更多呼吸声事件类别,并纳入注释时间和候选接受/编辑率等系统性度量。
**5.4 研究结论**
RespAnno为呼吸声的时间对齐人工与机器辅助注释提供了统一的软件环境。其工作流将同步可视化和区间注释与可编辑的机器生成候选、模型特异性审查进度以及迭代式模型更新相结合。在2506条录音上的定量评估验证了所实现工作流在吸气相候选定位方面的实用性,最终配置取得了0.8274的精确率、0.8089的召回率、0.8181的事件F1分数和59.7%的严格完全匹配率。加之对多种呼吸声事件的支持和结构化的注释管理,RespAnno为呼吸声数据集构建和后续算法开发提供了实用的框架。