综述:基于梅尔频率特性的声学事件检测与分类方法:系统综述与研究路线图

《Experimental Parasitology》:Mel-based Feature Extraction for Acoustic Event Detection and Classification: A Systematic Review and Research Roadmap

【字体: 大 中 小 】 时间:2026年05月09日 来源:Experimental Parasitology 1.6

编辑推荐:

  瓦希德·哈吉哈谢米(Vahid Hajihashemi)|阿卜杜勒雷扎·阿拉维·加拉巴格(Abdorreza Alavi Gharahbagh)|何塞·J.M. 马查多(José J.M. Machado)|若昂·曼努埃尔·R.S. 塔瓦雷斯(Jo?o Manuel R.S. T

  瓦希德·哈吉哈谢米(Vahid Hajihashemi)|阿卜杜勒雷扎·阿拉维·加拉巴格(Abdorreza Alavi Gharahbagh)|何塞·J.M. 马查多(José J.M. Machado)|若昂·曼努埃尔·R.S. 塔瓦雷斯(Jo?o Manuel R.S. Tavares)
波尔图大学工程学院,罗伯托·弗里亚斯博士街(Rua Dr. Roberto Frias),葡萄牙波尔图4200-465

**摘要**
声学事件检测与分类(AEDC)系统是广泛应用于现代基于音频的监控和决策支持系统中的人工智能技术。这些系统可以独立运行,也可以作为智能决策框架和专家系统中的感知模块。AEDC已应用于多个领域,包括安全监控、医疗诊断、环境监测和工业维护。尽管基于梅尔频率(Mel-based)的特征在传统机器学习和深度学习AEDC方法中得到了广泛使用,但尚未有全面的综述系统地分析其使用模式和参数配置。本系统综述研究了2020年至2025年间发表的373篇采用基于梅尔频率特征提取方法的AEDC研究。本文分析了五种主要的特征类型:对数梅尔频谱图(Log Mel Spectrogram,237项研究)、梅尔频谱图(Mel Spectrogram,61项研究)、对数梅尔频段能量(Log Mel Band Energies,34项研究)、梅尔频率倒谱系数(Mel-Frequency Cepstral Coefficients,36项研究)以及梅尔频段能量(Mel Band Energies,5项研究)。通过评估四个关键的梅尔相关参数——梅尔滤波器数量、帧长度、重叠百分比和窗口类型——来识别主导配置、特征特定模式和时间趋势。系统地梳理了各研究中的分类架构,以分析特征选择与模型设计之间的关系。研究结果表明,不同特征类型和应用场景下的参数选择存在显著差异,并且存在与深度学习框架一致的主导趋势。此外,该综述还指出了方法论上的空白,并提出了改进基于梅尔频率的AEDC系统设计、报告和优化的研究方向。

**关键缩写列表**
| 缩写 | 定义 |
|------|------|
| AED | 声学/音频事件检测(Acoustic/Audio Event Detection) |
| AEDC | 声学/音频事件检测与分类(Acoustic/Audio Event Detection and Classification) |
| CNN | 卷积神经网络(Convolutional Neural Network) |
| Conformer | 卷积增强变换器(Convolution-Augmented Transformer) |
| CRNN | 卷积循环神经网络(Convolutional Recurrent Neural Network) |
| DNN | 深度神经网络(Deep Neural Network) |
| EINV2 | 事件独立网络V2(Event-Independent Network V2) |
| FCN | 全卷积网络(Fully Convolutional Network) |
| FDY | 频率动态卷积(Frequency Dynamic Convolution) |
| GMM | 高斯混合模型(Gaussian Mixture Model) |
| GRU | 阻滞循环单元(Gated Recurrent Unit) |
| HMM | 隐马尔可夫模型(Hidden Markov Model) |
| JSD | 詹森-香农散度(Jensen Shannon Divergence) |
| LMS | 对数梅尔频谱图(Log Mel Spectrogram) |
| LMBE | 梅尔频段能量(Log Mel Band Energies) |
| LSTM | 长短期记忆(Long Short-Term Memory) |
| MFCC | 梅尔频率倒谱系数(Mel-Frequency Cepstral Coefficients) |
| MIL | 多实例学习(Multiple Instance Learning) |
| OP | 重叠百分比(Overlap Percentage) |
| RNN | 循环神经网络(Recurrent Neural Network) |
| SEDS | 声音事件检测(Sound Event Detection) |
| SVM | 支持向量机(Support Vector Machine) |

**1. 引言**
声学/音频事件检测与分类(AEDC)已成为信号处理研究中的一个活跃领域。该领域的应用正在迅速扩展,因为检测声学事件无论单独使用还是与基于视频的系统结合使用都非常有效。AEDC系统通过声音分析来理解其环境。它们的应用范围从安全系统到智能家居和医疗系统都非常广泛。声音和音频信号提供了大量的环境信息。AEDC系统越来越多地作为更大智能系统中的传感组件发挥作用。现代专家系统架构利用AEDC进行情况评估、异常检测和跨领域的情境感知决策。结合视觉处理,声音和音频能够提供更全面的情况理解。以下内容阐明了声音、音频和声学信号之间的区别:
- **声音**指的是通过介质(空气、水、固体)传播的机械波,包括:
- 人类可听范围(20 Hz至20 kHz);
- 次声(低于20 Hz):地震振动、鲸鱼交流;
- 超声波(高于20 kHz):医学成像、蝙蝠回声定位;
- **声学信号**涉及声音属性、行为以及在特定环境(空气、水)中的研究。声学是一个专门领域,涵盖:
- 建筑声学:房间和建筑物的声音行为;
- 水下声学:声纳应用;
- 空气声学:气流产生的声音;
- 生物声学:动物的声音产生和感知。
- **音频信号**是麦克风捕获并传输给收音机、电视和手机等设备的信号,这些设备对其进行编码、传输和解码。
- 总之,音频信号代表了声音的可广播形式,是物理世界和数字世界之间的桥梁。
音频信号覆盖了最广泛的范围,从微观的、无法检测的振动到地震事件中穿过地球的巨大低频波。在本研究中,“声音信号”一词等同于上述所有三类。与视频相比,音频信号具有多个实际优势:设置成本更低,更能适应不同的环境条件,并且能够捕捉到相机视野之外的事件。使用麦克风可以完全覆盖空间;声音对天气条件和光照的敏感度低于视频系统。与视频不同,物理障碍物无法消除或阻挡声音信号。许多事件(如枪声或尖叫)通过声音可以更准确、更高效地被理解。声音数据的方法比视频数据的方法简单。相比之下,视频覆盖的事件范围更广,包含的信息也更多。

图1展示了基于梅尔频率的AEDC系统的概述,包括不同步骤的详细信息。AEDC分为两类:帧级方法和段级方法。在帧级,声音以非常高的时间精度进行分析,通常每20毫秒(ms)分析一次。这种分析提供了高度准确的、特定时间的预测,使帧级AEDC适用于检测短期和长期事件。由于帧长度较短,这类方法对背景噪声更敏感。段级方法将声音分割成较长的帧(例如几秒钟),并检查整个帧中的事件发生情况。这种方法在确定精确事件时间方面准确性较低,但在抗噪声方面更强,计算负担也较轻。帧级检测适用于需要精确时间的任务,而段级方法则更适合分类时间跨度较长的事件。AEDC的一些应用包括:
- **环境监测系统**:配备传感器和AEDC算法的系统,用于监测和分析自然栖息地中野生动物和各种物种的声音(Nolasco, Singh, Morfi, Lostanlen, Strandburg-Peshkin, Vida?a-Vila, Gill, Pamu?a, Whitehead, Kiskin等,2023;Juodakis, Marsland, 2022)。
- **城市监测系统**:在城市地区或智慧城市中,使用AEDC的目的是提高安全性、检测异常(Harimi等,2022)和评估噪声水平(Hajihashemi, Gharahbagh, Cruz, Ferreira, Machado, Tavares, 2022;Shanmukha, Deepak, 2024)。
- **工业环境监测系统**:监测工业环境中的各种事件、工人状况、噪声水平评估,甚至劳动力管理(Akbal?k, Y?ld?z, Ertu?rul, Zan, 2024;Boztas, Tuncer, Aydogmus, Yildirim, 2024;Wi?brock, Ren, Pelkmann, 2024)。
- **交通系统**:监测交通异常和快速检测事故(Podda, Balia, Pompianu, Carta, Fenu, Saia, 2024;Jiang, Guo, Wang, Zhang, Dong, Qiu, Zou, 2024)。
- **车辆安全和驾驶辅助系统**:与视频系统和传感器结合使用,旨在提高驾驶安全性并协助驾驶员(Castorena, Cobos, Lopez-Ballester, & Ferri, 2024)。
- **医疗监测系统**:监测与健康相关的声音,如咳嗽、打鼾、呼吸模式,用于远程医疗、睡眠分析、监测患有呼吸系统疾病的患者或检测危险信号。这些系统也应用于医院环境(Baronetto, Fischer, Neurath, Amft, 2025;Fernando, Sridharan, Denman, Ghaemmaghami, Fookes, 2022)。
- **安全和监控系统**:用于检测和分类与安全威胁或不寻常事件相关的声音,如玻璃破碎、枪声或汽车警报,并分析监控摄像头录像以实现高级安全监控(Ciaburro, 2025)。
- **智能家居自动化**:将AEDC功能集成到智能家居系统中,实现任务自动化,例如在房屋内任何地方发生声学事件时提醒房主(Krstulovi?, 2017)。
- **工业设备监测和预测性维护**:嵌入工业设备中的系统,通过分析声音来监测机械和设备,检测异常、预测故障、安排维护并优化性能,以减少故障并提高运营效率(Tagawa, Maskeliūnas, Dama?evi?ius, 2021;Ueda, Tanaka, Tanaka, 2024)。
- **娱乐和游戏**:将AEDC算法集成到游戏和娱乐系统中,创造更沉浸式和响应迅速的体验(Park, Cho, Sim, Lee, & Choo, 2022)。

**图1. 基于梅尔频率的AEDC系统概述。**
**图2. 本综述的PRISMA流程图。**系统搜索在四个主要学术数据库中进行:IEEE Xplore、Springer、Elsevier(ScienceDirect)和MDPI。初步搜索针对包含“Acoustic”、“Sound”或“Audio”以及“Event”和“Detection”或“Classification”的文章标题,返回了2163条记录。去除136条重复记录和42篇非英文出版物后,剩下1985条记录。时间窗口过滤器将结果限制在2019年后发表的研究中,减少到1325条记录。第二步包括搜索这些记录的关键词、摘要和全文,以确认仅保留使用基于梅尔频率特征的研究,剩下1229篇研究。随后进行了两轮定性筛选:清晰度评估检查每项研究是否报告了足够的方法学细节以提取感兴趣的梅尔参数,减少到826篇;质量评估评估实验设计和结果报告的严谨性,剩下517篇研究。最终全面评估选择了符合所有纳入标准的373篇研究进行本文分析。尽管AEDC取得了进展并进行了大量研究,但由于应用数量众多以及对基于人工智能系统的期望不断提高,仍存在许多挑战。

**图2. 文章选择过程的PRISMA流程图。**

当多个声学事件同时发生、环境嘈杂、信噪比较低或在短时间内需要快速响应时,AEDC领域仍存在严重问题。在预处理、特征提取和分类算法这三个领域中,本综述重点关注特征提取。AEDC中使用了多种特征,其中最常用的是基于梅尔频率的特征,如LMS、MS、MFCC和LMBE。本综述探讨了AEDC系统中基于梅尔频率的特征提取的方法学趋势,而不是性能基准测试。由于研究人员使用不同的评估数据集(UrbanSound8K、DCASE挑战赛、AudioSet、特定领域的数据集)、处理不同的问题复杂性(二分类与50多个类别的分类),并在不同的噪声条件下操作,因此无法直接定量比较各研究的准确性或F1分数。本综述确定了不同声学事件类型广泛使用的配置,指导基于事件特征和应用约束的参数选择。一些基于深度学习的方法或预训练模型(如VGGish)也使用基于梅尔频率的特征从原始声音信号中提取特征。在AEDC研究中还考虑了Gammatone滤波器组、听觉频谱图、小波变换、统计特征、零交叉率、能量分布、音高相关信息和谐波/音色特征等方法。2020年至2025年间在该领域发表的综述文章列在表A.4中。基于梅尔频率的特征提取仅作为一个小节提及,且仅作解释性说明。在其他综述中,基于梅尔频率的特征仅作为标准特征提及,没有对AEDC领域中应用的检测和分类方法进行分类。所有综述都提到基于梅尔频率的特征是AEDC系统中最重要的特征提取方法之一。然而,没有一篇综述特别关注基于梅尔频率的特征提取方法作为主导方法。

本综述相对于以往工作的优势在于它专门关注在大量研究中提取和比较梅尔参数,从而能够识别在更广泛的综述中无法看到的模式和趋势。这里使用的分析框架结合了统计参数分析和通过JSD进行的时间趋势测量以及特定领域的讨论,提供了梅尔特征在实践中实际使用的更完整图景。这种方法的局限性在于它侧重于参数选择的方法学趋势,而不是直接的性能比较。由于不同研究使用不同的数据集、类别计数和噪声条件,跨研究比较报告的准确性或F1分数不会产生有意义的结论。本综述仅涵盖了基于梅尔频率的特征,没有研究其他特征提取方法(如Gammatone滤波器组或小波变换),这需要单独分析。图3显示了2020年至2025年使用基于梅尔频率特征的AEDC研究数量。近年来研究数量的增加表明了基于梅尔频率的特征在AEDC研究中的重要性。根据图3,2022年的研究数量最多。此后,研究数量有所下降,可能是由于出现了直接使用声音信号的基于深度学习的模型。

**图3. 2020年至2025年基于梅尔频率的AEDC研究数量。**

本综述的主要贡献如下:首先,它是第一篇专门针对AEDC中基于梅尔频率的特征提取的系统性综述,涵盖了2020年至2025年的373项研究,涉及五种特征类型。其次,它从每项研究中提取并分析了四个关键的梅尔参数(NF、帧长度、OP和窗口类型),揭示了不同特征之间的参数选择模式差异。第三,它使用Jensen-Shannon散度量化了参数选择的时间趋势,展示了该领域随时间的发展变化。第四,它提供了分析性解释,说明为什么某些参数范围适合特定的声学条件,超越了描述性统计,解释了观察到的模式背后的信号处理原理。第五,它为研究人员根据目标应用领域和声学环境选择梅尔参数提供了实用指导。表A.4显示,之前的AEDC综述仅简要提到了梅尔特征,没有一项综述提供如此深入的分析,专门讨论直接影响系统性能的参数。本综述分为四个主要部分。第2节涵盖了梅尔刻度理论以及所研究的五个特征:LMS、MS、LMBE、MBE和MFCC。解释了关键参数,包括NF、帧长度、OP和窗口类型。第3节分析了2020年至2025年的373项AEDC研究,按特征类型进行分类。每个特征都进行了单独分析,并提供了显示参数选择时间趋势的图表,而列出各个研究及其参数的详细表格则位于附录B中。第4节讨论了观察到的参数模式背后的分析性原因,包括不同应用领域如何影响参数选择(第4.3.7节)。第4节通过三种互补的方法来检验研究结果:所有特征的整体参数比较、使用Jensen-Shannon散度进行的时间模式分析,以及详细解释为什么特定参数适合不同的声学条件。该节还指出了当前研究的局限性和未来方向。第5节总结了关键贡献,并为AEDC系统的开发提供了实用指导。

2. 梅尔基础
本节介绍了梅尔刻度的理论基础,并描述了AEDC系统中使用的完整特征提取过程。本综述分析的关键参数(NF、帧长度、OP和窗口类型)在此进行了介绍,并提供了一个三阶段算法框架,展示了如何将原始音频信号转换为基于梅尔的特征。梅尔刻度表示人们如何感知不同的音高。它是基于这样一个观点:听众可以判断声音在音高感知上是否等间距分布。在声学中,音高是指让人们能够按频率从低到高排序的声音的感知质量;因此,这也是人类大脑处理不同音调时的方式。

2.1. 梅尔理论
从Hz刻度转换为梅尔刻度的公式为:
(1)m = 1127 * ln(1 + f700),其中f表示Hz频率,m表示梅尔刻度上的对应值。从梅尔刻度转换回Hz的逆变换公式为:
(2)f = 700 * (e^(m/1127) - 1),其中m是梅尔值,f变为Hz频率。
图4展示了标准基于梅尔的特征提取过程的流程。第一步是使用适当的窗口函数将声音信号分割成较短的帧。适当的窗口处理可以减轻频域中的不良效应,如失真和频谱泄漏。

图4. 传统基于梅尔的特征提取过程的流程图。
帧长度影响所有梅尔输出。输入信号与窗口类型逐点相乘。在AEDC系统中,用于提取基于梅尔的特征的两种常见窗口类型是汉明窗和汉宁窗。其他类型(如布莱克曼窗)非常罕见。汉明窗是最常用的窗口函数之一,因为它在减少旁瓣水平和相对平坦的主瓣响应之间提供了良好的平衡。其离散时间形式为:
(3)w[n] = 0.54 - 0.46 * cos(2πn/N - 1),其中n表示窗口中的每个样本索引(范围从0到N-1),N是窗口中的样本总数,w[n]是窗口函数。汉宁窗的工作原理与汉明窗类似,但过渡更加平滑。当声学事件需要更尖锐的瞬态带时,许多研究人员更喜欢使用汉宁窗。公式(4)表示汉宁窗的离散函数:
(4)w[n] = 0.5 * (1 - cos(2πn/N - 1)),其中w[n]是样本n的权重,n从0(零)到N-1变化,N表示窗口长度。布莱克曼窗在最大阻带纹波方面最小,因此在频率精度要求最高时更为适用。布莱克曼窗的参数与汉明窗和汉宁窗相似,其中n表示样本索引,N表示总窗口长度,w[n]对应于窗口函数:
(5)w[n] = 0.42 - 0.5 * cos(2πn/N - 1) + 0.08 * cos(4πn/N - 1)。
这些函数的时间模式(图5)看起来相似,但根本区别在于频域(图5)。如图5所示,汉明函数在通带内提供良好的频率分辨率,但在瞬态带内逐渐下降。汉宁函数在通带内的表现与汉明函数类似,但在过渡带内的下降速度较慢,其旁瓣在瞬态带内的幅度较低。布莱克曼函数在通带内的下降速度最慢,且通带比其他两个函数更宽。然而,其旁瓣在过渡带和阻带内的幅度远低于前两个函数。在理想的窗口处理中,通带内的主瓣应该是矩形的,而过渡带和阻带内的瓣幅值应趋于0(零)。其他窗口类型(如Povey窗和Blackman Harris窗)偶尔也会出现在AEDC研究中,但仍然很少见,每项研究中的使用比例均低于2%。信号通过窗口处理后,使用傅里叶变换转换到频域。此时,傅里叶变换中的点数取决于采样速度和每个帧的长度。傅里叶变换的输出应用于梅尔滤波器组。梅尔滤波器组是提取基于梅尔特征的主要组件。在这一步中,必须选择几个参数,包括NF(滤波器数量)、滤波器组的最大和最小频率以及梅尔滤波器的类型(例如三角形或高斯)。通过选择这三个参数,可以获得滤波器的特性。计算出每个滤波器在梅尔刻度上的中心频率fc以及上下滤波器频率Fm+1和Fm-1后,定义了梅尔滤波器。第m个滤波器的频率响应以三角形形式表示为:
(6)Hm(k) = {0, k ≤ fm-1; k - fm < fm; fm < fm-1; fm ≤ k ≤ fm+1; 0, k ≥ fm+1},其中k表示频率bin索引,fm-1、fm和fm+1分别是三角形滤波器的下限、中心和上限频率。滤波器在中心频率处形成三角形形状,从0(零)开始线性上升,然后降至0(零)。三角形滤波器之间的过渡是线性的。三角形滤波器非常适合实时应用,因为速度和简洁性很重要。另一方面,高斯滤波器产生钟形曲线,滤波器之间的频率重叠更加平滑。高斯滤波器能够很好地模拟人耳的工作方式,因为它们的频率响应与人耳的耳蜗相似。高斯滤波器需要更多的处理能力。选择三角形滤波器还是高斯滤波器通常取决于AEDC系统更重视计算效率还是生物准确性。梅尔滤波器组收集每个滤波器的输出后,这些输出在频域中求和。最终形式显示了输入帧的频谱能量内容,定义为MS,作为梅尔系统的第一个特征。这些值的对数形成了LMS特征。经过DCT操作后,结果将是MFCC。MFCC的一阶和二阶时间导数(ΔMFCC和Δ2MFCC)也是基于梅尔的特征。

2.2. 基于梅尔的特征提取算法
基于梅尔的特征提取可以建模为一个系统的三阶段算法框架,每个阶段都建立在前一个阶段的输出基础上。完整算法包括:第1阶段(算法1)通过时间分割和窗口处理对原始波形进行预处理;第2阶段(算法2)通过梅尔滤波器组将窗口化帧转换为感知缩放的频率表示;第3阶段(算法3)计算最终特征,并可选地添加时间动态和归一化。第1阶段产生的窗口化帧{xw(t)}作为第2阶段的直接输入,而第2阶段的梅尔滤波器组输出{S(t)}输入到第3阶段的特征计算中,从而形成从时域音频到特征向量Ffinal的连续处理流程。

算法1. 信号预处理和窗口处理。
算法2. 频谱分析和梅尔滤波器组构建。
算法3. 特征计算和增强。

2.2.1. 第1阶段:信号预处理
初始阶段为频率分析准备原始音频信号(算法1)。这个预处理步骤至关重要,因为原始音频信号包含可能影响提取特征质量的频谱不平衡。窗口处理过程将连续信号分割成可管理的帧,同时最小化频谱失真。算法1.1中的预加重滤波器平衡了语音和音频信号的频谱分布。自然音频信号通常在低频处具有更多能量,这可能会掩盖关键的高频成分。预加重滤波器应用简单的高通特性来补偿这种不平衡,使后续的频谱分析更有效。步骤1.3中选择的窗口类型显著影响频谱分析的质量。汉明窗在频率分辨率和频谱泄漏之间取得了平衡,适用于大多数AEDC应用。汉宁窗提供更平滑的频谱过渡,而布莱克曼窗则以降低频率分辨率为代价提供了最低的频谱泄漏。

2.2.2. 第2阶段:频谱映射
第二阶段将窗口化帧转换为频域并应用梅尔滤波器组(算法2)。这一阶段是梅尔方法的核心。它将线性频率刻度转换为梅尔刻度,更好地匹配人耳处理声音的方式。算法2.1中的功率谱计算显示了能量在频率范围内的分布情况。不同的声学事件往往具有自己独特的能量模式,这使得这一步对于区分它们非常有用。步骤2.2中的梅尔刻度转换将线性频率刻度转换为梅尔刻度,紧密匹配人类听觉感知。这种转换确保了对人类听觉至关重要的频率带在特征空间中得到平等的表示。步骤2.3中的滤波器组应用将构建的梅尔滤波器应用于功率谱。结果滤波器组输出表示每个梅尔频率带中的能量内容,为所有后续基于梅尔的特征奠定了基础。

2.2.3. 第3阶段:特征提取
最后阶段将滤波器组的输出转换为所需的特征表示。这一阶段提供了三种不同的特征类型:MBE、LMBE和MFCC,每种类型在不同AEDC应用中都有特定的优势。该阶段还包括可选的增强功能,如时间导数和归一化。

2.2.4. 时间动态和归一化
步骤3.2(算法3)中的时间导数计算为特征集添加了动态信息。一阶导数(Δ特征)捕捉频谱特征随时间的变化,这对于区分具有相似频谱内容但不同时间模式的事件至关重要。例如,关门和书本掉落可能具有相似的频谱内容,但关门通常表现出更渐进的能量衰减。二阶导数(Δ2特征)捕捉频谱变化的加速度,提供了关于变化速率变化速度的信息。步骤3.3(算法3)中的归一化步骤使特征值处于相同的尺度上,无论录制条件如何。这一点很重要,因为如果没有归一化,麦克风质量、录制距离和房间声学条件的差异可能会影响结果。例如,一个在近距离麦克风录音上训练的系统在用远距离麦克风录音进行测试时可能会失败,即使声学事件是相同的。AEDC的性能取决于几个需要仔细调整的关键参数:帧长控制着时间和频率分辨率之间的权衡;较长的帧可以为谐波分析提供更好的频率分辨率,而较短的帧则能捕捉快速的时间变化。OP决定了帧与帧之间的时间平滑度;较高的值可以实现更平滑的过渡,但会增加计算成本和冗余。NF影响频谱分辨率:更多的滤波器可以在增加维度成本的同时提供更精细的细节。窗口类型影响频谱泄漏,而滤波器类型决定了频率响应:三角滤波器提供效率和清晰的分离,而高斯滤波器则提供更平滑的过渡。特征类型的选择从根本上影响了表示特性和下游处理要求。在上述参数中,特征类型、NF、帧长、OP和窗口类型在当前综述中被考虑,因为它们直接影响AEDC在不同声学条件下的性能。完整的Mel算法的计算复杂度为O(T·NframelogNframe+T·M·Nframe/2),其中第一项对应FFT操作,第二项代表滤波器组计算(所有参数都在算法1-3中定义)。这种复杂性使得该算法适用于实时AEDC应用,同时保持高特征质量。与M的线性关系表明,提高频谱分辨率会有可预测的计算成本,允许系统设计者在性能要求和可用处理能力之间进行平衡。

3. 基于Mel特征的AEDC方法
本节分析了通过系统搜索确定的373项AEDC研究,这些研究按所使用的Mel特征类型进行了组织。对于每个特征,通过频率分布和时间趋势检查了四个关键参数(NF、帧长、OP和窗口类型),并编目了分类器架构。详细的研究级别表格见附录B。使用基于Mel特征的方法可以根据Mel特征类型进行分类。图6显示了研究人员在AEDC研究中常用的Mel特征。Cochleagram、平均幅度频谱图、Mel-fgram、Polygram Mel-scaled、Salsa和加权Mel频谱图也被使用过,但频率较低,在当前综述中被忽略。

如图6所示,LMS特征显著优于其他特征。它被用于237项研究中,远超过任何其他特征。相反,MBE的使用最少,只有五项研究。LMS在AEDC研究中的流行源于其全面的光谱特性。它提供了声音特征的完整细节,可以从该特征中提取识别声学事件所需的大部分关键信息。LMS的两个主要优点是其对数处理,可以平滑输出的变化,以及其二维(2D)结构,使其与近年来研究人员常用的许多深度学习框架兼容。由于LMS、MS、LMBE和MFCC特征在研究中经常被使用,当前综述在不同时间间隔内分析了它们。这使得更容易查看结果并发现模式。对于每项研究,考虑了所有基于Mel特征的关键参数:•NF;•窗口类型;•OP;和•帧长。还考虑了每项AEDC研究中使用的分类器类型。NF直接影响系统处理的特征数量和计算成本。当NF增加时,可以从输入声音中提取更详细的频率信息。第二个参数是帧长。帧长影响系统检测事件的速度以及引入的噪声量。帧长和采样频率决定了特征提取中的样本数量。帧长和OP还影响可以从每个声音文件中获得的训练和测试数据量。帧长和OP需要一些解释,因为它们的报告方式不同。帧长可以报告为样本数量或时间持续时间。在当前研究中,当帧长以样本数量报告时,使用已知的采样频率将其转换为“ms”时间。OP的多样性更大。研究使用两种不同的方法:跳长和OP。跳长指的是帧与帧之间的步长,而OP作为一个逆参数,表示连续帧的重叠程度。两者都可以报告为帧长的百分比、若干样本或时间持续时间。所有这些参数都报告为帧长的百分比,以保持一致性。以下公式用于将跳长转换为OP:(7)OP=(1?Hoplength/Framelength)×100。对于分类器,使用了本文开头缩写列表中完全解释的每个分类器的缩写。

3.1. 对数Mel频谱图
LMS是AEDC研究中使用最广泛的基于Mel的特征。由于许多研究使用了这一特征,其参数被分为不同的年份段。附录B提供了所有237项LMS研究及其报告参数的完整列表(表A.1至A.7)。下面的图表和附带分析说明了每个参数在选定研究中的分布情况以及这些模式随时间的变化。NF作为首先分析的参数,被分为五个区间,如图7(部分A)所示。当研究未报告NF值时,被归类为“未知”。图7的结果显示,大多数使用LMS的研究落在[128-255]和[64-127]区间内。

选择最少的NF值是低于32的,仅出现在一项研究中。[64–127]和[128–255] NF区间在基于LMS的AEDC系统中的主导地位与典型声学事件的频谱分辨率要求密切相关。增加NF有效地增加了沿Mel尺度应用的三角滤波器数量,从而更细致地划分了频率轴。这在区分具有重叠谐波结构的事件(如机械噪声、城市声音混合或具有紧密间隔频谱成分的动物发声)时尤为重要。当NF低于32时,Mel滤波器组变得过于粗糙,无法分辨通常仅相隔几十赫兹的谐波。在这种情况下,不同的频谱特征可能会合并到相同的滤波器响应中,降低区分能力。因此,基于LMS的研究中几乎不存在NF < 32的情况,这反映了实际限制而非风格选择。为了提供更清晰的比较,图8展示了不同年份NF的相对频率。

图8(部分A和B)显示,2020年最常见的NF值落在[64-127]区间内。在后来的年份中,随着深度学习算法在处理高维输入方面变得更加强大,NF值有所增加。最近的研究更倾向于[128–255]范围。对[128–255]范围的偏好也与CNNs的日益采用相一致,后者受益于更丰富的2D频谱表示。更高的NF提供了更详细的频谱图,卷积滤波器可以空间利用这些信息。然而,这种改进是以增加的计算复杂性和内存使用为代价的,这解释了为什么在中等NF值[64–127]在资源受限或实时应用中仍然被广泛使用。这些发现表明,NF的选择隐含地受到频谱区分能力、分类器架构兼容性和计算限制之间的平衡,而不是任意决定的。2020–2025年间逐渐向更高NF值的转变进一步表明,这是由深度学习架构驱动的方法论转变,而不是声学事件特征的变化。大约10%的该领域研究没有指定这一参数,使得几乎不可能重现相应的研究并验证其结果,这是一个真正的弱点,因为NF被认为是基于Mel特征的最重要参数。

第二个分析的参数是帧长,见图9。考虑到表A.1至A.7(附录B)中报告的信息,选择了六个区间来分析帧长。还为未报告帧长的研究定义了“未知”类别。结果显示,[32-64] ms是最常见的帧长选择。[32-64] ms被视为一个闭合-开放区间,意味着32包含在区间内,但64不包含。帧长的最低频率出现在≥256 ms和<20 ms的区间。这两个极端突出了响应速度和处理可用样本数量之间的权衡。在≥256 ms的帧长中,过多的样本需要更多的计算能力进行特征提取和分类步骤。在<20 ms的区间中,系统响应非常快,但没有足够的样本来正确处理和识别事件模式,因此结果不可靠。在[32-64] ms范围内的集中反映了大多数使用LMS研究的声学事件。这个范围捕获了足够的周期,可以稳定地估计汽车喇叭或警报等声音的频谱,同时保持足够短的时间长度以跟踪时间变化。持续时间少于150 ms的脉冲事件会被超过128 ms的帧平均掉,这解释了该范围的低使用率。为了更详细地比较不同的帧长区间,图10显示了其他年份中该参数的相对频率。

基于图10(部分A和B)报告的统计数据,[128-256] ms区间也很重要,尽管它的出现频率低于[32-64] ms范围。另一个重要发现是大约11.8%的研究没有报告帧长(见图9)。这使得实际上不可能重新实施研究并验证其结果。总之,[32–64] ms区间的主导地位反映了短时频谱分析中固有的时间和频谱分辨率之间的基本权衡。较短的帧(<32 ms)提供了改进的时间定位,可能有助于检测非常短暂的脉冲事件,如枪声或机械点击声。然而,它们降低了频率分辨率,使得分离紧密间隔的谐波或音调成分更加困难。相反,较长的帧(>64 ms)提高了频率区分能力,但引入了时间模糊,可能会模糊短持续时间事件的起始和结束边界。因此,[32–64] ms范围的广泛采用表明,研究人员隐含地达成了一种折中配置,至少捕获了大多数高于大约30 Hz的声学事件的一个完整音调周期,同时保持了足够的時間精度以适应实际的AEDC应用。这表明观察到的共识不是任意的,而是基于信号处理限制的。此外,这种模式在基于频谱图和倒谱特征中是一致的,表明该领域存在共同的方法论假设。

第三个参数是OP,它影响训练样本的数量和系统检测事件开始和结束时间的准确性。降低OP可以提高检测事件开始和结束的准确性。然而,过度降低这个参数,特别是在事件的开始和结束处,会导致声学事件在总帧时间中所占的比例变小;因此,增加了AEDC出错的概率。根据图11,大多数研究中选择OP大于帧长的50%。

对于OP高于50%的偏好在实践中是有意义的,因为更高的重叠在频谱图中创造了更平滑的过渡,有助于卷积层学习时间模式。[75-100) 范围在处理持续时间较长的事件(如机械声音)的研究中尤为常见,因为密集的时间采样能够捕捉到逐渐的频谱变化。为了分析这一变量随时间的变化情况,图12(A部分和B部分)展示了其每年的频率分布。图12显示,OP的相对频率随时间变化不大。最常见的选择始终在[50-75) 和 [75-100) 范围内。有趣的是,有相当数量的研究没有报告这一参数(根据图11的数据为13.5%)。这一参数直接影响训练和测试样本的数量,因此了解它是验证研究结果的关键。

图12. 基于LMS的AEDC方法中OP的分布:[A] 每年OP模式的3D可视化;[B] OP的频率表。

根据图13,基于LMS的AEDC方法中使用的窗口类型主要是Hamming或Hanning。Hanning的使用频率大约是Hamming的三倍。Hanning在LMS中更受青睐,可能是因为其更平滑的频谱过渡为卷积分类器提供了更清晰的光谱图表示。Hamming虽然提供了稍高的频率分辨率,但会产生更高的旁瓣水平,这可能会在光谱图中引入频谱伪影。图13的另一个发现是,有大量研究(71%)没有指定窗口类型。这种高比例的未报告情况表明,许多研究人员只是接受了软件库的默认设置,而没有考虑窗口响应对特征质量的影响。

图13. 基于LMS的AEDC方法中的窗口类型:[A] 频率;[B] 相对频率。

在这项研究中,每篇文章中报告的分类器架构都被手动提取并记录在一个结构化数据库中。然后应用字符串匹配来分离复合架构中各层的名称(例如,从“CRNN”中提取“CNN”和“RNN”),并统一各研究的命名方式。通过统计最常重复的结构来确定主导方法,并最终手动验证原始文章以纠正任何提取错误。图14显示了出现频率超过1%的不同结构的百分比。

图14. 在基于LMS的AEDC方法中,出现频率超过1%的分类方法百分比。

如表1所示,CRNN是基于LMS的AEDC方法中最常用的分类器。其次是ResNet、Transformer和CNN,这些分类器在不同时间段内被反复使用。

表1. 随时间变化的基于LMS的AEDC方法中的主导分类器。

3.2. Mel光谱图
Mel光谱图是AEDC研究中第二常用的特征。附录B提供了所有61项MS研究的完整列表及其报告的参数(2020年至2022年的研究见表A.8,2023年至2025年的研究见表A.9)。图15显示,在MS中,NF参数的最高频率与LMS相似,都在[128-255]和[64-127]范围内,尽管这两个区间之间的频率差异比LMS大得多。在MS中,大约10%的研究没有指定NF。其他区间的频率与这两个区间有显著差异。为了更详细地比较不同区间,图16显示了MS中NF的相对频率随时间的变化。

图15. 基于MS的AEDC方法中的NF:[A] 频率;[B] 相对频率。

图16(A部分和B部分)表明,NF的最高频率仅在2020年出现在[64-127]区间。在后续年份,[128-255]区间的频率更高。值得注意的是,MS向更高NF的快速转变比LMS更为明显。由于MS保持线性幅度尺度而不进行对数压缩,因此重叠事件之间的频谱能量差异更难以区分。使用更多滤波器可以通过提供更精细的频率分辨率来弥补这一点,这有助于分类器检测到LMS的对数缩放会自然放大的微妙频谱差异。这解释了为什么MS研究人员比LMS研究人员更早地转向[128-255]范围。

图17显示,MS的频率模式与LMS非常相似;例如,帧长度的最高频率出现在表格的中间区间。此外,还可以观察到相对频率的一些差异:在MS中,大约18%的研究没有报告帧长度值,而在LMS中这一比例仅为12%。图18(A部分和B部分)显示了帧长度的相对频率和频率随时间的变化。

图17. 基于MS的AEDC方法中的帧长度(毫秒):[A] 频率;[B] 相对频率。

根据图18的结果,2020年和2021年[64-128)区间更为常见,而近年来考虑了更短的帧长度(如[32-64);因此,帧长度的趋势是变得更短。MS向更短帧的转变可能反映了人们对检测具有快速起始特征的事件(如撞击或警报)的关注增加。由于MS没有应用对数压缩,原始频谱能量值对突然的幅度变化更为敏感。较短的帧使系统能够更精确地捕捉这些急剧的转变,而不是在较长的窗口内对其进行平均。MS中未报告帧长度的研究比例(18%)高于LMS(12%),这也表明MS通常与预训练模型或标准流程一起使用,在这些情况下帧长度是内部设定的,研究人员并不总是记录它。

图19显示了基于MS的AEDC方法中的OP。与LMS一样,大多数研究中OP的比例超过帧长度的50%。MS和LMS之间的OP模式相似是预期之中的,因为这两种特征都产生了二维频谱表示,卷积分类器处理这些表示的方式大致相同。跟踪声音演变的时间分辨率要求并不会因为幅度缩放的不同而改变。MS的略有不同之处在于[75-100)范围内的研究比例更高(图19和图11分别为36.1%和31.6%)。由于MS保持线性幅度尺度,相邻帧的高重叠为分类器提供了更渐进的视图,了解原始能量分布随时间的变化,这在系统需要跟踪连续机械噪声等事件的缓慢频谱变化时非常有用。

图20表明,MS中OP的时间趋势与LMS也非常相似。图21显示,基于MS的AEDC方法中使用的窗口类型主要是Hamming或Hanning。在MS特征中,Hanning的频率也与Hamming有显著差异。MS中偏好Hanning的逻辑与LMS相同:其更平滑的频谱过渡为卷积分类器提供了更清晰的表示。

然而,MS中Hanning的使用比例略高于LMS(图21和图13分别为11.5%和7.2%),这可能反映了某些MS研究更注重保留更精细的频谱细节,因为MS已经缺乏LMS提供的平滑效果。在这些情况下,Hanning较窄的主瓣在频率分辨率上具有轻微优势。MS中未报告窗口类型的比例(66%)略低于LMS(71%),但仍然很高。

表2和图22显示了基于MS的AEDC系统中不同分类器的时间模式以及相对频率超过1%的分类器的重复百分比。与LMS一样,CRNN和CNN也是最常用的分类器之一。CRNN在LMS和MS中的主导地位并不令人惊讶,因为这两种特征都产生了由卷积层处理频谱模式,而循环层则跟踪这些模式随时间的变化。EINV2出现在MS分类器列表中(表2)但不在LMS中,这一点值得注意,因为EINV2是专门为需要保留原始幅度关系的声音事件检测任务设计的,而MS正好提供了这种关系。

表2. 随时间变化的基于MS的AEDC方法中的主导分类器。

3.3. 对数Mel带能量
由于使用LMBE的AEDC研究数量较少,附录B提供了所有34项LMBE研究及其报告参数的完整列表(表A.10)。图23显示,NF参数的最高频率在[64-127]范围内,[128-255]和[32-63]区间也有显著的频率。这种基于光谱图(LMS和MS)特征的主要区别在于[32-63]范围的频率更高。LMBE能够使用较少的滤波器仍能正常工作的原因在于,这种特征有不同的用途。与LMS或MS不同,LMBE在每个Mel带内平均能量。这种平均已经平滑了细微的频谱变化,因此大量的滤波器并不会像对光谱图那样提供太多有用信息。对于二元事件检测等任务,系统只需要判断特定声音是否存在,而不是区分多个重叠事件,32到63个滤波器就足以捕捉到足够的频率范围以获得可靠的结果。

图23显示,在LMBE基AEDC方法中,未指定NF的方法数量也较少。这可能反映了使用LMBE的研究社区规模较小且更加专注,参数选择往往更加谨慎和有据可查。表3显示了每年发现的基于LMBE的AEDC研究的数量。LMBE中的帧长度模式也与基于光谱图的特征非常不同。

表3. 随时间变化的LMBE基AEDC方法中NF的频率。

图24显示了LMBE基AEDC系统中这一参数的频率和相对频率。帧长度的最高频率在[32-64)范围内,其集中度远高于LMS或MS(LMBE中为50%,而LMS中为34.6%)。考虑到LMBE捕获的内容,这是合理的。由于这种特征在每个带内平均能量,因此不需要像光谱图特征那样的长帧。相反,较短的帧为LMBE提供了更好的时间分辨率,这对于跟踪Mel带间能量的快速变化特别有用,尤其是在检测具有突然起始特征的事件(如警报或撞击)时。此外,未报告LMBE帧长度的研究数量远低于前两种情况(LMS中为5.9%,LMBE中为11.8%,见图24和图9)。下载:下载高分辨率图像(229KB)下载:下载全尺寸图像图24. 基于LMBE的AEDC方法中的帧长度(毫秒)分布:[A] 频率 [B] 相对频率。表4显示了基于LMBE的AEDC方法中帧长度随时间的频率分布。结果显示,在2020年至2022年间,LMBE中的帧长度通常选择为64毫秒或更短,但2022年后这一趋势发生了变化。最近LMBE研究中出现更长的帧(128毫秒及以上)可能反映了这种特性与基于注意力的分类器的结合使用增加,后者可以处理更长的输入序列,并从较长帧提供的更广泛的时间上下文中受益。在OP参数中,这种模式也与LMS和MS有非常显著的区别,见图25。表4. 随时间发现的基于LMBE的AEDC方法中的帧长度(毫秒)频率。年份 帧长度(毫秒) 总计 未知 < 20 [20–32] [32–64] [64–128] [128–256] ≥ 256 2020 133 500 00 12 2021 1010 40 106 2022 1016 00 08 2023 00 20 125 2024 00 100 2032 2025 00 00 00 00 总计 245 170 42 34下载:下载高分辨率图像(209KB)下载:下载全尺寸图像图25. 基于LMBE的AEDC方法中的OP:[A] 频率 [B] 相对频率。在LMBE中,OP主要集中在[50-75]范围内(61.8%,而LMS中为41.8%,MS中为41.0%,见图25、图11和图19)。LMBE中[75-100]范围的出现频率较低(14.7%对比LMS中的31.6%)是一个有意义的差异。由于LMBE已经通过带能量平均平滑了频谱内容,如果重叠度过高,将会产生能量值几乎相同的冗余帧。这种冗余不会为分类器提供太多新信息,甚至可能由于训练数据过于重复而损害泛化能力。适度的[50-75]范围提供了足够的时间密度来跟踪能量变化,而不会产生过多冗余。未报告OP的研究数量远低于前两个特征。表5显示了基于LMBE的研究中OP的年度频率。表5. 随时间发现的基于LMBE的AEDC方法中的OP频率。年份 OP 总计 未知 [0–25] [25–50] [50–75] [75–100] 2020 1218 0 12 2021 00 516 2022 110 518 2023 100 315 2024 00 102 2025 00 00 00 总计 332 215 34图26表明,在基于LMBE的AEDC方法中使用的窗口类型主要是汉明窗(Hamming)或汉宁窗(Hanning),不同之处在于,汉明窗的频率高于汉宁窗(14.7%对比5.9%)。这与LMS和MS的情况相反,在LMS和MS中,汉宁窗明显更受欢迎(见图13和图21)。这种反转可以通过LMBE的底层机制来解释。由于LMBE对每个梅尔带(Mel band)内的所有能量进行求和,因此尖锐的频谱峰值比平滑的旁瓣抑制更为重要。汉明窗较窄的主瓣更好地保留了这些峰值。在频谱图中,完整的频谱形状得以保留,因此汉宁窗的平滑过渡有助于分类器。但在LMBE中,由于平均已经去除了细小的频谱细节,汉明窗更尖锐的峰值响应有助于系统定位主导能量。此外,79%的研究没有指定窗口类型,这是所有检查特征中未报告率最高的。下载:下载高分辨率图像(167KB)下载:下载全尺寸图像图26. 基于LMBE的AEDC方法中的窗口类型:[A] 频率 [B] 相对频率。表6显示了基于LMBE的AEDC方法中随时间变化的主要分类器。图27显示了相对频率超过1%的不同分类器的百分比。关于LMBE,表6和图27表明CRNN和CNN是最常用的分类器。与LMS和MS相比,LMBE中使用更简单架构(如CNN和DNN)的比例更高(见图27、图14和图22),这与该特征的较低维度相符。由于LMBE产生的表示通常每帧只有40到64个值,而不是频谱图中的数百或数千个值,因此较简单的分类器可以有效地处理这些数据,使得LMBE成为处理能力有限的系统的实用选择。表6. 随时间发现的基于LMBE的AEDC方法中的主要分类器(阴影* = 使用)。模型 2020 2021 2022 2023 2024 2025 CRNN **** CNN * FCN * RNN ** DNN *下载:下载高分辨率图像(158KB)下载:下载全尺寸图像图27. 在基于LMBE的AEDC方法中相对频率超过1%的分类器百分比。3.4. 梅尔带能量梅尔带能量是研究最少的特征,只有五项研究对其进行了探讨(见附录B中的表A.11)。从时间跨度来看,每年只有一项研究使用这一特征,而在2021年没有找到使用该特征的研究。对于NF参数,64这个数值在三项研究中被最频繁使用。帧长度主要在[32-64]毫秒范围内,汉明窗最为常见。在OP参数中,数值分布较为分散,但除了一项研究外,所有研究的OP值都达到了50%或更高。这五项研究中使用的分类器都是CRNN。在这五项研究中,汉明函数被使用了两次,而其他三项研究没有报告窗口类型。尽管MBE的研究数量太少,无法得出强有力的结论,但观察到的模式与这一特征的特性相符。MBE表示每个梅尔带中的原始频谱能量,没有进行对数压缩,使其类似于MS,但维度较低(类似于LMBE和LMS之间的关系)。对64的NF和[32-64]毫秒范围内的帧长度的偏好反映了LMBE的模式(见图23和图24),这是合乎逻辑的,因为这两种特征都进行了带能量平均。所有五项研究都独家使用了CRNN,这表明循环组件对于跟踪原始能量值随时间的变化特别有用,弥补了这种紧凑表示中频谱细节的缺失。3.5. MFCC所有36项MFCC研究及其报告的参数的完整列表见附录B(表A.12)。对于NF参数,最高频率出现在[64-127]范围内,第二常用的区间是低于32的区间(见图28)。MFCC中的NF频率模式与之前的特征明显不同,因为它在32以下显示出高频率。这是五个特征中最独特的NF模式,原因在于MFCC的工作原理。下载:下载高分辨率图像(230KB)下载:下载全尺寸图像图28. 基于MFCC的AEDC方法中的NF:[A] 频率 [B] 相对频率。在应用梅尔滤波器组后,MFCC取对数,然后应用离散余弦变换(DCT),将频谱信息压缩成一组小的倒谱系数。实际上,研究人员通常只保留前12到20个系数,无论使用了多少个梅尔滤波器,因为大部分有用的频谱包络信息都集中在这些低阶系数中。这意味着使用非常多的梅尔滤波器并不会为分类器提供比例上更丰富的最终特征,与LMS或MS不同,在LMS和MS中,完整的频谱细节会被保留下来。使用低于32的NF的研究数量也高于所有之前的特征(19.4%,见图28),这可能部分反映了某些研究认为NF对于MFCC来说不太重要,因为DCT步骤无论如何都会降低输出维度。表7显示了按年份划分的基于MFCC的研究频率。对于帧长度,最高频率出现在[32-64]毫秒范围内,与之前的特征类似。然而,MFCC中的区间分布比其他特征更为分散。[20-32]毫秒区间的相对频率在MFCC中更高(16.7%),而在LMS中为12.2%(见图29、图9和图17)。图7. 随时间发现的基于MFCC的AEDC方法中的NF频率。年份 NF 总计 未知 < 32 [32–63] [64–127] [128–255] > 255 2020 2212 00 7 2021 32 2020 9 2022 110 4 219 2023 0213 00 6 2024 1011 104 2025 010 00 1 总计 78 510 5136下载:下载高分辨率图像(248KB)下载:下载全尺寸图像图29. 基于MFCC的AEDC方法中的帧长度(毫秒)频率:[A] 频率 [B] 相对频率。这种更广泛的分布可以通过MFCC在更广泛的分类器中的历史使用来解释,包括传统的机器学习方法,如SVM、GMM和HMM(见图32),每种方法对输入的要求不同。传统分类器通常从较短的帧长度中受益,这些帧长度能够捕捉快速的频谱变化,而处理帧序列的深度学习方法可以有效地利用较长的帧持续时间。未报告MFCC帧长度的研究数量相对较高(19.4%,见图29),这是所有检查特征中最高的。下载:下载高分辨率图像(210KB)下载:下载全尺寸图像图30. 基于MFCC的AEDC方法中的OP:[A] 频率 [B] 相对频率。下载:下载高分辨率图像(167KB)下载:下载全尺寸图像图31. 基于MFCC的AEDC方法中的窗口类型:[A] 频率 [B] 相对频率。下载:下载高分辨率图像(156KB)下载:下载全尺寸图像图32. 在基于MFCC的AEDC方法中相对频率超过1%的分类器百分比。表8显示了按年份划分的帧长度频率。图30表明,尽管在OP参数中,高于50的两个区间频率较高,类似于频谱图和基于能量的特征,但频率差异明显。具体来说,高于50的OP区间与其他区间之间的差异减小了,同时未报告该参数的研究百分比也增加了(30.6%,远高于LMS中的13.5%,见图30和图11)。MFCC中OP的更均匀分布,特别是[0-25]范围内使用非常低重叠的研究比例(8.3%对比LMS中的3.4%),与分类器使用MFCC特征的方式有关。由于DCT使频谱信息去相关,连续的MFCC帧之间的相关性已经较低,因此系统可以容忍较低的重叠而不会丢失重要的时间模式。表8. 随时间发现的基于MFCC的AEDC方法中的帧长度频率。年份 帧长度(毫秒) 总计 未知 < 20 [20–32] [32–64] [64–128] [128–256] ≥ 256 2020 1212 100 7 2021 2013 2019 2022 2014 110 9 2023 2012 010 6 2024 00 2020 04 2025 00 100 1 总计 72 612 621 36对于像GMM或HMM这样的传统分类器,它们对每个帧的建模相对独立,低重叠只是提供了更多样化的训练样本,而不是深度学习分类器从频谱输入中需要的平滑时间连续性。表9显示了基于MFCC的AEDC研究中OP的年度频率。在基于MFCC的AEDC方法中使用的窗口类型主要是汉宁窗(16.7%),其次是汉明窗(13.9%),见图31。表9. 随时间发现的基于MFCC的AEDC方法中的OP频率。年份 OP区间 总计 未知 [0–25] [25–50] [50–75] [75–100] 2020 22021 72 2021 30 2139 2022 3012 39 2023 210 216 2024 00 1214 2025 100 00 1 总计 113 49 936在检查的特征中,这种近乎相等的分割是不常见的。在LMS和MS中,由于汉明窗的平滑频谱过渡,汉明窗更受欢迎,而在LMBE中,由于汉明窗的尖锐峰值响应,汉明窗更为常见。MFCC仅显示出轻微的偏好,这与DCT处理步骤一致。由于DCT将对数梅尔频谱表示去相关并压缩为倒谱系数,不同窗口函数(例如汉明窗与汉宁窗)引入的局部频谱变化对最终MFCC特征的影响有限,与对原始频谱或梅尔带能量的影响相比。与所有之前的特征一样,窗口类型是AEDC研究中报告最少的参数(69.4%,见图31)。图32显示了在基于MFCC的AEDC方法中相对频率超过1%的不同分类器的百分比。与所有之前的特征不同,在MFCC中CRNN是排名最高的分类器,而CNN排在第二位(20.45%对比CRNN的6.82%)。这种变化反映了MFCC的使用方式与频谱图特征的差异。由于DCT已经在每组系数中捕获了时间频谱模式,CRNN的循环组件添加的价值不如在频谱图中那么大,在频谱图中跨帧的时间跟踪是必不可少的。简单的CNN可以通过将倒谱系数视为每个帧的紧凑描述符来有效分类MFCC特征。传统分类器如GMM(4.55%)、HMM(4.55%)和DenseNet(4.55%)在MFCC结果中的存在,而在LMS和MS分类器中几乎不存在(见图14和图22),这证实了MFCC仍然是使用非深度学习方法的研究人员首选的梅尔特征。MFCC紧凑、去相关的输出与假设特征独立的统计模型配合得很好。另一方面,频谱图是高维且相互关联的,因此需要深度学习的模式识别能力才能有效地使用它们。4. 讨论本节通过三种互补的方法来检验第3节的发现:所有特征的整体参数比较、使用Jensen-Shannon散度进行时间模式分析以量化参数选择随时间的变化,以及详细解释为什么特定参数适合不同的声学条件。该节还考虑了应用领域如何影响参数选择,并指出了当前研究的局限性和未来方向。在本节中,对基于Mel的AEDC研究中使用的参数和分类器进行了比较分析。比较分为三个小节:整体分析、时间分析和分析描述。由于在不同特征上进行的研究数量不同,因此使用了相对频率来进行比较。第四个小节指出了该领域的挑战和未来方法。4.1. 整体分析图33显示了不同基于Mel的特征的NF的相对频率。如图所示,两个基于频谱图的特征在[64-127]和[128-255]区间内的相对频率较高,且它们在范围两端的分布几乎相同。LMBE和MFCC在>255时相似,但在其他区间内的频率不同。基于MFCC的AEDC系统在NF较少的区间内具有最高的相对频率。图34展示了所检查特征之间的帧长度分布,突出了它们之间的系统差异。下载:下载高分辨率图像(122KB)下载:下载全尺寸图像图33. 所有检查特征的NF的相对频率。下载:下载高分辨率图像(128KB)下载:下载全尺寸图像图34. 所有检查特征的帧长度的相对频率。四个特征中唯一的相似模式是[32-64)区间在所有特征中的相对频率最高。在OP中,所有四个特征在50%以上的区间内显示出更高的相对频率(图35)。这个参数的未报告值百分比高于之前的参数。MFCC特征的未报告值超过30%,是迄今为止检查的特征中歧义最大的。Hamming和Hanning窗口类型是所有特征的常见选择。对于两个基于频谱图的特征,Hanning窗口的相对频率高于Hamming窗口。下载:下载高分辨率图像(115KB)下载:下载全尺寸图像图35. 所有检查特征的OP的相对频率。在MFCC特征中,Hanning的相对分布略高于Hamming。在LMBE中,Hamming窗口的频率更高(图36)。这个参数在所有AEDC研究中的未指定比例最高,表明研究人员认为它不如其他Mel特征参数重要。下载:下载高分辨率图像(105KB)下载:下载全尺寸图像图36. 所有检查特征的窗口类型的相对频率。总体比较显示,五个Mel特征分为两个具有不同参数模式的广泛组。频谱图组(LMS和MS)倾向于更高的NF值、更长的帧、更高的重叠度和Hanning窗口,反映了深度学习分类器处理详细二维频谱表示的需求。能量和倒谱组(LMBE、MBE和MFCC)在NF选择上表现出更大的多样性(包括更低的值)、更倾向于较短的帧、更适度的重叠度,以及要么偏好Hamming窗口,要么没有明确的窗口偏好。这些差异并非随意;它们直接源于每个特征处理频谱信息的方式以及通常接收输出的分类器类型。这些组级差异背后的详细原因在4.3节中讨论。4.2. 时间分析检查Mel参数的时间模式很重要,因为它显示了它们的使用是否随时间遵循了特定模式或保持不变。为了检查不同基于Mel的特征中每个参数的时间趋势的相似性,考虑到不同特征的频率差异显著,在第一步中,将每个时间步长上的每个参数的频率除以与该特征相关的所有AEDC研究总数,将每个特征中每个参数的时间模式转换为2D概率密度函数。存在多种措施来比较离散的2D概率密度函数。KLD度量是最常用的散度度量之一,定义为:(8)DKL(P∥Q)=∑i,jP(i,j)LnP(i,j)Q(i,j),其中P和Q是离散概率密度函数,DKL表示两个分布之间的距离,Ln是自然对数(Joyce, 2011, Basseville, 2013)。KLD衡量两个概率分布之间的偏差程度。当两个分布完全相同时,该度量等于0(零)。这个度量不是对称的,在信息论中广泛使用(Kullback, 1997)。KLD不满足三角不等式且缺乏对称性,因此不是一个有效的距离度量。在机器学习等应用中,JSD提供了一个对称且有界的替代方案来比较2D概率分布(Menéndez, Pardo, Pardo, & del C., 1997):(9)JSD(P∥Q)=1/2DKL(P∥M)+1/2DKL(Q∥M),其中DKL是KLD,M=1/2(P+Q)。在这项研究中,计算了每对特征之间每个参数的JSD,并报告了最终结果。JSD相似性度量接近0(零)。表10显示了不同特征之间NF的时间模式中的JSD值。表10. 不同基于Mel的特征之间NF的时间模式中的JSD值。特征LMSMSLMBEMFCCLMS0.0000.0640.0750.061MS0.0640.0000.0780.040LMBE0.0750.0780.0000.035MFCC0.0610.0400.0350.000鉴于JSD的范围从0(零)到Ln(2)=0.693,可以根据定义的阈值水平(本研究中为0.05)来解释相似性和差异结果。表10表明,与LMS和MS在NF上最相似的时间模式属于MFCC。MS特征与MFCC相同,由于假设的阈值,它们可以类似解释。LMBE和MFCC在NF上显示出最高的相似性;此外,最糟糕的情况是LMBE与MS和LMS。主对角线上的零值是由于每个特征的时间模式与其自身完全相同。表11显示了帧长度时间模式的JSD。LMS和MS特征与MFCC特征相似,LMS的JSD值较高,而MS的JSD值较低。LMBE和MFCC特征在NF上显示出最高的相似性,MFCC与其他所有特征之间的相似性最高。表11. 不同基于Mel的特征之间帧长度的时间模式中的JSD值。特征LMSMSLMBEMFCCLMS0.0000.0580.0680.045MS0.0580.0000.0690.049LMBE0.0680.0690.0000.029MFCC0.0450.0490.0290.000总体而言,帧长度的时间模式相似性高于NF的时间模式。表12中报告的JSD值表明,由于选定的阈值,只有MFCC和LMS相似,而在基于Mel的特征之间的其他OP时间模式中没有观察到相似性。表12. 不同基于Mel的特征之间OP的时间模式中的JSD值。特征LMSMSLMBEMFCCLMS0.0000.0700.0620.050MS0.0700.0000.1430.062LMBE0.0620.1430.0000.092MFCC0.0500.0620.0920.000在窗口类型参数(表13)中,JSD值在大多数情况下显示出相似性。最糟糕的情况属于MS、两个MFCC和LMBE。这个参数的JSD值在所有分析的参数中最低。最后总结,可以得出以下结论:•在不同的特征中,MFCC模式表现出最高的相似性,而MS相对于其他特征显示出最低的相似性。•没有两个特征在所有参数上显示出相似的时间模式。表13. 不同基于Mel的特征之间窗口类型的时间模式中的JSD值。特征LMSMSLMBEMFCCLMS0.0000.0480.0280.033MS0.0480.0000.0560.066LMBE0.0280.0560.0000.040MFCC0.0330.0660.0404.3. 分析描述4.3.1. NF选择NF的选择取决于目标声学事件的光谱特性。NF决定了Mel频带中的频率分辨率,这必须足以区分不同事件的基本频率。例如,在城市声学事件中(如车辆声音、喇叭声和机械噪声),基本频率及其谐波通常相隔100 Hz或更多。在16 kHz的采样率下,64个滤波器提供了足够的分辨率来分离这些频谱成分。野生动物生物声学有不同的要求。许多物种产生的发声基本频率相差50 Hz或更少。这需要更高的光谱分辨率,这解释了向128-255滤波器转变的原因。医疗呼吸声音介于这两个极端之间。正常呼吸显示的谐波间隔约为100至150 Hz,而病理声音(喘息声、爆裂声)包含相隔150至300 Hz的成分。为了区分正常呼吸和喘息声,NF=64是可以接受的,但为了区分爆裂声和喘息声,AEDC系统需要更高的NF值。在LMBE和MFCC中,选择NF与MS和LMS不同,因为这些特征包括额外的参数,可以减轻频率分辨率对系统效率的影响。在LMBE中,带能量平均步骤意味着每个滤波器的输出是一个单一的能量值,而不是详细的频谱形状。增加超过64个滤波器会带来递减的回报,因为平均已经去除了额外滤波器会捕获的精细频谱细节。这项综述的数据支持这一观察:50%的LMBE研究使用了[64–127]范围内的NF值,26.5%使用了[32–63]范围(图23)。相比之下,只有2.5%的LMS研究选择了[32–63]范围(图7)。对于MFCC,这种趋势更为明显。DCT将对数Mel频谱压缩为少数几个倒谱系数,通常为12到20个。由于这些系数代表的是宽频谱包络而不是个别频率细节,输入滤波器的数量对最终输出质量的影响有限。这解释了为什么22.2%的MFCC研究使用了低于32的NF(图28),而在频谱图研究中这一范围几乎不存在。对于系统设计者来说,实际后果是显而易见的。使用LMS或MS时,NF的选择直接影响特征质量,应根据目标事件的光谱间隔仔细选择。使用LMBE或MFCC时,NF的重要性较低,其他因素如倒谱系数的数量或时间分辨率对系统性能更为重要。声学环境也影响NF的选择,但在所审查的研究中,这种交互作用几乎没有受到关注。4.3.2. 帧长度帧长度的选择是在可靠频谱估计所需的最小事件持续时间与避免过度时间平均之间的权衡。脉冲声学事件(枪声、撞击声、破裂声、枪械发射声)持续50-150毫秒。超过64毫秒的帧长度会将尖锐的瞬态与周围背景平均化,从而降低效率。持续的谐波声音需要更长的帧来进行稳定的频率估计。100 Hz的振动每10毫秒完成一个周期。可靠的频谱分析需要在每个帧内包含多个完整的周期。少于32毫秒的帧捕获的周期不足,产生不稳定的频率估计。LMBE特征表现出明显的行为,在32至64毫秒的帧中最常见(50%,图24),比频谱图特征短。由于LMBE在每个滤波器带上平均频谱能量,它牺牲了精细的频谱细节。较短的帧通过提供更好的时间分辨率来补偿,适用于检测具有突然能量变化的事件。MFCC再次显示出不同的模式。虽然[32-64)毫秒范围仍然最常见(33.3%,图29),但其分布比其他特征更广。[20-32)毫秒区间在MFCC中占16.7%,而在LMS中占12.2%(图9)。这种更广泛的分布反映了与MFCC一起使用的分类器的多样性。传统的机器学习方法如GMM和HMM(图32),它们处理单个帧而不是序列,可以有效地使用较短的帧,因为它们不依赖于连续帧之间的平滑时间连续性。另一方面,与LMS和MS一起使用的深度学习分类器处理帧序列,并从产生规则时间模式的恒定帧长度中受益。在所有特征中,帧长度的选择对于频谱图特征(LMS和MS)最为关键,因为这些表示保留了完整的频谱细节,这需要每个帧有足够的样本来进行稳定的频率估计。对于LMBE和MFCC,下游处理步骤(带平均和DCT)减少了帧长度的敏感性,使研究人员在这个参数上有更多的灵活性。帧长度与噪声水平之间的交互作用在AEDC文献中也未得到充分研究。4.3.3. OPOP改变了样本数量并影响模型泛化。观察到的50%到75%的重叠(图11,图19)代表了一个实际的折中。更高的OP增加了样本数量。例如,一个40毫秒的帧具有75%的重叠,在连续帧之间前进10毫秒,每秒产生100帧。在50%的重叠率下,帧率降低到每秒50帧。然而,过高的重叠率会导致相邻帧之间存在时间依赖性。在75%的重叠率下,连续帧共享四分之三的样本,从而导致光谱内容高度相关。这可能导致模型学习到特定于训练数据的时间平滑性,而无法泛化到事件特征。这些考虑因素会形成特定于应用的模式。医疗呼吸监测显示出更高的重叠率值(通常为75%到87.5%,见附录B中的表A.1和A.10),因为正常状态和故障状态之间的逐渐过渡需要密集的时间采样以准确检测起始点。对重叠率的跨特征比较揭示了有意义的差异,这些差异与每个特征处理光谱信息的方式有关。LMS和MS显示出非常相似的重叠率模式(在[50-75]范围内分别为41.8%和41.0%,见图11和图19),这是预期之中的,因为两者都产生由类似分类器架构处理的二维光谱表示。然而,LMBE在[50-75]范围内的使用率要高得多(61.8%,见图25),而对非常高重叠率的使用相对较少。由于LMBE在每个梅尔频带内平均能量,因此具有非常高重叠率的连续帧将包含几乎相同的能量值,从而增加了冗余而没有提供有用信息。MFCC显示出最分散的重叠率分布,以及最高的未报告率(30.6%,见图30)。MFCC中的DCT去相关意味着连续帧之间的相似性已经低于频谱图特征,因此系统可以容忍较低的重叠率而不会丢失重要的时间信息。噪声对最佳重叠率选择的影响也尚未进行研究。

4.3.4 窗函数
对于局限于单个帧的脉冲事件,边界效应通常发生在前沿和后缘;在这种情况下,窗函数的选择不太重要,因为大多数帧要么包含纯事件,要么包含纯背景。这个参数的主要问题出现在具有强烈谐波内容的音乐事件或其他声音中,其中来自窗函数旁瓣的光谱泄漏会模糊谐波之间的边界,使得系统更难识别正确的光谱模式。本综述的数据表明,不同特征对窗函数的偏好各不相同,这与它们的处理特性有关。在LMS和MS中,汉宁窗更受欢迎(分别为21%和21.3%,见图13和图21),因为其更平滑的旁瓣抑制为卷积分类器提供了更清晰的光谱图表示。而在LMBE中,汉明窗的使用率更高(14.7%对比5.9%,见图26)。由于LMBE执行频带平均,因此通过汉明窗的较窄主瓣保留尖锐的光谱峰值比最小化旁瓣更为重要,因为平均步骤已经平滑了旁瓣效应。在MFCC中,汉宁窗稍微更常见(16.7%对比13.9%,见图31),这反映了DCT步骤减少了窗函数选择对最终倒谱系数的影响。不同窗类型如何处理背景噪声是另一个未解决的问题。然而,高未报告率(跨特征为66%到79%)表明许多研究人员接受默认设置而不考虑声学影响。这是基于梅尔频率(Mel Frequency)的自动事件检测和分类(AEDC)研究中探索最少的参数,系统地比较不同声学条件下的窗类型可能会在实际性能上带来改进。所有四个参数的一个共同问题是缺乏关于噪声条件如何影响参数选择的研究。较高的NF值可能会揭示隐藏在噪声成分中的事件特征,但它们也会让更多的噪声能量通过。较长的帧可以平均掉短噪声爆发,但也可能模糊短暂事件。较高的重叠率产生更密集的采样,有助于将事件与噪声分开,但风险是在帧之间重复噪声模式。这些相互作用在AEDC文献中都没有得到充分研究,控制实验比较不同噪声水平下的参数选择将提供该领域目前缺乏的实际指导。

4.3.5 特征类型选择
不同的梅尔特征根据其信息内容和计算要求适合不同的声学条件。LMS提供了适合复杂重叠事件的完整时频表示。多个同时发生的声音在频谱图中产生可加性模式,神经架构可以学习区分这些模式。城市声景中包含重叠的交通声、人声和建筑声,这种丰富性解释了LMS的普遍性(64%,见图6)。对数幅度缩放提供了对记录级别变化的鲁棒性。未经对数缩放的MS保留了线性幅度关系,当相对响度携带诊断信息时非常有用。然而,这种对绝对水平的敏感性使得MS容易受到麦克风距离变化的影响,因此其使用率较低(16%)。LMBE通过平均每个梅尔频带内的能量来丢弃精细的光谱结构,大大降低了维度(通常每帧40到64个值,而频谱图为1024到2048个值)。这适用于宽频率趋势比精确光谱形状更重要的应用。二进制事件检测(存在与不存在)通常只需要粗略的频率分布,而不需要精细的谐波结构。LMBE的计算效率(9%的使用率)使其能够在处理能力有限的嵌入式系统上运行。MFCC产生的去相关系数有效地表示了光谱包络。传统的机器学习方法在处理高维输入时遇到困难,但MFCC的紧凑表示表现良好。然而,MFCC丢弃了相位信息和详细的光谱结构,限制了其在重叠事件上的性能。向LMS的转变反映了深度学习的采用。特征类型的选择还取决于噪声环境。在干净条件下,LMS提供了最丰富的表示,其对数压缩有助于在中等噪声下减少动态范围差异。然而,在非常嘈杂的条件下,LMS会保留噪声模式和事件模式,这可能会混淆分类器。MFCC在噪声方面具有天然优势,因为DCT将有用光谱信息集中在低阶系数中,丢弃高阶系数可以有效去除噪声。这种内置的噪声减少是MFCC在深度学习出现之前在语音识别中仍然流行的原因之一。LMBE介于这两个极端之间。它的频带能量平均提供了一些噪声平滑,同时保留了比MFCC更多的信息。对于计算成本重要且噪声适中的应用,LMBE可以是LMS的丰富性和MFCC的紧凑性之间的实际折中方案。表14总结了不同噪声条件和事件特征如何影响基于本综述观察到的模式来选择梅尔特征类型。

表14. 基于声学条件的梅尔特征选择的实际指导
条件 | 推荐特征 | 原因
--- | --- | ---
干净、重叠事件 | LMS | 完整的光谱细节有助于事件分离
干净、单个事件 | LMS或LMBE | 两者都表现良好;LMBE更高效
中等噪声 | LMBE | 频带平均提供噪声平滑
高噪声、深度学习 | LMS | 分类器可以学会忽略噪声
高噪声、传统MLMFCC | 系数截断减少噪声
计算能力有限 | LMBE或MFCC | 紧凑的表示适合嵌入式系统

4.3.6 基于梅尔的特征与端到端学习
一个持续存在的问题是,鉴于从原始波形进行端到端学习的进步,梅尔预处理是否仍然必要。对于具有清晰光谱结构的声学事件,梅尔特征可以加速学习并提高效率,特别是在训练数据有限的情况下。端到端波形模型必须从零开始学习模式,需要更多的参数和数据才能达到基于梅尔的AEDC系统的性能。然而,对于具有重叠事件或缺乏清晰光谱结构的复杂声学场景,端到端方法有时通过直接学习表示而不是受感知频率缩放的约束来超越梅尔特征。基于梅尔的方法的持续流行(237项LMS研究,61项MS研究,详见附录B中的表A.1至A.9)表明,对于大多数AEDC应用来说,梅尔特征仍然具有实际优势,尤其是在计算资源或训练数据受限的情况下。本综述的发现为这一讨论增加了具体性。2020年至2025年间从MFCC向LMS的转变(见图3)并不表明梅尔特征变得不那么相关。相反,它表明梅尔特征的类型随着分类器的演变而变化。随着深度学习模型取代了传统分类器,研究人员从适合统计模型的紧凑MFCC表示转向了更适合卷积架构的丰富LMS表示。这表明梅尔特征正在适应新的分类器范式,而不是被它们取代。最近研究中MFCC的持续存在(见表7)表明,在计算效率或噪声鲁棒性重要的特定应用中,这种较老的特征类型仍然有作用。端到端学习最有可能在拥有非常大训练数据集且声学事件缺乏明确定义的光谱特征的应用中取代梅尔特征。对于这里审查的大多数AEDC任务,其中训练数据有限,事件表现出清晰的频率模式,基于梅尔的特征仍然是一个强大且实用的起点。

4.3.7 领域特定参数模式
到目前为止的分析将AEDC视为一个单一类别,但所审查的373项研究涵盖了几个对参数选择施加不同声学约束的不同应用领域。根据表A.1至A.7(附录B)中报告的研究描述和数据集,审查文献中最常见的领域是城市和家庭声音事件检测、生物声学(鸟类、鲸鱼和其他动物的发声)、工业机械监控以及与监控或安全相关的音频分析。这些领域在直接影响哪些梅尔参数最有效方面存在差异。城市和家庭声音检测占审查研究的大部分,通常涉及多个日常声音重叠的多声部场景。这解释了在总体统计中观察到的高NF值(128或以上)和中等帧长度(32到64毫秒)对LMS的强烈偏好(见图7和图9),因为这些设置提供了在复杂声学环境中分离重叠事件所需的光谱和时间分辨率。生物声学研究通常有不同的要求。动物发声通常占据狭窄的频率带,并具有独特的谐波模式。在这里,较高的NF值也很有用,但原因不同:它们有助于区分不同物种的紧密间隔的谐波。生物声学中的帧长度通常比城市监控中的短,因为许多动物叫声很短暂,在较长的分析窗口中会丢失。MFCC在生物声学研究中的出现频率高于城市声音检测(见图32),部分原因是紧凑的倒谱表示有效地捕获了发声的光谱包络,并且适用于野生动物研究中的较小数据集。工业监控研究专注于检测机械故障或异常,其中感兴趣的声音通常是连续的或缓慢变化的。较长的帧长度和较高的重叠百分比非常适合这些应用,因为它们可以提供稳定的稳态机械噪声的光谱估计。相关的声学事件,如轴承磨损或阀门泄漏,产生渐进的光谱变化而不是突然的起始,这就是为什么在这个领域中通过高重叠率进行密集时间采样的原因。监控和安全应用与城市监控有一些共同特征,但更强调在嘈杂环境中检测特定事件,如玻璃破碎、尖叫或枪声。这些事件往往是脉冲性的和短暂的,因此偏好较短的帧长度和中等重叠率。第4.3.5节中的表14提供了针对不同噪声条件的特征选择的实际指导,这对于背景噪声水平变化较大的监控应用直接相关。尽管审查的研究并不总是明确报告它们的应用领域,而且对所有373项研究进行完整的统计分类需要单独分类,但上述模式与第3节中观察到的参数分布一致。未来的综述可以从要求作者报告他们的目标应用领域及其参数选择中受益,从而实现更精确的领域分层分析。

4.4 未来趋势和开放研究问题
第4.2节和第4.3节中呈现的统计和分析发现自然引出了几个开放的研究问题。

4.4.1 超出经验惯例的光谱分辨率优化
第4.3节中的时间分析显示,近年来从[64–127] NF区间逐渐转变为[128–255]区间(见图16、图23和表3)。虽然这种转变与卷积神经网络的采用相吻合,但尚不清楚较高的NF值是否一致地提高了分类性能,或者仅仅是增加了表示的丰富性而没有可测量的收益。因此,一个重要的开放问题是:将NF增加到128以上是否会在不同的AEDC领域产生统计上显著的改进,或者相对于计算成本来说是否引入了递减的回报?未来的研究应该探讨自适应或数据驱动的NF选择策略,这些策略能够根据事件带宽或谐波密度动态调整频谱分辨率,而不是假设一个固定值。4.4.2 重新评估[32-64]毫秒的帧长共识:超过30%的综述研究使用了32-64毫秒的帧长。虽然这个区间在时间和频率分辨率之间反映了合理的折中,但尚不清楚这种共识是否代表了最佳设计,还是从早期语音处理惯例中继承的默认设置。一个关键的研究方向是:其他帧长配置(例如,多尺度或自适应帧化)是否更适合高度瞬变或重叠的声学场景?多分辨率特征提取策略可能允许系统在保留持续声音的频谱稳定性的同时,保留脉冲事件的精细时间细节。4.4.3 领域特定参数适应:第4.3.7节展示了明显的领域依赖参数模式。例如,生物声学应用倾向于使用更高的NF和更短的帧长,而工业监控则强调稳定性和持续的频率跟踪。然而,当前的AEDC流程通常在所有数据集中使用固定参数。未来的工作应该探索:基于声学场景统计自动调整Mel参数的领域感知或任务条件特征提取模块。这样的系统可能弥合手工参数选择和完全端到端学习表示之间的差距。4.4.4 参数报告和可重复性标准:相当一部分综述研究没有报告窗口类型或重叠百分比(见图35和图36)。这种缺乏透明度限制了可重复性,并阻碍了系统的元分析。一个重要的方法学方向是制定AEDC研究中Mel参数配置的标准报告指南。提高报告的一致性将使未来的跨研究评估更加严格。4.4.5 混合架构:基于Mel的特征的持续主导地位表明它们在计算上仍然高效,并且在结构上与深度学习架构兼容。然而,端到端的波形模型正越来越多地被探索。一个研究机会在于:探索初始Mel滤波器组部分可学习的混合系统,允许在保持感知基础的同时精细调整频谱间隔。这可能在不完全放弃基于Mel的先验的情况下,结合可解释性和适应性。总之,将AEDC系统集成到嵌入式专家系统中需要继续开发高效的架构,这些架构能够在准确性和计算约束之间取得平衡,为推理引擎提供可靠的估计,并实现持续学习能力,使当前系统能够适应不同的声学环境。5. 结论:这项系统综述检查了2020年至2025年间发表的373项AEDC研究,首次专注于AEDC中基于Mel的特征提取的分析。研究了五种主要的基于Mel的特征:LMS出现在237项研究中,MS出现在61项研究中,LMBE出现在34项研究中,MFCC出现在36项研究中,MBE出现在5项研究中。每项研究都提取了四个关键的Mel相关参数:NF、帧长、OP和窗口类型。统计分析揭示了不同特征类型之间的参数选择模式和时间趋势的明显差异。LMS是近期AEDC研究中的主导基于Mel的特征,反映了其与深度学习架构的兼容性及其提供全面频谱特征的能力。不同特征类型的Mel参数模式存在显著差异。使用LMS和MS的AEDC方法主要使用64-255个Mel滤波器,而基于MFCC的方法通常使用低于32的NF值。32-64毫秒的帧长在所有特征中最常用,提供了时间和频谱分辨率之间的平衡。大多数AEDC系统更倾向于使用超过50%的OP值,以确保足够的时间采样密度。66-79%的综述研究没有报告窗口类型,表明对这一参数的关注有限。使用Jensen–Shannon散度进行的时间模式分析显示,MFCC在参数选择上表现出最大的一致性,而MS的变化最大。分类方法分析确定CRNN是所有特征类型中的主导架构,其次是CNN和基于变压器的架构。当前的局限性包括缺乏系统的参数选择策略,没有充分考虑声学事件特征应如何指导特征设计,以及研究之间参数值报告的不完整。未来的工作应该关注针对特定声学条件定制的自适应参数选择方法,解决训练数据有限的自我监督学习策略,以及将声学特征与其他传感器模态集成的多模态系统。总体而言,这里呈现的发现和分析为开发基于Mel的AEDC系统的研究人员提供了实际指导。

CRediT作者贡献声明:
概念化、资金获取和监督由Jo?o Manuel R.S. Tavares负责;调查、数据收集、代码实现、正式分析和原始草稿准备由Vahid Hajihashemi和Abdorreza Alavi Gharahbagh负责;写作审查和编辑由J.J.M. Machado和Jo?o Manuel R.S. Tavares负责。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号