《Sensors》:End-to-End 3-D Sound Source Localization from the Raw Waveform Based on Stereo Microphone Array
Lipeng Xu and
Chao Yang
编辑推荐:
为解决现有声源定位算法在混响和噪声环境下性能下降的挑战,本研究提出一种基于人工神经网络的端到端3D声源定位方法。该方法使用四通道立体麦克风阵列采集的原始音频波形作为输入,通过引入残差连接和压缩激励注意力机制,在模拟半消声室和会议室环境中,分别将定位误差降低0.2米/0.26米,准确率提升10%/21%,显著增强了系统在复杂声学环境中的鲁棒性。
在智能家居、人机交互、视频会议和机器人听觉等应用场景中,精准地确定声音发出的位置至关重要。这项技术被称为声源定位。传统的定位算法,如基于广义互相关相位变换的到达时间差估计、SRP-PHAT波束成形以及多重信号分类算法,在安静、理想的环境中表现尚可。然而,当环境变得嘈杂、充满回声时,这些方法的性能就会急剧下降。这成为了该领域一个长期存在的核心挑战。
近年来,研究人员转向寻求机器学习,特别是深度学习算法的帮助。一些研究尝试将传统方法中手动提取的特征(如到达时间差、声强)输入神经网络,取得了一定进展。但这些方法大多依赖二维麦克风阵列,存在镜像效应,无法实现真正的三维定位,且手动提取特征可能丢失原始信号中的重要信息。受人类听觉系统启发,端到端学习范式应运而生,旨在让神经网络直接从原始音频信号中学习并判断声源方位,这已成为一个重要趋势。尽管如此,现有的端到端方法在实际应用中仍面临三大难题:在复杂声学环境中抗干扰能力不足;未能充分融合空间与频谱特征;网络结构对关键频段的适应性较弱。
为了解决上述问题,并推动三维声源定位技术的发展,由Lipeng Xu和Chao Yang合作完成的研究论文《End-to-End 3-D Sound Source Localization from the Raw Waveform Based on Stereo Microphone Array》在《Sensors》期刊上发表。他们开发了一种新颖的深度卷积神经网络,能够直接从原始波形推断声源在笛卡尔坐标系下的三维空间坐标。该方法摒弃了手动特征工程,利用立体麦克风阵列解决空间模糊问题。其网络架构包含三个核心模块:模拟人耳频率分析的频率分析模块、防止信息丢失的残差连接模块,以及动态调整特征权重的压缩激励注意力模块。实验结果表明,该方法有效提升了在混响和噪声环境下的定位精度与鲁棒性。
为开展此项研究,作者主要采用了以下关键技术方法:首先,由于公开数据集难以满足需求,研究采用模拟方法生成训练数据,核心是使用镜像源法模拟房间脉冲响应,并结合干净的语音源和加性噪声来合成多通道音频数据,以构建包含空间标签的大规模定制数据集。其次,研究构建了一个端到端的深度卷积神经网络模型,其输入是四通道立体麦克风阵列采集的原始音频波形,模型核心整合了频率分析、残差连接和通道注意力机制。最后,研究在模拟的半消声室和会议室两种声学环境下,对提出的算法进行了系统的性能评估,并与基线方法进行比较,以验证其有效性。
2.1. 数据集
为确保深度学习模型的优异性能,研究采用了数据模拟策略来生成所需的大量音频样本。通过房间脉冲响应(RIR, Room Impulse Response)描述声波在封闭空间内的传播,并利用镜像源法进行近似计算。对于包含M个阵元的麦克风阵列,每个麦克风m接收到的信号xm(t)是干净语音源s(t)与对应通道的房间脉冲响应hm(t)的卷积,再加上该通道的噪声nm(t)。此方法生成了用于模型训练和测试的多通道音频数据及其对应的三维空间坐标标签。
3.1. 提出的网络架构
研究提出了一种端到端的深度CNN架构,用于直接从原始音频波形回归声源的三维坐标。网络输入为四通道的原始音频信号。架构包含:(1)频率分析模块:在输入层后加入卷积层,模拟人耳听觉系统的频率分析功能,以在不同频带搜索定位线索。(2)残差连接模块:在网络中引入残差连接,将原始特征传递到更深的网络层,防止因网络过深导致的定位信息丢失,并提升模型训练的稳定性。(3)压缩激励模块:作为一种通道注意力机制,该模块动态调整通道间和通道内的权重,抑制干扰的同时增强对定位关键的线索,从而提升算法的抗混响和抗噪声能力。
3.2. 实验设置
实验在两种模拟的声学环境中进行:半消声室和会议室。使用语音质量感知评估信号源,并添加了不同信噪比的加性高斯白噪声。使用平均绝对误差和准确率作为评估指标,并将提出的方法与基于GCC-PHAT的SRP-PHAT传统方法以及另一种深度学习基线方法进行比较。
3.3. 结果与讨论
实验结果表明,提出的方法在所有测试条件下均优于对比方法。在半消声室环境中,该方法将定位误差降低了0.2米,并将准确率提高了10%。在更具挑战性的会议室环境中,定位误差减少了0.26米,准确率提升高达21%。结果分析表明,频率分析模块有助于提取频域特征,残差连接缓解了梯度消失问题,而SE注意力机制通过聚焦重要频带显著增强了模型在低信噪比条件下的鲁棒性。这些改进共同验证了所提架构在复杂声学环境中进行三维声源定位的有效性。
4. 结论
本研究成功提出并验证了一种基于端到端深度卷积神经网络的3D声源定位新方法。该方法直接从四通道立体麦克风阵列采集的原始波形中学习,无需手动特征提取。通过集成受听觉启发的频率分析、稳定训练的残差连接以及增强特征选择的压缩激励注意力机制,网络能够有效克服混响和噪声带来的挑战。实验数据证实,该方法在模拟的半消声室和会议室环境中,相比传统方法及现有深度学习基线,在定位误差和准确率上均有显著提升。这项研究的意义在于,它为解决实际应用中声源定位系统的鲁棒性问题提供了一种有效的端到端解决方案,推动了向更自主、更类人的机器听觉系统发展,在机器人、智能监控、远程会议等多个领域具有重要的应用前景。