DSF-Net：基于双策略融合的高效音视频声音事件定位与检测方法

《Neural Networks》：DSF-Net: Dual-Strategy Fusion for Efficient Audio-Visual Sound Event Localization and Detection

　　•DSF-Net：首个基于Mamba架构的高效音频视觉声音事件定位与检测模型。该模型提出了一种新颖的双策略融合方法（AFFM和AAM）。AFFM用于在频域中对齐音频与视觉特征，而AAM则在确保模态一致性的同时提升特征整合效果。该模型的性能已在STARSS2023数据集上得到验证。

引言
声音事件定位与检测是空间音频信号处理领域中一项至关重要且具有挑战性的任务。近几十年来，这类技术发展迅速，吸引了众多研究者和实践者的极大兴趣。它为许多下游应用提供了基础支持，包括人机交互（Iskandar等人，2024年）、智能家居系统（Gozuoglu等人，2024年）以及人员救援行动。声音事件定位与检测任务包括从音频信号中估计声音事件的位置并识别其类别，主要包含两个部分：声源定位和声音事件检测。声源定位旨在确定声源的空间位置，而声音事件检测则致力于分类音频信号中所存在的不同类型的声音事件。近年来，随着每年举办的声学场景与事件检测与分类竞赛（DCASE）的推动，这一任务受到了更多关注。作为DCASE的子任务之一，声音事件定位与检测已成为热门研究方向，众多研究致力于探索各种方法来提升其性能。在第五版的DCASE竞赛中，引入了一个新的多模态数据集——索尼-塔乌真实空间音景2023（STARSS23）（Shimada等人，2023年），该数据集包含真实的多通道音频数据、视频数据以及声音事件的时空标注信息。STARSS23数据集是STARSS2022数据集（Politis等人，2022年）的扩展版本。在此，我们将结合音频与视觉数据的这种声音事件定位与检测任务称为音频视觉声音事件定位与检测。

音频视觉声音事件定位与检测的任务是通过整合音频与视觉信息来估计声音事件的位置并识别其类别。在相关研究中，许多学者致力于开发基于深度学习的方法，通过融合音频与视觉信息来实现对声音事件的定位与识别。这类深度学习方法通过端到端的方式直接从原始的音频与视觉信息中学习低级与高级特征，在音频视觉声音事件定位与检测任务中取得了不错的成果，尤其是那些基于Transformer的模型，例如由卷积模块与多头自注意力模块构成的Conformer模型（Peng等人，2021年）。但由于卷积模块的感受野存在限制，基于卷积的模型在捕捉音频与视觉信息的全局特征方面表现不佳。尽管引入多头自注意力模块提升了模型捕捉序列信息中长距离依赖关系的能力，但Conformer模型仍存在计算复杂度较高的问题。因此，迫切需要一种既能有效建模长距离依赖关系又具备较高计算效率的新架构范式，从而为更实际的现实应用奠定基础。

为应对这些挑战，我们转向状态空间模型，这是一种新兴的深度学习范式，擅长以线性计算复杂度处理长序列数据（Li等人，2024b年；Zhu等人，2024年；Zou等人，2024年）。与Transformer不同，状态空间模型避免了二次方级的计算瓶颈，使其成为构建高效音频视觉声音事件定位与检测系统的理想基础。然而，仅仅替换网络结构并不足以保证高性能，关键在于设计能够在这一新架构范式中协同工作的有效多模态融合机制。为此，本文提出了一种新颖的双策略融合方法，该方法被应用于我们设计的DSF-Net框架中，该框架专门用于利用频域相关性及具有音频感知能力的时序聚合机制，实现高效稳定的音频视觉信息整合。

实际上，声音事件定位与检测是人类与生俱来的一种能力。人类能够通过整合音频与视觉信息来定位声源并识别对应的类别。先前的研究表明，音频与视觉信息可以相互补充，二者结合使用能进一步提升声音事件定位与检测的性能（Gao等人，2023年）。目前的方法主要通过交叉注意力机制来实现音频与视觉信息的融合，但这种方法往往忽视了相邻帧之间的强因果关联，导致多模态特征的时序一致性未能得到充分利用。这一局限性凸显出亟需开发能够更好保留序列与时序关系的新型融合策略。

为填补这一空白，我们基于高效的状态空间模型架构，提出了一种新颖的双策略融合方法，该方法被应用于我们设计的DSF-Net框架中。这两种核心策略分别为：其一是通过自适应频率融合模块实现，该模块在频域中对齐多模态特征，从而捕捉全局上下文信息；其二则是通过具有音频感知能力的聚合模块实现，该模块利用状态空间模型在建模因果关系方面的优势，在确保模态一致性的同时提升特征整合效果。据我们所知，这是首次在基于状态空间模型的架构中，系统地设计并评估用于音频视觉声音事件定位与检测任务的双策略融合方法。我们认为我们的工作具有重大意义，主要贡献如下：
•据我们所知，我们提出了首个专为音频视觉声音事件定位与检测任务设计并经过验证的基于Mamba的框架——DSF-Net。与现有的用于通用音频视觉理解任务的基于Mamba的模型不同，DSF-Net针对的是以空间音频为驱动的声音事件检测与定位任务，这类任务需要同时估计帧级事件类别与轨迹。
•我们设计了自适应频率融合模块作为DSF-Net的核心组件，该模块能够从频域角度有效捕捉音频与视觉信息的全局特征。
•我们引入了具有音频感知能力的聚合模块，进一步优化多模态特征的整合效果，该模块能够在考虑音频与视觉信息一致性的基础上提升融合后特征的质量。
•我们进行了大量实验，评估所提出的DSF-Net在STARSS2023数据集上的性能。实验结果表明，该方法在多项指标上的表现均显著优于现有的最先进方法。

总之，DSF-Net的核心创新之处在于将Mamba架构适配于以空间音频为驱动的音频视觉声音事件定位与检测任务。它并非用于实现通用的音频视觉理解，而是专门对空间音频表示进行建模，将其与视觉特征对齐，并通过多ACCDOA格式预测帧级声音事件类别与轨迹。因此，该框架并非简单地将Mamba应用于音频视觉数据，而是为音频视觉声音事件定位与检测任务引入了特定的融合机制： AFFM用于频域下的空间音频视觉特征对齐，AAM则用于具有音频感知能力的时序聚合。

本文的其余结构如下：第二节简要回顾相关研究并指出现有研究的不足；第三节详细介绍所提出的音频视觉声音事件定位与检测- Mamba模型；第四节展示实验结果；最后在第五节给出结论。

章节摘录
音频视觉声音事件定位与检测
音频视觉声音事件定位与检测的任务是利用音频与视觉信息，在给定环境中定位并分类声音事件（Das等人，2026年；Das和Sharma，2026年）。这一任务最初是在DCASE 2023的第三项挑战中提出的。与声音事件定位与检测任务类似，其核心目标也是预测声音事件的位置。不过，由于还需要考虑视觉信息，音频视觉声音事件定位与检测任务更具挑战性。

初步介绍
状态空间模型源自经典控制理论，能够以线性和时不变的方式实现序列映射。具体而言，输入x(t)∈RL会通过一个隐藏状态空间h(t)∈RN转换为输出y(t)∈RL。该过程可表示为：
h′(t)=Ah(t)+Bx(t),
y(t)=Ch(t)+Dx(t)
其中，A∈RN×N、B∈RN和C∈RN分别代表状态矩阵、输入投影矩阵和输出投影矩阵，D∈R1则表示神经网络中的残差连接。

数据集与评估指标
数据集与数据增强。与之前的研究（Berghi等人，2024年）一致，本研究采用了STARSS2023数据集（Shimada等人，2023年）。该数据集仅包含7小时22分钟的真实录音，分为训练数据集（90个片段）和测试数据集（78个片段），共涵盖13类声音事件。视频数据为该环境的360°视角图像，分辨率为1920×960。音频数据可采用两种格式。

结论
我们提出了DSF-Net，这是一个基于Mamba架构、专为音频视觉声音事件定位与检测任务设计的框架。我们设计了一种新颖的音频视觉融合与对齐机制，即自适应频率融合模块，该机制能够从频域角度有效捕捉音频与视觉信息的全局特征。此外，我们还引入了另一种模块，即在考虑音频与视觉信息一致性的基础上进一步提升融合后特征质量的具有音频感知能力的聚合模块。

CRediT作者贡献声明
Pi Rendong：撰写——初稿、方法论、研究分析、数据整理、概念构思。Zhang Yingchao：方法论、研究分析、数据整理。Rao Wei：撰写——审稿与编辑、指导、研究分析。Chng Eng-Siong：撰写——审稿与编辑、指导、方法论。Yu Xiang：撰写——审稿与编辑、指导、项目管理、资金筹措。

利益冲突声明
作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢
作者感谢香港理工大学人工智能物联研究院提供的资金支持。

Pi Rendong | Zhang Yingchao | Rao Wei | Chng Eng-Siong | Yu Xiang