面向视听分割的协同语义对齐与引导

《Neurocomputing》：Cooperative semantic alignment and guidance for audio-visual segmentation

　　摘要音视频分割（Audio-Visual Segmentation, AVS）旨在实现声源像素级精确分割，是多模态学习中的一个关键研究方向。尽管近期方法已取得显著进展，但仍受到两个根本性挑战的制约：语义混淆，即模型错误地将主导声音与视觉上显著但实际无声的物体关联；以及语义-结构鸿沟，即携带高层语义信息的音频特征无法与具有丰富结构细节的浅层视觉特征有效关联。为解决上述问题，我们提出了协同语义对齐与引导框架（Cooperative Semantic Alignment and Guidance, CSAG）。该模型集成了音视频语义对齐（Audio-Visual Semantic Alignment, AVSA）机制和语义引导精细化融合（Semantic-Guided Refinement Fusion, SGRF）机制。AVSA机制通过选择性状态空间模型增强非显著发声物体并过滤跨模态噪声，从而消除语义混淆，建立精确的声音-物体对应关系。SGRF机制则以对齐后的音频语义作为动态引导，通过粗粒度定位并选择性融合浅层特征中的精细空间细节，弥合语义-结构鸿沟。由此，背景噪声得到有效抑制，锐利边界与完整结构得以恢复。在S4、MS3和AVSS基准上的大量实验表明，CSAG达到了最先进的性能，在复杂音视频场景中同时实现了精确的定位和鲁棒的结构恢复。1 引言近年来，随着多模态感知技术的快速发展[1], [2]，融合视觉和听觉信息的研究已成为人工智能领域的重要前沿方向。一系列音视频学习任务相继涌现。早期的音视频对应学习（Audio-Visual Correspondence Learning, AVCL）[3]建立了视觉与听觉信号之间的基本关联。随后出现了两个互补的方向：一是语音领域的专门学习，如音视频语音识别（Audio-Visual Speech Recognition, AVSR）[4]；二是以音视频事件定位（Audio-Visual Event Localization, AVEL）[5]为代表的时序学习，将研究重点从静态关联扩展到动态事件推理。在时序定位的基础上，弱监督视频解析[6]通过同时建模多个事件，进一步推动了整体场景理解。在此背景下，音视频分割（AVS）[7]代表了一种空间细粒度的音视频理解任务，将跨模态对应关系从事件级推理扩展到像素级的定位与分割。早期的AVS方法主要关注音频与视觉信号的简单融合或对齐[7], [8], [9]。随着注意力机制的广泛应用，以音频作为查询的框架成为主流，通过跨模态注意力动态关联音频特征和视觉特征，从而有效提升发声物体的定位与分割能力[10], [11], [12], [13]。然而，这些方法主要依赖隐式的特征交互，缺乏在融合前解决语义歧义的显式机制，同时也缺乏在融合过程中恢复精细空间结构的显式设计。这些不足导致了两个关键问题：语义混淆和语义-结构鸿沟。首先，现有方法[10], [11], [13], [14]由于跨模态学习偏差，容易产生语义混淆。它们优先考虑模态特定显著性，而非真正的语义对应关系。视觉编码器通常强调视觉显著物体[15]，而音频编码器则关注主导声学事件。然而，在复杂场景中，视觉显著性与音频主导性常常不匹配，导致虚假关联。因此，模型错误地将主导声音与显著但无声的物体关联。例如，在图1(a)所示的场景中，"人"在视觉上较为显著，而实际发声物体"枪"相对较小且不太显眼。受语义混淆影响，模型错误地将主导的枪声与视觉上显著的"人"关联，而忽略了真正的发声物体"枪"，导致分割目标完全错误。其次，由于模态间的表征不对称性，存在语义-结构鸿沟。音频信号编码高层语义但缺乏空间结构，而视觉特征具有多尺度空间组织：深层视觉层捕获语义线索，浅层则保留结构细节。准确的分割需要将音频提供的语义引导与浅层视觉层提供的精细结构细节结合起来。然而，这两类关键信息处于截然不同的表征空间中。若没有显式机制来弥合这一鸿沟，融合后的表征往往会丢失精细边界细节或出现内容不完整的问题。如图1(b)所示，当前方法生成的掩码通常边界模糊且结构不完整，限制了像素级边界的恢复能力。这些挑战凸显了需要更加精细有效的方法的必要性，也促使我们回答两个基本研究问题：(1) 模型如何超越虚假关联，建立音频与视觉模态之间真正的语义对应关系？(2) 模型如何弥合截然不同的表征空间之间的语义-结构鸿沟，实现全面的空间-语义对齐，从而完成高保真分割？针对上述问题，我们提出了协同语义对齐与引导框架（CSAG），包含两个核心机制：音视频语义对齐（AVSA）机制和语义引导精细化融合（SGRF）机制。具体而言，AVSA机制始于差分感知增强步骤，该步骤在通道级别挖掘视觉特征中潜在的非显著发声物体，从而显著增强视觉语义。为处理跨模态交互，我们引入了Mamba模型，该模型利用输入依赖的选择性扫描机制过滤模态特异性噪声并放大一致信号，保留共享的音视频语义，同时丢弃无关数据，从而在声音与其对应物体之间建立精确的语义关联。通过这种方式，我们的方法消除了音频与视觉上显著但非发声物体之间的虚假关联。在此基础上，SGRF机制将对齐后的音频语义作为动态引导，首先通过音频语义引导的注意力机制进行粗粒度定位以抑制背景干扰，然后通过引导式细节注入策略选择性提取并融合来自高分辨率浅层视觉特征的精细空间细节，在语义引导下准确恢复物体边界和内部结构。通过这种渐进式"对齐-引导-精细化"设计，所提框架有效解决了跨模态语义混淆和语义-结构鸿沟这两个长期存在的核心挑战。得益于跨模态语义对齐和音频语义引导，CSAG在AVS和AVSS数据集上均取得了具有竞争力的性能。在使用ImageNet预训练的PVT-v2主干网络时，该方法在S4数据集上达到0.699，在MS3数据集上达到0.782。这些结果证明了我们的框架在实现精确跨模态对应关系方面的有效性，以及在复杂音视频场景中解决语义混淆和结构丢失问题的强大能力。2 相关工作片段2.1 音视频学习音视频学习已从粗粒度的跨模态关联发展为细粒度的场景理解。早期的音视频对应学习（AVCL）[3]建立了将声音与视觉场景关联的自监督和弱监督范式，代表工作包括Arandjelovi?等人[16]和Senocak等人[17]的研究。与此同时，音视频语音识别（AVSR）[4]作为一个专门方向应运而生。随后，音视频事件定位（AVEL）[5], [18]……2.2 预备知识Mamba是一种基于结构化状态空间模型（SSM）的新型序列建模架构，其核心创新在于选择性扫描机制，该机制使模型能够根据输入动态决定是否保留或丢弃信息，从而高效建模长程依赖关系。连续状态空间模型可描述为：其中、和分别代表输入、隐藏状态和输出序列，系统参数为。2.3 数据集实验在两个公开基准上进行：AVSBench-object[7]和AVSBench-semantic[21]。AVSBench-object专注于物体级音视频分割，包含两个子集：1) 半监督S4子集（4,932个视频），仅对每个视频的第一帧提供像素级掩码标注，该设置评估模型在有限监督下泛化和跟踪单一声源的能力。2) 全监督MS3子集（424个视频），每个……3 结论本文提出了一种新型音视频分割框架，解决了模型对视觉显著物体和噪声音频的固有偏向以及空间细节丢失的问题。核心创新在于两个机制：音视频语义对齐（AVSA）机制和语义引导精细化融合（SGRF）机制。AVSA机制通过差分感知机制和状态空间建模在通道级别重新校准特征。SGRF机制对……CRediT作者贡献声明董相昊：论文撰写——初稿，可视化，验证，方法论，概念构思。刘雷叶：论文撰写——审阅与编辑，方法论，概念构思。张淼：监督，资源，经费获取。苗永日：监督，资源，经费获取。利益冲突声明作者声明不存在可能影响本文所述工作的已知竞争性财务利益或个人关系。作者简介董相昊于2024年获得湘潭大学通信工程专业学士学位，目前在大连理工大学攻读硕士学位。其研究兴趣集中在计算机视觉和多模态融合领域。