引言
视听信号构成了人类感知的基础，两者的融合使大脑能够形成对周围环境的连贯理解（Gao et al., 2023）。受此认知机制的启发，视听分割（Gong et al., 2025, Zhou, Shen, et al., 2025, Zhou et al., 2022）已成为复杂环境中多模态感知的核心能力，支持自动驾驶和具身智能等应用。同时，文本模态为用户传递意图和指导提供了自然通道（Ding et al., 2026）。将文本指令与视听线索相结合，催生了引用视听分割（Reference Audio–Visual Segmentation, Ref-AVS）任务（Wang et al., 2024），该任务旨在通过结合多模态信号与语言引用来定位目标对象。具体而言，Ref-AVS 要求模型在文本表达的引导下利用视听线索，并在像素级别预测每个区域是否对应所引用的语义。
引用表达可以通过宽泛类别或功能组来描述目标，例如"乐器"或"发声物体"，而像素级分割需要从视听证据中识别出特定对象，如尤克里里琴。我们使用语义粒度不匹配来描述引用表达与用于目标定位的对象特定证据之间的语义特异性差异。这种不匹配的产生是因为一个宽泛术语可以适用于多个候选对象，而目标实例必须借助额外的声学、视觉和时间线索来确定。Ref-AVS 提供了多模态表达和像素级目标标注，用于研究这一定位问题（Wang et al., 2024）。我们的问题定义还受到分层图像-文本表示学习（Desai et al., 2023）中研究的从抽象到具体的语义关系的启发。因此，有效的 Ref-AVS 需要将宽泛的文本描述与精确定位目标所需的证据关联起来。一个互补的挑战是在动态复杂场景中维持跨时间的视听一致性。
克服这些挑战的一个关键方向是实现有效的多模态融合与对齐，旨在建立跨模态的鲁棒语义对应关系。这种能力有助于更全面地理解抽象引用表达，并增强模型在动态环境中的一致性。近年来，提出了多种用于视听分割（AVS）的代表性多模态融合方法（Gong et al., 2025, Y.-H. Zhou et al., 2025, J. Zhou et al., 2025, Zhou et al., 2022）。这些研究探索了多种融合策略，包括基于查询的交互机制、提示驱动自适应建模和细粒度时空相关性学习，以增强跨模态对齐并缩小听觉与视觉信号之间的语义鸿沟（Du et al., 2025, Gao et al., 2024, Wang, Liu, et al., 2024）。尽管多模态融合取得了显著进展，但现有方法（Du et al., 2025, Gao et al., 2024, Wang, Liu, et al., 2024）仍然聚焦于音频与视觉表示之间的特征级相关性，而更高层面的语义对齐得到的关注相对有限。
Ref-AVS（Wang et al., 2024）进一步引入了文本模态，利用自然语言描述作为指导，在复杂场景中定位与声音相关的对象。近期的基于 Transformer 的引用视频分割框架通过注意力机制和循环一致性约束改善了视频-语言对齐，从而实现了更连贯的分层语义理解（Li et al., 2023, Wu et al., 2022）。然而，其性能仍然受到视听上下文关系建模不足的制约。即使采用深度多模态融合策略（Wang et al., 2024），现有方法仍难以解释抽象或定义不足的引用表达。从图 1 可以看出，在真实场景中，用户经常使用上位词如"乐器"或"发声物体"来描述目标实体，其中每个术语可能对应场景中多个可能的对象。如果没有有效的机制来捕获和建模这些分层语义关系，模型很容易误判目标。因此，在 Ref-AVS 设置下，弥合高层语言抽象与低层细粒度多模态表示之间的鸿沟对于实现鲁棒且一致的分割至关重要。
为解决引用视听分割（Ref-AVS）中的语义粒度不匹配和时空不一致问题，我们提出了分层语义辅助融合（Hierarchical Semantic-assisted Fusion, HiSAFE），这是一个面向抽象引用表达下三模态定位的分层感知框架。与以往主要聚焦于分类和检索的双曲多模态对齐方法（Desai et al., 2023）不同，HiSAFE 专为 Ref-AVS 中的稠密像素级定位而设计，其中抽象的文本引用必须与细粒度的视听证据相关联。具体而言，我们引入了一种分层语义一致性损失（Hierarchical Semantic Consistency Loss, HSCL），用于在自适应多曲率双曲空间中约束视听一致性。HSCL 不使用文本特征作为显式的超类锚点，而是提供了一种隐式的几何感知归纳偏置，用于组织不同语义粒度下的跨模态表示。引用表达通过整体的 HiSAFE 框架引导目标特定的定位。考虑到声学观测中的歧义性，我们进一步引入了一种感知发声的音频融合权重，自适应地控制听觉特征的贡献，强调相关声音线索，同时抑制歧义或不匹配响应。我们还设计了一个全局-局部上下文聚合模块（Global–Local Context Aggregation, GLCA），通过结合全局语义上下文与局部空间细节来优化跨模态表示。对于早期视听时序建模，我们开发了一个共享状态空间编码器（Shared State Space Encoder, S3），在音频和视觉序列之间建立共享潜在状态，提升动态场景中的跨模态一致性和时空聚合能力。
我们的主要贡献总结如下：
- •
我们提出了 HiSAFE，一个分层感知的 Ref-AVS 框架，隐式地解决了抽象文本引用与细粒度视听线索之间的语义粒度不匹配问题。
- •
我们引入了 HSCL，在自适应多曲率双曲空间中约束视听一致性，以及 GLCA，将全局语义上下文与局部空间线索相结合。两者共同支持在细粒度视听证据中对抽象表达的引用条件定位。
- •
我们设计了一个高效的 S3 编码器用于早期视听时序建模，提升动态场景中的跨模态一致性和时空聚合能力。
- •
在 Ref-AVS 基准上的大量实验表明，HiSAFE 相较于 EEMC 取得了提升，并在其基于 Mamba、SAM2 和 MLLM 的变体中分别在对应比较组内取得了最佳报告的Seen 和Mix 结果。
