引言
视觉注意力机制（Koch等人，2006年）使人类能够快速识别和定位复杂场景中的关键信息。多项研究（Coutrot, Guyader, Ionescu, 2012年；McGurk, MacDonald, 1976年）表明，视觉注意力不仅受视觉刺激的影响，还受到不同感官模式（如听觉感知）整合的影响。基于此，研究人员逐渐将重点转向视听显著性预测，该预测通过模拟大脑整合视觉和听觉信息的过程来模拟场景中每个区域的重要性。这项研究已广泛应用于视频内容分析（Wang, Ji, 2015年；Xiao, Tang, Li, Luo, & Li, 2024年）、对象跟踪（Arthanari, Jeong, Joo, 2025年；Xiao, Cao, Zhong, Lan, Zhang, Luo, Tao, 2024年）、视频压缩（Li, Yang, Li, Wang, Wang, 2022年；Wang, Chan, Donzella, 2023年）和图像分割（Cui, Zhou, Bao, Wan, Shi, Chen, Zhang, 2025年；Song, Tan, Li, Hei, 2025年；Tang, Li, 2024年）等领域。
近年来，随着Transformer架构（Dai, Qiu, Gao, Xie, Cao, Li, Zhao, Wang, 2025年；Li, Wang, Liu, Zhu, Zhong, Wang, 2024年；Vaswani, 2017年）的出现及其在显著性预测中的日益广泛应用，已经提出了几种基于Transformer的视频显著性预测（VSP）模型（Tan, Sun, Liang, 2024年；Zhou, Wu, Shi, Zheng, Wang, Yin, Zhang, Yan, 2023年），取得了令人满意的性能。与早期基于3D卷积（Chang, & Zhu, Wang, Liu, Li, Wang, Zhang, Xu, Wang, 2021年）和LSTM（Jiang, Xu, Liu, Qiao, Wang, 2018年；Wang, Shen, Guo, Cheng, Borji, 2018年）的VSP模型相比，基于Transformer的模型在捕捉长距离依赖关系和提取全面时空特征方面表现出色。然而，仅依赖视觉的模型缺乏区分视觉上相似对象（例如对话中的多个说话者）的听觉线索。因此，当仅凭视觉外观无法明确指出被关注的对象时，视听交互就非常重要。为了解决这个问题，一些研究人员将音频信号作为额外的模态纳入视频显著性预测（VSP）中，这一任务被称为视听显著性预测（AVSP）。如图1所示，我们比较了VSP和AVSP的结果。在蜥蜴捕猎昆虫的情景中，由于昆虫体积小且具有伪装，VSP模型难以检测到它。相比之下，AVSP模型通过利用昆虫发出的声音有效地追踪了昆虫的位置，从而提供了更准确的空间定位。
现有的AVSP模型通常采用双流架构，分别编码时空视觉信息和听觉线索，然后通过多模态融合进行显著性预测。代表性方法将音频特征纳入3D卷积表示中（Tsiami等人，2020年），或者在基于S3D的编码器-解码器框架内进行多层视听融合（Xie, Sun, Huang, Tu, Murphy, 2018年；Xiong, Wang, Zhang, Huang, Zha, Zhai, 2023年）。最近，DiffSal（Xiong等人，2024年）在基于扩散的框架内实现了AVSP，进一步改进了多模态显著性建模。尽管取得了这些进展，但使用计算密集型的时空编码器和视听交互模块往往导致模型复杂度增加和推理成本上升，限制了它们在资源受限场景中的适用性。因此，轻量级显著性模型探索了高效的特征提取和解码策略（Hu, Palazzo, Salanitri, Bellitto, Moradi, Spampinato, McGuinness, 2023年；Yang, Lin, Jiang, Lin, 2019年；Zhu, Shao, Zhou, Min, Zhai, Yang, 2023年），包括使用基于图像的骨干网络来减少时空编码的开销（Simonyan, 2014年）。
然而，实现轻量级AVSP不仅仅是简单地降低计算复杂度。两个问题仍然特别重要：i）有效的视听对应关系和ii>精确的多尺度定位。首先，简单的融合操作（如逐元素相加或通道连接）在将听觉线索与其对应的视觉区域明确关联方面的能力有限，这可能会妨碍在视觉上竞争的场景中区分显著性对象。其次，主要依赖高级特征进行显著性推理可能会忽略保存在较浅表示中的细粒度空间信息，从而降低不同尺度上显著性区域的定位精度。
鉴于这些挑战，我们提出了一个轻量级的视听注意力跨感知网络（LAAC-Net），在紧凑的预测框架内整合互补的视听线索和多层次空间信息。如图2所示，LAAC-Net由三个主要部分组成：轻量级双流编码器、视听跨感知融合（ACPF）模块和多层次膨胀感知（MLDP）模块。为了减少时空编码的计算开销，视觉分支采用了轻量级的MobileOne图像骨干网络（Vasu等人，2023年）代替S3D，并通过最大池化逐步压缩时间维度，同时在帧间聚合信息。与此同时，音频分支采用ResNet-18（He等人，2016年）从重采样的音频信号频谱图中提取听觉表示。为了建立听觉线索和视觉区域之间的有效对应关系，ACPF采用多头自注意力（MSA）来建模视听关联，并采用多头交叉注意力（MCA）来促进时间组之间的信息交互。在解码过程中，通过跳跃连接逐步整合层次特征，使高级语义线索引导较浅的表示，同时保留细粒度空间信息。MLDP模块通过具有不同膨胀率的级联卷积进一步聚合多尺度时空上下文，从而增强不同空间尺度上的显著性定位。本发明的主要贡献可以总结如下：
•我们提出了一种轻量级的视听注意力跨感知网络（LAAC-Net），用于高效的视频显著性预测。在六个视听数据集上的广泛实验表明，LAAC-Net在模型大小和推理速度方面都优于现有的轻量级方法。
•我们引入了一个视听跨感知融合（ACPF）模块，该模块结合了自注意力和交叉注意力来建模视听关联，并使听觉线索能够引导视觉显著性定位。
•我们设计了一个多层次膨胀感知（MLDP）模块，通过具有不同膨胀率的级联卷积逐步聚合层次化时空特征，增强了多尺度时空上下文，从而实现准确的显著性定位。
