基于相关性的视听融合技术用于视频显著性预测

《IEEE Transactions on Emerging Topics in Computational Intelligence》：Relevance-Guided Audio Visual Fusion for Video Saliency Prediction

　　

摘要：

音频数据通常与视频帧同步，它在引导观众的视觉注意力方面起着关键作用。将音频信息纳入视频显著性预测任务中可以提高对人类视觉行为的预测准确性。然而，现有的音视频显著性预测方法往往直接融合音频和视觉特征，而没有评估它们之间的语义相关性。将视觉特征与语义无关的音频（例如背景音乐）融合会引入噪声并降低预测性能。为了解决这个问题，我们提出了一种新颖的基于音视频相关性的显著性预测网络（AVRSP）。具体来说，相关性引导的音视频特征融合模块（RAVF）根据音频和视觉元素之间的语义相关性动态调整音频特征的保留程度，从而优化了与视觉特征的融合过程。此外，多尺度特征协同（MS）模块整合了来自不同编码阶段的视觉特征，增强了网络在不同尺度上表示物体的能力。多尺度调节器门（MRG）将关键的融合信息传递给视觉特征，从而优化了多尺度视觉特征的利用。在六个音视频眼动数据集上的广泛实验表明，所提出的AVRSP网络性能优于现有方法，在SIM、CC和NSS指标上分别提高了1.93%、3.05%和3.81%。