SPECTRA-AVQA-Net：基于跨模态变换的稀疏感知增强技术，用于音视频问答任务

《IEEE Transactions on Computational Social Systems》：SPECTRA-AVQA-Net: Sparse Perceptual Enhancement With Cross-Modal Transformation for Audio–Visual Question Answering

　　

摘要：

音视频问答（AVQA）是人工智能领域的一个新兴研究方向，它需要同时对音频、视觉和文本信息进行综合推理。然而，现有的AVQA方法存在两个主要缺陷：音频与视觉信号之间的时空对齐不够准确，以及不同模态在语义贡献上的不平衡，这些问题都制约了有效的多模态推理和上下文理解能力。为了解决这些问题，我们提出了SPECTRA-AVQA-Net，这是一种旨在提升多模态特征提取、对齐和融合能力的统一架构，从而实现更强大的AVQA功能。该框架引入了稀疏范围感知多头注意力机制（SRA-MHA），能够有选择地关注有用的模态线索，同时高效地处理多范围依赖关系。此外，多尺度前馈网络（MS-FFN）通过深度可分离卷积和点积投影，捕捉局部和全局的模态特定模式。我们还设计了多阶段跨模态注意力变换器（MS-CMAT），通过分层的、以问题为导向的跨模态交互，逐步实现音频与视觉流之间语义表示的对齐。在MUSIC-AVQA基准测试上的大量实验表明，所提出的框架具有显著效果。SPECTRA-AVQA-Net在真实数据集和合成数据集上的准确率分别达到了78.73%和77.09%，创造了新的最佳性能纪录，展现了其在复杂音视频推理任务中的强大能力。