多尺度多模态互补融合网络(MMCFNet)：基于光场显著目标检测的创新方法

本文提出了一种创新的多尺度多模态互补融合网络(MMCFNet)，用于解决光场显著目标检测(LFSOD)中的关键挑战。作者设计了切片交织增强模块(SIEM)和高层次特征融合模块(HFFM)等创新结构，通过跨注意力机制(CrossA)和紧凑金字塔精炼(CPR)模块实现了多模态光场数据的高效融合。实验证明该方法在三个公共数据集上超越了11种现有最优(SOTA)方法，为复杂场景下的视觉检测提供了新思路。

　　

Highlight
• 我们提出了一种新颖的光场显著目标检测(LFSOD)特征融合策略，包含HFFM、CrossA和CPR模块。该策略充分考虑了多模态和多尺度特征的互补关系，使网络能更全面地关注显著目标信息。
• 我们基于Swin Transformer设计了切片交织增强模块(SIEM)，利用焦平面切片间的几何关系进行前景背景分割。
• 大量实验表明，我们的MMCFNet在三个公共数据集上取得了整体最佳结果，超越了11种当前最优(SOTA)LFSOD方法。

Related work
现有显著目标检测(SOD)方法根据输入数据可分为2D(RGB)、3D(RGB-D)和4D(光场)SOD。本节简要概述了2D、3D和4D SOD方法的研究进展。

Proposed method
图1展示了我们MMCFNet的整体框架。先前研究表明PVTv2作为骨干网络在特征提取方面表现优异，因此我们采用PVTv2分别提取焦平面堆栈和全聚焦图像特征。由于获得的特征图具有不同分辨率和通道数，我们采用轻量级感受野块(RFB)增强特征判别能力，并使用卷积将通道数压缩至32。

Experiments
本节首先介绍实验设置，包括数据集、评估指标和实现细节。接着我们与SOTA方法进行全面比较。最后通过消融实验验证所提模块的有效性。

Conclusion
本文提出了一种新型LFSOD网络MMCFNet，有效利用多尺度和多模态互补信息进行特征融合。我们设计的SIEM模块充分学习焦平面堆栈的丰富几何结构，减少了冗余信息干扰。此外，针对光场多尺度和多模态互补信息利用不足的问题，我们引入了创新的融合策略。HFFM整合了语义...