面向 V-D-T 显著目标检测的基于状态空间模型的轻量级注意力感知融合网络

《Neural Networks》：Lightweight Attention-Aware fusion Network based on State-Space Model for V-D-T Salient Object Detection

　　

•我们提出了 LAANet，用于可见光 - 深度 - 热成像显著性目标检测。
•CMFM 专为具有线性复杂度的高效跨模态交互而设计。
•引入 APFM 以克服状态空间模型的内存限制。
•轻量级解码块 (LDB) 仅使用 0.37M 参数进行重建。
•LAANet 在 VDT2048 上以仅 6.78M 参数实现了具有竞争力的准确性。

引言
作为计算机视觉的一项基本任务，显著性目标检测 (SOD) 旨在赋予计算机感知场景中显著对象的能力。SOD 可作为图像理解中的预处理步骤，消除冗余信息并提高各种高级视觉任务的计算性能，已广泛应用于动作识别 Zong et al. (2021)、目标跟踪 Hong et al. (2015) 等领域。据我们所知，现有的基于图像的 SOD 研究大致可分为三类：RGB SOD Fan et al. (2018a); Zhao et al. (2019)、RGB-Depth (RGB-D) SOD Liu et al. (2021); Wu et al. (2022) 和 RGB-Thermal (RGB-T) SOD Cong et al. (2023); Tang et al. (2025)。与 RGB SOD 相比，RGB-D 和 RGB-T SOD 任务本质上引入了额外的模态，这些模态在具有挑战性的场景（例如低光条件、前景对象与背景相似以及杂乱背景）中仍然有效，以提高模型的泛化能力。遗憾的是，深度图像和热红外图像的质量很容易受到各自环境的影响，如图 1 所示。例如，深度图像在面对小对象或浅景深等情况时，难以提供有效信息甚至引入额外的噪声。热红外图像容易受热交叉和热辐射等因素影响，导致图像失真并影响模型性能。最近，考虑到深度图像和热红外图像不同的适用场景，研究人员开发了 V-D-T SOD Cui et al. (2025); Sun et al. (2026) 以增强模型在更多场景中的适用性，主要包括三个研究方向：多模态特征交互 Huang et al. (2024); Song et al. (2023b); Wan, lv, Zhou, Sun, Zhu, Wang, Yan, 2024a, Wan, Zhou, Sun, Wang, Lv, Wang, Yin, Yan, 2024b、图像质量感知 Bao et al. (2024) 和轻量级模型 Qiu et al. (2024); Song et al. (2023a)。尽管这些 V-D-T SOD 方法验证了三种模态综合使用的有效性，但它们仍然面临以下两个挑战：1) 与单模态和双模态 SOD 相比，V-D-T SOD 由于其输入更多，本质上需要更大的计算开销。然而，现有高性能方法通常依赖于复杂的网络结构，这严重限制了它们在边缘设备上的应用。如何设计一种平衡效率和准确性的轻量级 V-D-T SOD 架构，同时增强实时能力和可用性，仍然是一个亟待解决的重要问题。2) 尽管上述方法证明了利用不同模态可以有效提升 SOD 性能，但盲目融合三模态特征容易引入噪声信息，导致算法性能下降。如何从三模态特征中提取有效信息并利用多模态协作的潜力仍然是一个极具挑战性的问题。

为了解决这些挑战，我们提出了一种基于状态空间模型的新型轻量级注意力感知融合网络，用于 V-D-T 显著性目标检测。具体而言，为了高效整合三模态特征，我们设计了一个名为跨 Mamba 融合模块 (CMFM) 的轻量级融合模块。它利用 SSM 的线性复杂度来计算浅层高解析度三模态特征内部和之间的感兴趣区域，并聚合其互补的显著性线索。考虑到 SSM 固有的遗忘性，我们设计了基于自注意力机制的注意力感知融合模块 (APFM) 以挖掘完整的语义关系。最后，我们设计了一个简化的解码器，以从多级聚合特征中逐步恢复并生成显著性预测。

本文的主要贡献如下：
•我们提出了一种用于 V-D-T SOD 的新型轻量级注意力感知融合网络 (LAANet)。与现有主要采用 SSM 进行单模态特征建模的基于 Mamba/SSM 的 SOD 方法不同，我们的方法将 SSM 扩展到跨模态交互，并以规模依赖的方式将其与自注意力相结合。
•提出了一种新型的跨 Mamba 融合模块 (CMFM) 以高效整合多模态特征。CMFM 模拟了交叉注意力机制的过程，当部署在所有层时，仅需 2.39M 参数即可实现多模态特征内部和之间的注意力区域感知和融合。为了补偿 SSM 固有的遗忘性，提出了一种基于自注意力机制的新型注意力感知融合模块 (APFM)。APFM 可以挖掘完整的语义关系，并且在部署到深层网络时比 CMFM 具有更低的计算开销。
•提出了一种轻量级解码器 (LDB) 以高效重建图像特征。LDB 由简单的空洞卷积和线性运算组成，仅包含 0.37M 参数，在保持高重建准确性的同时显著降低了计算开销。
•在 V-D-T 数据集上的大量实验结果表明，我们的 LAANet 取得了接近 SOTA 的性能，并且在性能和效率上优于现有的轻量级多模态 SOD 方法。

相关工作
SOD 最初是在易于获取的 RGB 图像上开发的，即单模态 SOD。早期的传统单模态 SOD 方法通常基于人工特征或先验知识来构建模型 Cheng et al. (2015); Li et al. (2013)。然而，由于人工特征或先验知识表达的信息有限，传统方法在面对复杂场景时难以获得令人满意的结果，甚至算法失败。近年来，随着深度学习的快速发展，以 CNN 和 ViT 为代表的深度神经网络以其强大的特征提取能力突破了传统方法的局限性，并在各种视觉任务中取得了显著成功。2015 年，Zhao et al. Zhao et al. (2015) 首次将深度学习引入显著性目标检测，利用深度神经网络自动学习图像中显著对象的特征表示，取得了比传统方法更好的检测性能。此后，涌现出一系列基于深度学习的 SOD 杰出研究。例如，Zhang et al. Zhang et al. (2017) 提出了一种多尺度深度网络结构，通过融合不同尺度的特征图来捕获显著对象的多尺度信息，从而提高检测精度。Liu et al. Liu et al. (2020) 利用注意力机制对特征图中的每个像素进行加权，使网络能够专注于显著区域并抑制背景干扰。Zhao et al. Zhao et al. (2019) 提取图像的边缘信息来引导显著性目标检测，提高了检测精度，并展示了边缘信息和深度特征的互补性。Wu et al. Tu et al. (2022) 引入了 DCN 模型，将网络分为两个阶段。分解网络迭代使用跨任务和跨层聚合模块来预测显著性、边缘和骨架图。在合成网络中，边缘和骨架信息分别用于定位显著对象的边界和内部，这有助于填补缺陷和抑制噪声。Li et al. Li et al. (2024) 探索了 GCN 在 SOD 任务中的潜力。他们测量非欧几里得空间中的特征距离，并将对象上下文关系构建为拓扑图。然后，采用 GCN 比较和建模上下文信息，使模型能够从特征中学习度量并适应数据的隐藏空间分布，从而获得准确的特征关系以实现精确检测。

上述方法可以在简单场景中取得令人满意的结果，但它们依赖于 RGB 可见光图像中的颜色、轮廓和纹理等外观信息。当面对背景和前景外观相似、图像照明不足等复杂情况时，算法难以提供令人满意的检测结果甚至失败。

以 RGB-D SOD 和 RGB-T SOD 为代表的双模态 SOD 引入了深度或热图像，以增强 RGB 图像在低对比度和光照不均等挑战性场景中的局限性。早期的双模态 SOD 依赖人工特征或先验知识。在深度学习时代，涌现了各种研究方向。一些研究专注于跨模态特征融合。例如，Liu et al. Liu et al. (2022) 采用双流 Swin Transformer 编码器提取多模态特征，随后提出了空间对齐和通道重校准模块来优化层间跨模态特征。此外，为了解决边界模糊问题，解码器在边缘特征的指导下促进了层间跨模态融合。Huo et al. Huo et al. (2022a) 采用 HRFormer 扩展特征感受野，使用全局优化和注意力机制在输入级别选择和提纯模态。随后，他们通过设计的双向短连接融合模块优化 HRFormer 的输出特征，从而增强了输出级别对象的详细表示。Tang et al. Tang et al. (2025) 提出了一种基于“分而治之”策略的 ConTriNet，具有三个并行流（RGB 特定、热特定和模态互补流），以探索模态特定线索和跨模态互补信息。它引入了模态诱导特征调制器 (MFM) 和模态感知动态聚合模块 (MDAM) 以减少模态差异并增强对缺陷模态的鲁棒性。Wang et al. Wang et al. (2025) 采用非对称双流架构（RGB 使用 SwinV2-B，深度使用 Res2Net50），设计了一个跨模态融合编码器，以利用 RGB 和深度图像之间的互补特性来丰富显著对象识别的信息。Yang et al. Yang et al. (2026b) 提出了一种模态自适应网络，能够处理任意模态组合的显著性目标检测，通过自适应机制动态调整不同模态的融合权重，以解决传统方法中固定融合策略导致的模态不平衡问题。Yang et al. Yang et al. (2026a) 关注 RGB-D 显著性目标检测中的融合偏差问题，提出通过优化的跨模态融合策略来减轻偏差，防止单模态主导导致的性能下降。Liu et al. Liu et al. (2021) 利用一组参数共享的 Transformer 块来增强源自 CNN 架构的分支和聚合特征，从而实现全局语义增强。Pang et al. Pang et al. (2023) 结合自注意力和交叉注意力创建了一个跨模态聚合单元，基于语义相似度从全局序列中的其他特征收集信息，并为两种注意力添加了通道分支，以充分利用空间和通道视角的模态间和模态内信息。

如图 1 所示，成像设备在获取深度或热图像时，由于环境因素可能会产生低质量图像。一些研究从质量评估的角度确定深度或热图像的使用率。Cong et al. Cong et al. (2023) 为低光场景引入了一种照度评分方法来测量图像可信度，将其作为权重来控制 RGB 和热图像的使用。Chen et al. Chen et al. (2021) 通过计算分割深度图与显著性真值图之间的相似度，获得了深度图像质量的伪标签。这个伪标签作为训练中的监督，使网络能够感知深度图像质量并获得一个控制深度信息引入的表示因子。Fan et al. Fan et al. (2021) 在输出端进行质量评估，基于深度和 RGB-D 输入的显著性图之间的相似度决定最终输出。如果差异很大，则丢弃深度信息。

尽管深度图像和热图像可以在一定程度上提高 SOD 算法的性能和适用性，但双模态在深度图像和热图像中仍然面临固有的挑战。深度图像对于小对象或位置差异较小的对象无效或存在噪声。热交叉、热辐射和反射影响红外图像。这些问题损害了双模态 SOD 在各种挑战性场景中的算法性能和泛化能力。

考虑到深度和热图像可以适应不同的场景，一些研究开始探索使用 RGB、深度和热模态的 V-D-T SOD。例如，Song et al. Song et al. (2023b) 创建了第一个三模态数据集 VDT2048 并提出了第一个 V-D-T SOD 基准 HWSI。他们使用三个流编码器从每个模态提取特征，使用空洞卷积探索单模态特征内部的互补信息，并使用注意力引导 RGB-深度和深度 - 热特征聚合。然后他们对两个聚合特征进行加权，并使用由全局信息引导的线性计算和卷积进行三模态特征聚合。Wan et al. Wan et al. (2024b) 提出了 MFFNet，在编码过程中，以 RGB 流为例。

除了第五层，在编码器的每一层特征输出之后，MFFNet 引入了相应的深度和热特征。在注意力引导下，它将这两种模态的关键信息注入到 RGB 特征中，并将它们馈送到下一层编码器。另外两个流编码器结构相似。在解码期间，网络通过结合多尺度上下文和边缘线索逐步解码以生成预测。Huang 等人 (2024) 设计了一个动态模态权重生成器用于自适应多模态融合。Wan 等人 (2024a) 使用空洞卷积和注意力机制进行模态间优化和交互，添加边缘监督以细化物体边界。Bao 等人 (2024) 通过三个子网络解决潜在的图像质量问题，以识别高质和低质图像区域并选择性地融合有效特征。这些方法从特征交互和图像质量感知的角度探索了三种模态特征的互补性。然而，这些方法采用复杂的架构设计来实现精确检测。这导致模型的计算成本昂贵，限制了 V-D-T SOD 在下游任务或资源受限应用中的应用。

尽管证明了三模态方法在 SOD 中的有效性，但大多数现有方法使用复杂结构并需要额外的计算开销来处理三种模态，限制了它们在资源受限环境中的部署效率。为此，Song 等人 (2023a) 采用轻量级 MobilenetV2 作为骨干网络，设计了特定模块用于在不同层级聚合 RGB 和热特征，并使用深度图像作为语义信息和监督信号来辅助特征提取。Qiu 等人 (2024) 考虑到多流编码器的计算负担，为 V-D-T SOD 设计了一个单流骨干网络。他们通过引入多模态多头注意力模块改进了 EfficientFormerV2，使得在一个阶段内能够同时处理并计算三种模态之间的注意力并生成相应特征。尽管这些方法初步探索了轻量级架构，但三模态特征的互补性尚未被充分挖掘。

与现有在所有阶段采用统一融合策略的 V-D-T SOD 方法不同，我们的 LAANet 根据浅层和深层特征的不同特性，采用了一种尺度依赖的混合融合方案。高分辨率浅层特征需要高效的全局交互，而低分辨率深层特征需要更完整的语义依赖建模。最近的 SOD 研究也探索了基于 Mamba/SSM 的架构用于高效的长程建模。然而，这些方法主要关注单模态特征编码或独立的模态内处理，并未明确解决 V-D-T 融合中的跨模态交互。因此，我们方法的新颖性不在于引入 SSM 本身，而在于提出了一种跨模态 SSM 公式（通过 CMFM/Cross SS2D），并以尺度依赖的方式将其与自注意力相结合，在每个阶段提供合适的融合机制。

章节片段 方法论：如图所示 2，LAANet 大致可以分为编码阶段和解码阶段。在编码阶段，我们使用轻量级 MobileNetV2-B0 [Sandler 等人 (2018)] 作为骨干网络，分别从 RGB、深度和热图像中提取多级特征 Fr_i、F_d_i 和 F_t_i (i=1,2,3,4,5)。由于 RGB 图像通常包含更丰富的物体线索，我们将 RGB 模态作为主分支，并分别与深度和热模态配对以挖掘互补信息，

实现细节：为了全面评估我们的模型，我们在 VDT2048 数据集 [Song 等人 (2023b)] 上训练和测试了 LAANet，该数据集包含 2048 张图像及相应的像素级标注，包括 1048 张训练图像和 1000 张测试图像。所有实验均在同一平台上进行，使用 Intel(R) Core(TM) i9-12900K CPU 和一块 NVIDIA RTX 3090 GPU。我们的实现基于 Python 3.10.15、CUDA 11.8 和 cuDNN 8.9.2 在 PyTorch 中开发。在训练期间，所有图像都被调整为

结论：在本文中，我们提出了一种用于 V-D-T SOD 的新型轻量级注意力感知融合网络 (LAANet)。在 CMFM 中提出的跨模态 Cross SS2D 公式以及 SSM 和自注意力的尺度依赖混合使用。我们基于 SSM 架构设计 CMFM，通过模仿跨注意力机制高效聚合浅层、高分辨率特征。提出的 APFM 通过处理深层网络的低分辨率特征来补偿 SSM 固有的记忆丢失。

CRediT 作者贡献声明：Anzhi Wang: 写作 – 审查与编辑，资源，项目行政，形式分析，概念化。Jintao Wu: 写作 – 原创草稿，可视化，验证。Yun Liu: 写作 – 审查与编辑，监督。

竞争利益声明：作者声明，他们没有已知的竞争性财务利益或个人关系可能影响本论文报告的工作。

Anzhi Wang|Jintao Wu|Yun Liu