多模态交互增强Segment Anything模型(MIE-SAM)用于RGB-T显著性目标检测

《Neural Networks》：Multi-modal Interaction Enhanced Segment Anything Model (MIE-SAM) for RGB-T Salient Object Detection

　　

摘要

RGB-T显著目标检测（RGB-T SOD）有效利用RGB图像和热红外图像的互补信息，在复杂环境中定位重要目标，例如低光照、雨天和雾天环境或杂乱背景。然而，现有的基于深度学习模型存在两个关键问题：固定的融合策略无法适应不断变化的环境条件，以及像素级标注的稀缺导致过拟合。虽然Segment Anything Model（SAM）展现出了优异的泛化能力，但其应用于RGB-T SOD仍面临显著性语义缺失、仅基于RGB预训练以及依赖手动提示等挑战。为解决这些挑战，我们提出了一种多模态交互增强的Segment Anything Model（MIE-SAM）。该框架将SAM的图像编码器重构为权重共享的双分支图像编码器。在冻结的双分支图像编码器中嵌入多模态低秩适配模块（Mm-LoRA），以注入显著性特定语义并促进深度跨模态特征交互，同时通过参数高效微调保留SAM的预训练知识。此外，动态融合模块（DFM）学习动态融合权重，根据各模态的环境可靠性自适应地聚合多模态嵌入，确保在变化环境中实现稳健的融合。最后，渐进式解码器模块（PDM）以完全无需提示、端到端的方式将融合特征直接转换为细粒度的显著性图。在多个公开RGB-T SOD数据集上的大量实验表明，我们的方法达到了最先进的性能，并在各种具有挑战性的场景中展现出鲁棒性和泛化能力。代码可在https://github.com/Aazzz66/MIESAM获取。

引言

显著目标检测（SOD）旨在从图像中自动识别并分割视觉显著的对象。自动选择复杂视觉问题中最重要的信息可以提高下游视觉任务的信息处理效率，例如语义分割（Garcia-Garcia, Orts-Escolano, Oprea, Villena-Martinez, Martinez-Gonzalez, Garcia-Rodriguez, 2018, Hoyer, Munoz, Katiyar, Khoreva, Fischer, 2019）、目标跟踪（Hong, You, Kwak, Han, 2015, Li, Liang, Lu, Zhao, Tang, 2019, Lu, Li, Yan, Tang, Luo, 2021）、医学图像分割（Wu et al., 2021）和图像检索（Gao, Shi, Tao, Xu, 2015, Shao, Brady, 2006, Zhou, Liu, Nie, Nie, 2019）。尽管RGB显著目标检测取得了突破性进展（Liu, Hou, Cheng, Feng, Jiang, 2019, Zhao, Liu, Fan, Cao, Yang, Cheng, 2019），但在处理低光照条件或背景纹理高度相似等复杂场景时，其性能往往会下降。

为克服这些局限性，热红外成像被用于提供温度分布信息。RGB-T SOD（Cong, Zhang, Zhang, Zheng, Zhao, Huang, Kwong, 2022, Tu, Ma, Li, Li, Xu, Liu, 2022b, Zhang, Xiao, Huang, Zhang, Han, 2020b）利用热成像模态的互补特性，通过捕获温度分布来区分目标，不受环境光照的影响。现有的基于深度学习的RGB-T SOD方法采用了多种融合策略，分为早期融合（Sun, Zuo, Liu, 2019, Wang, Li, Chen, Fang, Hao, Qin, 2020, Zhang, Fan, Dai, Anwar, Saleh, Zhang, Barnes, 2020a）、中期融合（Wang, Song, Bao, Huang, Yan, 2021, Zhou, Guo, Lei, Yu, Hwang, 2021a）和晚期融合（Han, Chen, Liu, Yan, Li, 2017, Wang, Gong, 2019），以聚合多模态特征。然而，仍存在两个重大瓶颈。首先，现有的固定融合策略往往无法适应不同的环境条件。RGB和热成像模态的可靠性在不同场景下（如低光照、复杂背景或热噪声环境）会发生巨大变化，而现有方法缺乏评估和重新加权模态可信度的机制。其次，多模态配对的像素级人工标注成本高昂，导致数据集规模相对较小。这种数据稀缺往往导致过拟合，阻碍了鲁棒的特征学习和跨场景泛化。

一个有前景的方向是利用在大规模数据集上预训练的基础模型来缓解数据稀缺问题，这些模型拥有强大的零样本泛化能力。其中，Segment Anything Model（SAM）（Kirillov et al., 2023）作为一种通用分割基础模型脱颖而出，具有强大的零样本泛化和通用特征表征能力。这种多功能性使其能够广泛应用于各种视觉任务（Chen, Zhu, Deng, Cao, Wang, Zhang, Li, Sun, Zang, Mao, 2023b, Li, Xie, Cao, Wang, Zhang, Fang, Li, Xu, 2025, Wang, Zhang, Du, Xu, Liu, Tao, Zhang, 2023, Zhang, Shen, Jiao, 2024），这也为RGB-T SOD提供了有前景的基础。然而，将SAM直接应用于RGB-T SOD仍面临重大挑战：(1) 作为一个类别无关的分割模型，SAM缺乏固有的显著性语义来识别复杂场景中的显著目标。(2) SAM主要在RGB图像上进行训练，因此在处理热红外图像和建模RGB与热红外模态之间的跨模态关系方面效果不佳。(3) SAM依赖手动提示（如点或边界框），这排除了完全自动化推理的可能性。因此，我们面临的关键挑战在于：如何有效利用SAM的大量预训练知识和强大泛化能力，同时赋予其跨模态显著性感知能力和无提示自动化能力，以应对RGB-T SOD任务。

为了解决上述问题，我们提出了多模态交互增强的Segment Anything Model（MIE-SAM），以将SAM专门化用于多模态RGB-T显著性感知。MIE-SAM以最小的参数开销将SAM的预训练知识适应于跨模态显著目标任务。具体来说，我们将SAM原有的单流图像编码器改造为权重共享的双分支结构，以独立处理RGB和热红外模态。为注入显著性特定语义并弥合模态差距，同时不破坏SAM的基础权重，我们提出了一种嵌入在冻结骨干网络层内的多模态低秩适配模块（Mm-LoRA）。这使得参数高效微调成为可能，同时促进RGB和热红外特征之间的深度交互融合。其次，为解决固定融合策略的灵活性不足问题，我们引入了动态融合模块（DFM），以学习动态融合权重并根据各模态的环境可靠性自适应地聚合多模态嵌入。这确保了解码器接收到鲁棒的、具有上下文感知的融合特征。最后，为消除对手动提示的需求，并避免对SAM原有提示编码器和掩码解码器的复杂修改，我们设计了渐进式解码器模块（PDM），以完全无需提示、端到端的方式将融合特征直接转换为细粒度的显著性掩码。本文的主要贡献总结如下：

- 我们提出了一种新颖的RGB-T SOD框架MIE-SAM，将单模态SAM编码器扩展为权重共享的双分支系统。双模态特征表示通过多模态低秩适配实现交互融合，并通过自适应动态权重进一步融合，引导解码器逐步生成显著性掩码。这一设计有效保留了SAM的预训练知识，同时赋予了专门的多模态显著性感知能力，使其在复杂环境条件下实现鲁棒性能。

- 我们开发了多模态低秩适配（Mm-LoRA）模块。与调节单模态特征的标准LoRA变体不同，Mm-LoRA具有双重功能：它既向冻结的SAM骨干网络注入任务特定知识，又同时以低参数成本驱动层内跨模态交互。

- 我们设计了动态融合模块（DFM），通过学习权重自适应地整合RGB和热红外嵌入，确保互补特征的鲁棒融合。通过根据各模态的贡献动态融合特征，DFM确保了解码器接收到环境自适应的融合特征，从而在异构环境中提升性能。

- 我们进行了大量实验，在三个RGB-T SOD数据集上验证了所提出MIE-SAM的鲁棒性和泛化能力。

章节摘要

RGB-T显著目标检测

RGB-T SOD作为一种融合可见光和热红外图像的超视觉任务，近年来受到了广泛关注。该任务旨在通过结合热红外图像的互补信息，克服RGB单模态在低光照、遮挡和恶劣天气场景下的局限性，从而提高显著目标检测的鲁棒性和准确性。

在无监督方法（Tu, Xia, Li, Wang, Ma, Tang, 2019, Wang, Li, Ma, Zheng, Tang, Luo, 2018, Yuan, Liu, Gao,

初步知识

Segment Anything Model：SAM的架构由三个核心组件组成，如图1(a)所示：(a) 图像编码器：一个大规模的视觉Transformer网络，用于生成图像的特征表示；(b) 提示编码器：轻量级编码器，将点、框和掩码等几何提示编码为提示嵌入；(c) 掩码解码器：轻量级Transformer解码器，整合图像嵌入和提示嵌入以输出预测的目标掩码。通过在

数据集

为评估所提出的MIE-SAM，我们在三个公开基准数据集上进行了实验：(1) 早期基准数据集VT821（Wang et al., 2018）由821对人工对齐的图像组成，其中部分图像添加了噪声以增加检测难度。(2) VT1000（Tu et al., 2019）包含1000对通过精心对齐的相机系统采集的RGB和热红外图像对，包含10个简单场景中的400个物体。(3) VT5000（Tu et al., 2022b）包含5000对

结论

本文提出了MIE-SAM（多模态交互增强的Segment Anything Model），这是一种针对RGB-T显著目标检测的SAM架构新适配方案。我们的方法引入了三个组件：多模态低秩适配（Mm-LoRA），实现双分支编码器内参数高效的跨模态知识迁移；动态融合模块（DFM），通过可靠性感知加权执行RGB-T特征的自适应聚合；以及渐进式解码器

CRediT作者贡献声明

李泽：写作——初稿、软件、方法论。张盈盈：写作——审稿与编辑、监督、资源、方法论、资金获取。张帅：写作——审稿与编辑、软件、调查。王志鹏：写作——审稿与编辑、软件、调查。

利益冲突声明

作者声明不存在已知的可能影响本文所报告工作的财务利益冲突或个人关系。

致谢

本工作得到了国家自然科学基金培育基金项目（2023PY009）和河南省高校科技创新人才支持计划（资助号21HASTIT032）的支持。

李泽 | 张盈盈 | 张帅 | 王志鹏