通过参数高效和粗细结合的学习方法将Segment Anything方法应用于ISTD 李思宇、 丁媛、 陈伟聪

《Applied Sciences》：Adapting Segment Anything Method for ISTD via Parameter-Efficient and Coarse-to-Fine Learning Siyu Li, Yuan Ding and Weicong Chen

　　摘要 红外小目标检测（ISTD）在许多实际应用中发挥着关键作用。然而，由于目标尺寸极小、对比度低以及复杂的背景干扰，这项任务仍然极具挑战性。在常用的ISTD标准下，红外小目标在256×256的图像中通常占据的像素数少于80个。尽管Segment Anything Model（SAM）在图像分割方面表现出强大的泛化能力，但直接将其应用于ISTD并不理想，主要是因为RGB图像和红外图像之间存在显著的模态差异，以及全参数微调的成本过高。为了解决这些问题，我们提出了一个无需提示且参数效率高的微调框架，用于将SAM适配到ISTD中。为了在保持SAM预训练知识的同时弥合跨模态差异，我们在图像编码器中引入了一个轻量级的红外适配器（IR-Adapter），仅通过少量可训练参数即可实现有效的任务适配。此外，为了减轻深度网络层中小目标信息的丢失，我们设计了一个多尺度特征融合（MSF）模块，该模块整合了来自不同编码器阶段的层次特征。另外，我们还提出了一个具有双分支预测的粗到细头部（CFH），以结合更细粒度的细节，从而实现更准确的目标定位和分割。在两个公开数据集上进行的广泛实验表明，所提出的方法比现有的代表性方法取得了更好的整体性能，提高了IoU、nIoU和Pd。

1. 引言
红外小目标检测（ISTD）是对象检测中的一个关键子领域，具有重要的实际价值，并已广泛应用于军事应用[1]、搜救[2,3]和安全监控[4]等领域。由于红外成像的独特热辐射特性，红外传感器比可见光相机更适合检测昏暗和微小的目标，尤其是在夜间、雾天、雨天等恶劣天气条件下[5]。红外成像的系统级原理、目标获取和红外搜索与跟踪已在电光文献中进行了广泛讨论，为理解ISTD的实际意义提供了重要背景[6]。在这些情况下，目标通常只占据几个像素，并且经常嵌入在复杂和杂乱的背景中。在ISTD文献中，小目标通常具有较弱的局部对比度、低信噪比和非常有限的空间范围。例如，一个广泛采用的标准将小目标描述为对比度低于15%、信噪比低于1.5且在图像中面积小于80个像素的目标。尽管实际的基准数据集可能包含尺寸变化较大的目标，但这一定义仍然捕捉到了ISTD的核心难点。因此，ISTD已成为计算机视觉领域中一个具有挑战性且研究活跃的问题。

现有的ISTD方法大致可以分为传统方法和基于深度学习的方法。传统方法严重依赖于手工制作的特征和手动调整的超参数，在目标与相对简单的背景之间存在高对比度的场景中通常表现良好。然而，在具有强烈杂乱和噪声干扰的复杂场景中，这些方法容易发生漏检和误报。随着神经网络的快速发展，基于深度学习的方法逐渐取代了传统方法。卷积神经网络（CNN）和编码器-解码器架构（如U-Net [7]）显著提高了检测的鲁棒性。基于生成对抗网络（GAN）的模型通过对抗学习进一步增强了背景抑制[8]。最近，基于变压器的架构也被引入到这一领域[9,10]，利用全局注意力机制更好地捕捉长距离上下文信息。尽管这些方法取得了显著进展，但仍存在一些局限性。首先，从有限的红外训练数据中学习到的特征表示往往不足，导致泛化性能较差。其次，在下采样操作中小目标容易被抑制，导致关键目标信息的丢失。第三，许多现有模型的可扩展性有限，限制了它们对多样化应用场景的适应性。

近年来，大型语言模型的突破显著加速了基础模型的发展和广泛应用。代表性例子包括自然语言处理（NLP）中的生成预训练Transformer（GPT）[11]和双向编码器表示（BERT）[12]、通用视觉理解中的Vision Transformer（ViT）[13]和Masked Autoencoders（MAE）[14]，以及图像生成中的Stable Diffusion[15]。2023年，Meta AI推出了SAM[16]，建立了第一个通用的图像分割基础模型。通过结合大规模预训练和提示驱动的交互式分割，SAM展示了出色的零样本泛化能力，并在广泛的分割场景中取得了令人印象深刻的性能。然而，直接将SAM应用于ISTD面临多个固有的限制。首先，SAM仅在自然图像上进行训练，而红外图像遵循根本不同的成像原理，导致明显的模态差异。其次，红外目标通常具有极小的尺寸和低对比度，这使得SAM在无提示设置下难以产生可靠的响应。如前所述，这样的目标通常只占据非常有限的空间范围，并且具有较弱的局部对比度，导致相应的前景线索容易被背景干扰所淹没。第三，SAM主要依赖于图像编码器最终阶段的特征，导致浅层特征利用不足和缺乏多尺度信息。此外，SAM需要手动指定的点、框或文本提示，这与端到端的红外小目标检测场景不兼容，在这些场景中推理过程中无法获得真实提示。尽管对SAM进行全参数微调是一个潜在的解决方案，但它涉及大量的可训练参数，导致计算成本高昂，并且有可能破坏从大规模RGB预训练中学到的强大先验知识，甚至可能降低性能。相比之下，基于适配器的微调提供了一个更有前景的替代方案。最近的一些研究探索了将基础模型适配到下游任务的适配器或微调策略，例如多尺度和细节增强SAM（MDSAM）[17]、类别感知SAM适配器（CWSAM）[18]和医学SAM适配器[19]。然而，这些方法大多是为基于RGB的分割或分类任务设计的，并没有明确考虑红外图像的独特特性，包括极小的目标尺寸、弱纹理信息和严重的前景-背景不平衡。此外，大多数现有的SAM适配方法在编码器层之间均匀插入额外模块，忽略了图像编码器的固有层次结构。因此，多尺度表示没有得到充分利用。此外，这些方法通常关注高层次的语义适配，而对细粒度特征重建的关注有限，这对于红外小目标分割至关重要。

为了解决这些限制，我们提出了一个无需提示的基于SAM的ISTD框架。所提出的方法从三个互补的角度改进了SAM，即跨模态适配、层次特征聚合和细粒度掩码细化。具体来说，引入了IR-Adapter以参数高效的方式弥合RGB预训练的SAM和红外图像之间的模态差异。此外，MSF模块旨在整合SAM图像编码器不同阶段的层次表示，从而增强微弱的小目标线索。此外，采用具有双分支预测的CFH来细化粗糙的解码器输出，通过结合细粒度的图像细节，从而实现更准确的分割结果。本工作的主要贡献总结如下：
(1) 我们提出了一个无需提示的基于SAM的ISTD框架，实现了端到端的目标分割，无需手动设计的提示。
(2) 我们设计了一个轻量级的IR-Adapter，以参数高效的方式将SAM适配到红外图像中，有效缓解了RGB预训练和ISTD任务之间的跨模态差异。
(3) 我们引入了MSF模块，利用SAM不同深度的层次编码器特征，从而改善了弱小目标的表示。
(4) 我们开发了具有双分支预测的CFH，通过细粒度细节增强来细化粗糙的掩码，从而实现更高质量的目标分割。

2. 相关工作
2.1. 红外小目标检测方法
传统的ISTD方法主要依赖于手工设计的特征和手工制作的先验来增强弱目标与结构化背景杂乱之间的可分性。它们的理论基础、方法论类别和代表性算法已在红外小目标检测文献中系统地总结[20]。代表性例子包括Top-Hat过滤[21]、红外补丁图像（IPI）模型[22]、加权增强局部对比度测量（WSLCM）[23]、最大均值和最大中值过滤[24]以及基于非线性比率的自适应映射（NRAM）[25]。这些方法通常通过局部对比度线索、背景抑制或统计建模来提高目标显著性。尽管这些方法在相对简单的场景中可以取得满意的性能，但在具有强烈杂乱和干扰的复杂背景中，它们对噪声非常敏感。因此，它们的鲁棒性和泛化能力受到显著限制，容易在具有挑战性的实际场景中发生漏检和误报。

深度神经网络能够通过多层可学习参数结构自动从大规模训练数据中学习判别特征，而不依赖于手工制作的特征模板。与传统方法相比，基于深度学习的方法在ISTD中表现出更高的鲁棒性和更高的检测精度，并逐渐成为该领域的主导范式。代表性的基于CNN的ISTD模型包括不对称上下文调制（ACM）机制[26]，它引入了注意力机制和背景建模来增强目标-背景的可分性；密集嵌套注意力网络（DNANet）[27]，通过密集嵌套的交互模块和通道-空间注意力来改善特征保留；ISNet[28]，它结合了受泰勒有限差分启发的边缘块和双向注意力聚合块；以及U-Net（UIU-Net）框架中的U-Net[29]，它采用了保持分辨率的嵌套U形结构和交互式交叉注意力。

随着变压器架构的出现，如ViT和Swin Transformer[30]等模型在计算机视觉领域得到了发展。基于变压器的模型也被引入到ISTD中。例如，空间通道交叉变压器网络（SCTransNet）[31]通过空间嵌入单头通道交叉注意力在层间建立层次语义相关性。此外，渐进式背景感知变压器（PBT）[9]通过背景感知变压器块和特征相关的交叉注意力逐步细化目标响应。得益于全局注意力机制，这些模型更能捕捉杂乱背景中的长距离上下文信息。

尽管这些基于深度学习的方法取得了令人鼓舞的进展，但大多数现有模型仍然严重依赖于大规模、高质量标注的数据集。然而，红外数据集的规模通常有限，且逐像素标注成本高昂且劳动密集。为了解决这个问题，Li等人[32]和Ying等人[33]相继提出了基于单点监督的弱监督检测框架，显著降低了标注成本。尽管如此，由于监督信号极其有限，弱监督方法在模型表示能力和检测精度方面与完全监督方法相比仍存在显著的性能差距。近年来，具有强大泛化和迁移能力的SAM系列分割基础模型的出现为解决ISTD提供了新的机会。

2.2. 参数高效的微调
为了将基础模型适配到特定的下游任务，已经提出了多种参数高效的微调（PEFT）技术，包括低秩适配（LoRA）[34]、前缀调优、提示调优和适配器。尽管这些PEFT技术在实现上有所不同，但它们具有相同的目标：通过引入或更新少量可训练参数来适配大型预训练模型，而不是对整个模型进行微调。LoRA最初是在NLP领域引入的，特别是用于微调大型语言模型（如GPT-3）。通过仅训练低秩矩阵并将它们注入原始模型，LoRA实现了高效的模型适配，所需的可训练参数数量较少。尽管LoRA在语言模型中表现出色，但在某些情况下，直接将其应用于跨模态适配可能效果不佳，因为模态差异通常涉及细粒度和高频变化。前缀调优将特定于任务的条件信号引入提示上下文，而不修改基础模型的参数，从而引导模型产生更理想的结果。提示调优保持基础模型的参数不变，并在输入前添加一系列可学习的令牌，增加了生成与任务相关输出的可能性。适配器方法也是最初在NLP领域提出的[35]。其核心思想是在预训练模型的选定层之间插入小的、可训练的模块，以增强对新任务的适应性。在微调过程中，主干参数保持不变，而适配器模块学习特定于任务的知识。由于其性能和计算效率之间的良好平衡，这种策略在计算机视觉领域得到了广泛采用。最近，提出了几种基于SAM的适配器方法，例如Chen等人提出的SAM-Adapter [36]、Pu等人提出的CWSAM [18]以及Wu等人提出的Medical SAM Adapter [19]。然而，这些设计大多是为高级语义任务量身定制的，并没有明确考虑红外小目标的独特特性。2.3. Segment Anything模型SAM是图像分割领域的第一个基础模型。它在SA-1B数据集上进行预训练，该数据集包含1100万张高分辨率的自然图像和11亿个高质量的分割掩码，涵盖了广泛的自然场景。得益于大规模的预训练数据和提示驱动的分割范式，SAM展现了强大的泛化能力和在自然图像上的显著零样本性能。SAM支持多种形式的用户交互，包括点、框和文本提示，并采用了一个统一的架构，包括基于ViT的图像编码器、提示编码器和轻量级的掩码解码器，能够灵活处理不同的分割风格和任务需求。如图1所示，原始SAM主要由三个部分组成：图像编码器、提示编码器和轻量级掩码解码器。图像编码器采用ViT骨干网络，将输入图像分割成补丁令牌，并通过堆叠的变换器块将它们编码成低分辨率的图像嵌入。这些嵌入包含了丰富的全局语义和长距离的上下文关系，可以在交互式环境中重新用于不同的提示，使得SAM在基于提示的分割中计算效率高。图1. 原始SAM的整体架构。提示编码器负责将不同形式的用户指导（如点、框和粗略掩码）映射到一个统一的特征空间。点和框提示被编码为稀疏的提示令牌，而具有二维结构的掩码类提示则被转换为与图像嵌入网格对齐的密集提示嵌入。这样，SAM在不同交互条件下保持了一致的解码接口。掩码解码器以图像嵌入和提示嵌入作为输入，生成最终的掩码预测。其轻量级设计使得图像语义和提示提供的空间约束能够高效融合，从而支持基于提示的分割。由于其强大的表示能力，SAM已成功应用于各种计算机视觉任务，如医学图像分析、自动驾驶、遥感图像分割和机器人视觉。然而，尽管SAM具有很强的通用性，但在低对比度场景中表现不佳，并且难以处理尺寸小且形状不规则的目标，而这正是ISTD（红外小目标检测）的定义特征。此外，原始SAM遵循提示驱动的范式，在推理过程中通常依赖于手动提供的点、框或掩码。然而，在ISTD中，这样的交互式提示在实际的端到端设置中通常是不可用的，因此需要无提示的适应。为了解决这个问题，一些研究尝试将SAM适应于ISTD，包括Yu等人提出的Two-Stream SAM（TS-SAM）[37]、Zhang等人提出的IRSAM [38]以及Xu等人提出的SAMamba [39]。尽管如此，这些方法通常没有充分利用多尺度信息。此外，考虑到红外小目标的特性，采用细粒度增强策略是有益的。3. 方法输入的红外图像首先由SAM图像编码器处理，其中插入的IR-Adapter有助于减少RGB预训练和红外图像之间的模态差异。然后通过MSF模块聚合来自多个编码器深度的特征，以保留浅层目标线索和更深层次的语义上下文。最后，CFH通过结合解码器特征、深度编码器指导和图像级细节来细化粗略解码器的输出，为微小的红外目标产生更准确的分割结果。我们提出了一个基于SAM的ISTD框架，其整体架构如图2所示。给定一个输入的红外图像，首先由配备所提出的IR-Adapter的图像编码器提取多级特征表示。然后通过MSF模块聚合这些层次化特征，形成丰富的多尺度表示。在预测阶段，粗略头生成初始的粗略分割结果以及中间解码器特征。基于这些表示，精细头进一步整合解码器特征、深度语义特征和原始图像信息，进行细粒度增强，产生准确的红外小目标分割结果。所提出的网络主要由三个核心组件组成：IR-Adapter、MSF模块和CFH。这些组件的详细信息在以下小节中描述。图2. 所提出模型的整体架构。该框架重用了SAM的编码器-解码器结构，并引入了三个针对ISTD的任务特定模块：红外适配器（IR-Adapter）、多尺度特征融合模块（MSF）和粗略到精细头（CFH）。在MSF模块中，CG和SG分别表示通道门（Channel Gate）和尺度门（Scale Gate）。3.1. 红外适配器尽管SAM具有强大的分割能力，但其提示驱动的范式本质上限制了其直接应用于ISTD的能力。此外，对SAM进行完全微调涉及大量的可训练参数，并且由于标注的红外小目标数据稀缺，可能导致性能不佳。为了解决这些问题，我们在SAM的图像编码器中引入了一个轻量级的IR-Adapter，以参数高效的方式实现从自然图像到红外图像的有效跨模态特征适应。虽然SAM为一般分割提供了强大的视觉先验，但其预训练的表示主要是从RGB自然图像中学习得到的，因此并不完全匹配红外数据的成像特性。在ISTD中，目标往往较弱、对比度低且纹理贫乏，这使得仅使用基于RGB的表示难以将它们与杂乱背景区分开来。所提出的IR-Adapter旨在以参数高效的方式缓解这种模态不匹配问题。它只引入了少量的额外可训练参数和有限的计算开销，同时避免了全参数微调的高成本和潜在的不稳定性。SAM中的每个原始变换器块由一个多头自注意力（MHSA）子层和一个多层感知器（MLP）子层组成，两者都配备了独立的残差连接。我们将所提出的IR-Adapter插入到图像编码器的变换器块中。具体来说，IR-Adapter放置在MHSA输出的残差连接之后。这种插入位置允许适配器有效接收注意力机制捕获的全局关系信息，同时在特征进一步被MLP子层处理之前补偿跨模态差异。同时，通过避免与大规模预训练期间学习的高级语义建模的直接干扰，这种设计实现了对红外图像的高效和稳定适应。在引入IR-Adapter之后，每个变换器块的处理流程如图3所示。图3. ViT图像编码器中带有可训练适配器的变换器块结构。变换器块的输入特征首先通过层归一化进行标准化，然后进行多头自注意力处理，再与残差连接结合。对于第i个注意力头，查询矩阵、键矩阵和值矩阵分别表示为Qi、Ki和Vi，它们的形状均为m×n。第i个注意力头的输出计算如下：(1) MHSA的输出是通过连接所有注意力头后进行线性投影得到的：(2) 其中Ni表示注意力头的数量，P是输出投影矩阵。因此，变换器块的注意力子层可以表示为(3) 在注意力子层之后，应用IR-Adapter来补偿跨模态差异：(4) 然后输出被送入MLP子层，再进行层归一化和残差连接，以产生变换器块的最终输出：(5) 通过引入IR-Adapter，SAM只需少量的额外可训练参数就可以有效地适应ISTD。3.2. 多尺度特征融合（MSF）模块由于红外小目标的尺寸极小且纹理信息稀缺，它们的特征表示在图像编码器的深层容易丢失。在原始SAM架构中，仅使用图像编码器最终阶段的特征，这对ISTD不利。为了解决这一限制，我们设计了多尺度特征融合（MSF）模块，以有效整合来自不同编码器阶段的信息，从而增强模型检测红外小目标的能力。应当注意的是，尽管ViT编码器中各个变换器块之间的补丁令牌的空间分辨率保持不变，但不同的块在不同层次的语义抽象上编码表示。因此，在这项工作中，“多尺度”指的是从不同编码器深度提取的层次化多级特征，而不是传统CNN意义上的多分辨率特征。MSF模块的架构如图2和图4所示。图4. 尺度门（SG）和通道门（CG）的细节。本文中使用的ViT编码器的深度为12层，为了利用层次化表示进行ISTD，我们从第3、6、9和12层变换器块中提取了四个中间特征。这些特征捕获了从较浅层相对精细的空间细节到较深层更强语义线索的互补信息。选择这四层是为了在保持融合成本可控的同时，提供相对均匀的浅层、中层和深层表示覆盖。与这些采样层相比，第1层更接近补丁嵌入，包含较弱的语义信息，而第11层在表示层面上与第12层非常相似，可能会引入不必要的冗余。首先，对每个特征图应用逐尺度通道注意力：(6) 其中Pa表示全局平均池化，S是sigmoid函数，C表示卷积层，随后是批量归一化和ReLU函数，D是逐通道乘法。接下来，为了获得跨尺度的全局融合权重，将四个特征连接起来：(7) (8) 一个轻量级的门控网络从Pa预测尺度权重，这些权重通过softmax进行归一化：(9) 最后，计算融合的多尺度表示：(10) 其中Wi对应于加权特征，Wi是第i个尺度权重。具体来说，CG对每个中间特征图进行逐通道重新校准，产生加权特征Wi。相比之下，SG从连接的特征中预测尺度权重，从而实现不同编码器深度的层次化表示的自适应聚合。在方程(10)中，加权求和项融合了特定分支的特征，而残差项保留了投影的全局融合上下文。通过为解码器提供结合了浅层空间细节和深层语义线索的丰富层次化信息，所提出的MSF模块有效地补偿了原始SAM架构的单尺度限制，促进了红外小目标的更准确定位和分割。3.3. 粗略到精细头SAM采用基于ViT的图像编码器，该编码器采用补丁嵌入策略，这本质上限制了细粒度空间细节的保留。此外，SAM的掩码解码器没有以层次化的方式逐步恢复空间分辨率。因此，SAM解码器产生的输出掩码通常较为粗糙和整体化，而不是像素级精确的，不适合直接应用于红外小目标分割。因此，在解码器输出阶段引入细粒度增强是必要的，以实现精确的小目标划分。为此，我们设计了一个粗略到精细的预测结构。在我们的设计中，我们利用编码器的最深层特征来提供高级语义和目标位置先验，而细粒度空间细节的恢复依赖于它与解码器特征以及从原始图像中提取的图像级细节特征的联合建模。粗略预测分支将融合的特征表示和密集的位置编码输入到SAM掩码解码器中，产生一个粗略的分割掩码和中间解码器特征：(11) 由于的空间分辨率低于输入图像的分辨率，因此应用双线性插值将其上采样到原始分辨率：(12) 精细预测分支旨在通过整合解码器特征和来自图像编码器的深度语义特征来恢复细粒度空间细节。具体来说，深度编码器特征首先通过通道投影进行转换：(13) 其中 表示卷积层，随后是批量归一化和ReLU函数。然后将中间解码器特征沿着通道维度与 进行连接：(14) 连接后的特征通过一系列卷积和双线性上采样操作逐步上采样，以恢复原始的空间分辨率：(15) 为了进一步增强局部对比度和边界细节，我们结合了从原始输入图像中提取的图像级细节特征：(16) 接着，高分辨率的语义特征和图像细节特征被融合：(17) 最终的精细预测掩码通过 卷积生成：(18) 网络的最终输出由 给出。3.4. 损失函数(1)Focal Dice Loss 粗略预测分支主要负责全局目标定位。由于其输出分辨率较低，且前景像素的比例极小，该分支在正样本和负样本之间存在严重的类别不平衡。因此，我们采用Focal Dice Loss作为粗糙预测的监督损失，以有效缓解类别不平衡并提高模型对小目标区域的敏感性。其表达式为 (19) 对于像素 ，定义以下公式：(20) 表示第 个像素的真实概率， 表示模型对第 个像素的预测概率。然后，(21) 这里， 表示图像中包含的像素数量， 是平衡因子， 是聚焦参数。 (22) 是平滑项，以避免分母为0。Focal Loss 抑制背景并强调弱小和小的目标区域，而Dice Loss 则缓解ISTD中的类别不平衡问题。这种组合可以有效增强模型在ISTD任务中的鲁棒性。(2)SLSIoU Loss 精细预测分支输出高分辨率预测掩码。我们采用SLSIoU Loss作为精细预测损失：(23) 设 和 分别为预测结果的像素数量和目标真实值的像素数量，那么IoU损失可以用公式表示为 (24) 规模敏感性损失的计算公式为 (25) 其中 是计算提供标量方差的函数。设 和 分别表示预测区域和真实区域的中心。然后将这两个点转换为极坐标。以 为例，其极坐标表示可以写为：(26) (27) 然后可以得到位置敏感性损失：(28) SLSIoU损失在传统IoU损失的基础上引入了规模和位置敏感项，该损失在[40]中提出，更适合小目标检测算法。(3)最终损失函数最终损失函数定义为 (29) 粗略和精细预测分支相互协作，有效提升了红外小目标检测的整体性能。4. 实验 4.1. 实验设置数据集。我们在两个公开的红外小目标检测基准测试集IRSTD-1k和SIRST上进行实验，这两个数据集分别包含1001张和427张红外图像。这些数据集涵盖了多种具有挑战性的场景，包括云、海洋和城市背景，并涉及单目标和多目标情况，目标规模多样。我们选择IRSTD-1k和SIRST是因为它们是公开且广泛使用的红外小目标检测基准测试集，涵盖了多样的目标条件和具有挑战性的背景。按照以往研究的惯例，每个数据集被随机分为训练集、验证集和测试集，比例为6:2:2。除非另有说明，本文报告的所有定量结果都是在测试集上获得的。评估指标。与以往的研究一致，我们采用四种广泛使用的指标来评估ISTD方法的性能：交并比（IoU），用于衡量预测掩码和真实掩码之间的重叠程度，用于评估整体分割质量；归一化IoU（nIoU），nIoU是IoU的标准化变体，更能反映微小目标的特性，因此更公平地评估小目标分割性能；检测概率（Pd），Pd反映了正确检测到真实目标的概率，用于衡量模型的目标敏感性；以及误报率（FA），FA量化了背景中的误检测，用于评估模型抑制背景杂乱和避免误报的能力。这些指标一起报告，因为ISTD不仅需要准确的目标定位，还需要在复杂的红外场景中实现高检测敏感性和低误报率之间的良好平衡。从实际角度来看，更高的IoU和nIoU表示更好的重叠和更可靠的小目标划分，而更高的Pd和更低的FA反映了漏检和误报之间更理想的平衡。在真实的部署场景中，所需的性能水平取决于特定应用及其对误报的容忍度。因此，在这项工作中，我们主要强调在公共基准测试集上的相对改进，而不是声称一个通用的部署阈值。实现细节。图像编码器和掩码解码器使用SAM-B模型的预训练权重进行初始化，而所有其他组件则随机初始化。在训练过程中，我们冻结SAM图像编码器，微调掩码解码器，并训练新添加的模块。我们采用AdamW作为优化器，并采用学习率衰减策略，权重衰减设置为1 × 10?4。预训练模块的学习率设置为5 × 10?5，新引入的模块的学习率设置为更高的5 × 10?4。批量大小设置为4，模型训练100个周期。对于粗糙分支，采用Focal Dice Loss，平衡因子为 ，聚焦参数为 ，平滑项为 。损失是在预测概率图上计算的，以确保数值稳定性。所有实验都在单个NVIDIA GeForce RTX 3090 GPU（NVIDIA Corporation，美国加州圣克拉拉）上完成。4.2. 定量评估表1展示了所提出方法与其他代表性方法之间的定量比较。比较的方法包括传统的和基于深度学习的ISTD算法。具体来说，Top-Hat、WSLCM、IPI和NRAM是传统方法，而其余方法基于深度学习。如表1所示，所提出的方法在IRSTD-1k和SIRST数据集上都取得了更好的性能。表1. 在IRSTD-1k和SIRST上的与其他方法的比较（IoU（%），nIoU（%），Pd（%），Fa（）。此外，我们在IRSTD-1k和SIRST数据集上绘制了不同方法的接收者操作特征（ROC）曲线，如图5所示。ROC曲线下的面积（AUC）越大，表示检测性能越好。可以观察到，所提出的方法在两个数据集上都一致地获得了比竞争方法更大的AUC值，证明了其卓越的检测能力。图5. 不同方法的ROC曲线。(a) IRSTD-1k数据集上不同方法的ROC曲线；(b) SIRST数据集上不同方法的ROC曲线。4.3. 定性评估图6展示了不同方法的定性视觉比较结果。从评估数据集的测试集中随机选择了代表性示例，包括单目标和多目标场景，以及天空、云和城市等多种背景。这些示例被选中是为了全面反映红外小目标检测的挑战。从视觉结果来看，传统方法容易产生误报和漏检，尤其是在复杂背景下。基于深度学习的方法通常能提高检测性能；然而，它们往往边界划分不准确。相比之下，所提出的方法不仅准确定位了红外小目标，还产生了更精确的目标边界划分。图6. 从测试集中选出的代表性红外场景上不同方法的视觉比较，包括单目标和多目标情况，在多种背景下。从左到右分别是输入图像、真实值和不同方法的预测结果。在每个预测结果中，红色、黄色和蓝色框分别表示正确检测、漏检和误检。视觉结果显示，所提出的方法在目标敏感性和背景抑制之间提供了更好的平衡。4.4. 消融研究为了验证每个提出组件的有效性，我们在IRSTD-1k数据集上进行了消融实验。在消融研究中，所有超参数设置保持不变，以确保公平比较。基线表示没有使用任何提出组件的SAM-B变体，即没有IR-Adapter、MSF或CFH。在这种设置中，图像编码器保持冻结，仅微调原始的SAM掩码解码器，而所有其他训练设置与完整模型相同。消融实验的结果在表2中报告。表2. IR-Adapter、MSF和CFH模块在IoU（%），nIoU（%），Pd（%），Fa（）上的消融研究。“√”表示相应模块在模型变体中被使用。IR-Adapter的有效性。IR-Adapter的贡献在表2中总结。此外，我们将其与经典的LoRA [34]策略进行了比较。相应的结果在表3中报告。这里，3.51指的是SAM的掩码解码器的参数。如表所示，尽管IR-Adapter引入的可训练参数略多于基于LoRA的方法，但它始终表现出更好的性能。表3. LoRA和IR-Adapter在IRSTD-1k测试集上的可训练参数和性能比较。MSF的有效性。所提出的MSF模块的贡献在表2中总结。引入MSF显著提高了整体分割性能，表明利用分层编码器表示对于红外小目标感知是有益的。这种改进主要源于红外小目标尺寸极小且纹理特征较弱，容易被深层特征淹没。通过聚合来自不同Transformer块的层次信息，MSF有效地缓解了这一问题，同时保留了来自较浅层次的细粒度空间线索，并保持了来自较深层次的强语义区分能力。因此，所提出的模型在杂乱背景中实现了更准确的目标定位和更稳定的检测性能。CFH的有效性。所提出的CFH模块的贡献也在表2中总结。消融结果显示CFH带来了额外的性能提升，这是因为原始SAM解码器倾向于生成整体性掩码，其中高频细节有限，不足以进行像素级精确的红外小目标划分。通过采用粗到细的双分支设计，CFH利用解码器特征和高分辨率信息来恢复细粒度结构，从而提高了边界精度并增强了微小目标的鲁棒性。5. 结论在这项工作中，我们提出了一个无提示的基于SAM的ISTD框架，旨在解决直接将SAM应用于ISTD时的三个主要限制：自然图像和红外图像之间的模态差异、对于微小目标感知的分层特征使用不足，以及缺乏细粒度掩码细化。具体来说，我们在图像编码器中引入了一个轻量级的IR-Adapter，以参数高效的方式弥合RGB和红外图像之间的模态差距，避免了全参数微调的需要。为了减轻深度网络层中小目标信息的丢失，我们设计了一个MSF模块，该模块整合了来自不同编码器层次的分层特征。此外，还提出了CFH，通过结合细粒度空间细节来补偿原始SAM解码器输出的粗糙和整体性质，从而提高了红外小目标的检测精度。在IRSTD-1k和SIRST数据集上的实验结果表明，与传统的和基于深度学习的方法相比，所提出的方法在分割精度、检测能力和误报抑制方面取得了更好的整体性能。此外，消融研究验证了IR-Adapter、MSF和CFH的单独有效性，表明每个组件都对最终性能有积极贡献。与LoRA的比较进一步表明，所提出的IR-Adapter更适合ISTD设置中的SAM适应。总体而言，这项研究表明，通过面向任务的架构重新设计和参数高效的微调，可以有效地将大规模分割基础模型适应于红外小目标领域。从应用角度来看，所提出的方法特别适用于目标较弱、仅占据极小图像区域且出现在杂乱背景下的场景，例如远距离红外监控、低能见度环境下的预警系统以及复杂室外场景中的小型热源检测。在这些情况下，对微小目标进行精确的定位和具有边界意识的分割不仅对于视觉解释至关重要，也对后续的跟踪、识别或决策模块具有重要意义。我们期望这一框架能为未来在弱信号和小目标视觉感知任务中基础模型适配的研究提供有用的参考。