面向红外小目标检测的背景感知解耦与多粒度融合重建方法

《Neural Networks》：Background-Aware Decoupling and Multi-Granularity Fusion-Reconstruction Approach for Infrared Small Target Detection

　　

摘要

在红外小目标检测（IRSTD）任务中，由于小目标尺寸微小、像素稀疏，且其特征与复杂背景纹理高度相似，因此难以进行区分。现有检测方法普遍采用多层下采样，直接从红外图像中提取小目标特征。然而，下采样过程中的像素合并与丢弃会降低特征图分辨率，导致小目标像素被平滑、掩盖甚至丢失，从而引起误报和小目标漏检。针对上述问题，本文提出了一种基于背景感知解耦与多粒度融合重建的红外小目标检测方法（BAMFNet）。为应对复杂背景特征与小目标特征难以区分的问题，采用解耦算法将红外图像分离为背景分量和小目标分量。为从背景分量中提取复杂特征，提出全局-局部分层融合与块感知注意力机制（GL-PAAM），利用上下文依赖关系自适应地聚焦关键背景区域，从而对解耦后的背景分量进行特征精细化与增强，减少背景对小目标特征的干扰。为保留小目标分量中的像素级细节，采用空洞卷积机制在不损失分辨率的前提下捕获边缘细节，提取稀疏的小目标特征，从而缓解下采样过程中小目标像素被平滑、遮挡或丢失的问题。最后，对提取的背景特征和小目标特征进行多粒度融合，重建小目标与背景之间具有高分辨率对比度的特征图，进一步提升检测精度。在三个公开数据集上与现有最先进红外小目标检测方法的广泛对比实验验证了所提方法的有效性。

引言

红外小目标检测（IRSTD）能够精确识别低空无人机（Sun et al., 2021）、恶劣环境中的海上船只（Prasad et al., 2017）以及低空穿透巡航导弹（Dai and Wu, 2017）。因此，它已成为低空监视、遥感检测和防御预警等领域的核心技术（Dai, Wu, 2017; Prasad, Rajan, Rachmawati, Rajabally, Quek, 2017; Sun, Yang, An, 2021）。然而，在实际应用中，红外图像通常存在背景像素占比高、小目标像素占比低以及纹理和结构信息不清晰等问题，显著增加了检测难度（Zhao et al., 2022）。传统检测方法通常依赖于红外成像物理原理、小目标特征和背景先验知识，采用形态学滤波（Bae, Sohng, 2010; Bai, Zhou, 2010; Deng, Zhang, Xu, Zhu, 2021）、局部对比度增强（Chen, Li, Wei, Xia, Tang, 2014; Han, Liang, Zhou, Zhu, Zhao, Zhao, 2018; Qin, Li, 2016）和低秩分解（Dai, Wu, Song, 2016; Dai, Wu, Song, Guo, 2017; Gao, Meng, Yang, Wang, Zhou, Hauptmann, 2013）等技术，通常结合低秩假设、先验知识和正则化技术来检测小目标（Wang, Peng, Zhang, He, 2017; Zhang, Ding, Gao, Xie, 2023b）。然而，这些方法通常依赖于人工定义的特征和基于经验的参数调优，限制了其在复杂背景下的适应性，并往往导致小目标检测不稳定。

基于深度学习的检测方法通过自适应参数优化，能够从红外图像中学习更具判别力的特征，从而缓解传统方法依赖人工定义特征和基于经验的参数调优的局限性（Chen, Li, Zheng, Chen, 2026; Deng, Li, Zhao, 2023; Deng, Li, Sun, Zhao, 2026; Du, Zheng, Xu, 2024; Guo, Zhang, Yang, Lin, 2025a; Guo, Zhang, Zhang, Yang, Lin, 2025b; Kou, Wang, Peng, Zhao, Chen, Han, Huang, Yu, Fu, 2023; Xu, Zhang, Liu, 2026; Zhang, Hu, Zou, Luo, 2025; Zhang, Ni, Yan, & Zhang, Zhao, 2025; Zhou, Wang, 2026）。然而，红外图像中的小目标在像素级表示上非常稀少，其特征信息在跨深层网络层传播过程中极易衰减（Hou, Liu, Mao, Zhao, Ling, Xing, 2026; Shelhamer, Long, Darrell, 2017; Xing, Ling, Liu, Tao, 2026; Zhao, Li, Deng, 2026a; Zhao, Liu, Dang, Xu, Deng, 2026b）。相比之下，语义分割方法以像素级分类为核心，引入了跳跃连接和上采样等机制。这些机制有效地将浅层高分辨率细节特征与深层语义强抽象特征进行融合，增强了特征传播的连续性，抑制了层间特征衰减，并最大限度地保留了与小目标相关的细微特征信息。因此，为应对红外小目标稀疏特征像素和信号衰减的挑战，研究人员逐渐将红外小目标检测转化为语义分割问题进行求解。研究人员最初致力于增强小目标特征的表达能力。例如，ACM（Dai et al., 2021a）和DNANet（Li et al., 2023）等方法采用了跨层特征融合机制，实现浅层细节特征与深层语义特征的交互融合，增强了小目标特征信息的表达能力和特征提取的完整性，补偿了传播过程中的信息衰减。然而，这些方法在融合过程中未能区分特征来源，导致背景与小目标特征在交互过程中进一步模糊。在增强小目标特征的同时，也放大了其中耦合的背景干扰。因此，为优化特征融合性能，AGPCNet（Zhang et al., 2023a）和UIUNet（Wu et al., 2023b）等方法设计了更复杂的多尺度特征融合路径，进一步增强了小目标特征的表达能力。然而，它们在融合过程中通常对深层和浅层特征进行直接拼接或加法操作，仍然在混合了背景和小目标信息的特征上操作，未从根本上分离两者。更关键的是，这些方法依赖于编码器-解码器等深层网络，其固有的下采样操作会大幅降低特征图分辨率，导致本身稀疏的小目标像素在传播过程中被平滑或丢失。针对这些问题，研究转向对网络架构的针对性改进。例如，ALCNet（Dai et al., 2021b）采用深度可分离层扩大感受野，从而缓解小目标特征在深层网络中的消失问题。同时，DEAR（Nie et al., 2025）试图在特征层面显式增强目标与背景之间的对比度，以减少下采样引起的信息丢失。尽管这些方法在技术层面部分缓解了下采样的直接影响，但它们未对背景特征进行针对性分离。因此，背景中的噪声结构特征仍会干扰小目标特征的提取，最终导致检测性能下降。此外，一些研究人员关注小目标自身的结构完整性。ISNet（Zhang et al., 2022）引入边缘增强模块，旨在提高小目标轮廓的完整性，缓解被背景淹没或碎片化等问题。然而，该模块同样基于纠缠混合特征进行边缘提取，难以区分小目标边缘与复杂背景边缘。这一局限性在低分辨率特征图上尤为明显，容易导致相邻小目标被错误检测为单一实体。虽然上述方法从特征融合、架构设计和边缘增强等不同角度在小目标特征提取方面取得了突破，但尚未有效解决背景特征干扰的问题。这些方法通常专注于增强小目标特征的表示能力，而背景特征要么未被充分利用，要么仅被简单地抑制。缺乏对背景特征与小目标特征之间的有效分离。这种处理策略难以解决背景干扰造成的背景与小目标特征之间的纠缠问题（Cheng et al., 2023; Divvala et al.,; Parikh, Zitnick, Chen, 2012; Torralba, 2003），最终导致小目标检测中的误报和漏检。

综上所述，传统方法受限于人工先验知识和不足的自适应能力。基于深度学习的检测方法虽然具有优异的适应性，但难以防止小目标特征在层间传播过程中的显著衰减。语义分割方法能有效缓解传播过程中的特征衰减，但忽视了背景特征在噪声抑制和小目标检测辅助中的作用。此外，深层网络中的多层下采样操作往往导致小目标像素丢失，限制了其在复杂背景干扰下的性能。针对上述问题，本文基于"先解耦，再融合"的理念，提出了一种基于背景感知解耦与多粒度融合重建的端到端红外小目标检测方法，命名为BAMFNet。基于红外图像背景具有低秩特性而小目标具有稀疏性的成像先验（Gao et al., 2013），该方法采用解耦算法将红外图像启发式地解耦为低秩背景分量和稀疏目标分量（An, Wang, Qin, Zhao, Yan, Chen, 2024; Wu, Yu, Liu, Luo, Peng, 2023a; Zhou, Li, Wright, Candès, & Ma），实现背景与小目标的初步分离，从而减少背景纹理对小目标的直接遮挡。为应对解耦后背景中可能残留的类目标干扰，提出了一种背景特征提取模块（BFEM），采用全局-局部分层融合与块感知注意力机制（GL-PAAM），实现对背景特征的自适应提取。为缓解多层下采样引起的分辨率损失和小目标像素消失等问题，引入了稀疏目标提取模块（STEM）。在下采样阶段，以空洞卷积替代传统池化操作，在保持特征图分辨率的同时扩大感受野，从而专注于小目标的精确定位和边缘细节特征的提取。最后，为进一步挖掘背景与小目标之间的深层语义互补性，提出了一种多粒度融合与重建模块（MGFRM），对BFEM提取的粗粒度全局背景特征和STEM提取的细粒度小目标局部细节特征进行多粒度融合与重建，增强两类特征的本质表示能力。这重建了具有增强的小目标-背景对比度的特征图，使BAMFNet能够充分利用背景上下文信息来精细化小目标区域，提高检测精度和效率。本文的主要贡献总结如下：

(1) 提出了一种基于背景感知解耦与多粒度融合重建的端到端红外小目标检测方法，命名为BAMFNet。为应对背景干扰和下采样过程中像素丢失导致的误报和漏检问题，该方法首先对红外图像中的背景和小目标进行解耦，然后利用两者之间的内在相关性实现背景特征与小目标特征的融合与重建，从而为红外小目标检测提供增强的决策支持。

(2) 提出了一种特征解耦与提取的协同优化框架。通过解耦算法将红外图像启发式地解耦为低秩背景分量和稀疏目标分量，对两类特征进行独立提取和针对性优化。引入了一种背景特征提取模块（BFEM），采用全局-局部分层融合与块感知注意力机制（GL-PAAM）来精确捕获和细化背景特征。设计了一种稀疏目标提取模块（STEM），利用空洞卷积替代池化操作，在不降低分辨率的前提下捕获边缘细节，从而有效缓解目标像素的平滑、重叠或丢失问题。

(3) 提出了一种多粒度融合与重建模块（MGFRM）。对BFEM提取的粗粒度背景特征和STEM提取的细粒度小目标特征进行多粒度融合与重建，从而重建具有增强目标-背景对比度的特征图。这一过程提高了特征表示的特定性和完整性。在多个公开数据集上的实验表明，BAMFNet相较于现有最先进方法取得了优越的性能，展现出更强的分割能力和更高的检测精度。

本文其余部分组织如下：第2节介绍解耦算法（第2.1节）、BAMFNet整体框架（第2.2节），并对所提BFEM（第2.2.1节）、STEM（第2.2.2节）和MGFRM（第2.2.3节）进行详细描述。本文使用的数据集和实验结果在第3节中呈现。第4节阐述结论和额外讨论。

方法

本文提出了一种基于背景感知解耦与多粒度融合重建的端到端红外小目标检测方法，命名为BAMFNet（如图1(a)所示）。

与通常仅专注于增强小目标特征而忽视背景特征处理的现有方法（图 1(b)）相比，所提出的方法基于这样一个成像先验：红外背景呈现全局低秩特性，而小目标 实验 本节首先描述实验细节和评估指标，随后与其他最先进方法进行定性和定量比较，并分析 BAMFNet 中关键参数的影响。 结论 本文提出了一种基于背景感知解耦和多粒度融合重建的端到端红外小目标检测方法，命名为 BAMFNet。与大多数忽视背景信息的现有方法不同，BAMFNet 创新性地采用了“先解耦，后融合”策略，利用上下文背景线索辅助小目标检测。通过启发式地将输入图像解耦为独立的背景和小目标分量，该方法 CRediT 作者贡献声明 Xin Pan：撰写 – 原稿，可视化，验证，方法论，正式分析，概念化。Tao Chen：撰写 – 审阅与编辑，监督，资源，资金获取，概念化。Huayue Chen：撰写 – 审阅与编辑，监督，资源，资金获取，概念化。 利益冲突声明 作者声明他们没有任何已知的竞争财务利益或个人关系，这些利益或关系可能影响本论文中报告的工作。Xin Pan|Tao Chen|Huayue Chen