通过对比学习和频率-梯度特征融合技术实现红外小目标检测

《Expert Systems with Applications》：Infrared Small Target Detection via Contrastive Learning and Frequency–Gradient Feature Fusion

　　罗慧兰|王倩|何建龙|黄楠
江西理工大学信息工程学院，赣州，341000，中国

摘要
由于目标与背景对比度低、场景复杂以及目标尺寸微小，红外小目标检测（IRSTD）仍然极具挑战性，这常常导致误报和漏检。为应对这些挑战，我们提出了一种新颖的频率与梯度特征细化网络（FGFRNet）。FGFRNet引入了三个关键模块来改进目标表示并抑制背景干扰。首先，温度感知对比学习（TACL）模块利用像素级的热先验在特征空间中构建具有区分性的正负样本对，从而增强前景与背景的分离能力。其次，频率注意力感知融合（FAAF）模块将全局频域上下文与空间域细节相结合，以提高语义定位能力。最后，纹理特征增强（TFE）模块采用基于梯度的监督机制来强化细粒度纹理线索。在NUAA-SIRST、NUDT-SIRST和IRSTD-1k数据集上的广泛实验表明，FGFRNet取得了业界领先的性能，特别是在杂乱和低对比度条件下表现出更强的鲁棒性。代码可在以下链接获取：https://github.com/wangqian-w/FGFRNet

引言
红外小目标检测（IRSTD）在计算机视觉中变得越来越重要，因为它在军事和民用应用中都扮演着关键角色。在国防系统中，有效的IRSTD对于精确制导攻击（Kou等人，2024年）、战场监视（Wang、Du、Liu和Cao，2022年）以及侦察等任务至关重要，因为检测精度直接影响作战成功性和安全性。在民用领域，IRSTD支持多种关键功能，包括海上救援（Ma等人，2024b年）、野火监测（Ma等人，2024a年）、交通监控（Ying等人，2023年）和热成像医学诊断（Pang等人，2025年）。在这些高风险的场景中，漏检或误报可能会带来严重后果，因此需要鲁棒、准确且泛化能力强的IRSTD方法。

红外成像能够捕捉物体发出的热辐射，在黑暗、雾天和烟雾等恶劣环境下提供可见性——这些环境下可见光成像通常效果不佳（Dai、Wu，2017年；Han、Ma、Zhou、Fan、Liang、Fang，2014年；Zhu、Zhang、Xu、Deng，2020年）。然而，尽管具有这些优势，由于红外数据的固有局限性，IRSTD在技术上仍面临挑战。如图1所示，这些挑战包括：
- **目标尺寸小**：特别是在远距离观测时，目标仅占据几个像素，使得它们难以与背景杂乱区分。
- **信噪比低（SCR）**：目标信号相对于复杂且噪声较大的背景来说通常较弱，导致分离能力较差。
- **结构和纹理信息有限**：由于红外传感器的空间分辨率较低，目标缺乏清晰的边界和详细的纹理，阻碍了有效的表示和识别。

传统的IRSTD方法，如TopHat滤波（Bai和Zhou，2010年）和WSLCM（Han等人，2021年），依赖于手工设计的对比度增强技术和局部统计建模。虽然在这些控制良好的场景中有效，但这些方法高度依赖于手动定义的先验和固定参数，因此对目标大小、背景复杂性和噪声变化非常敏感，从而限制了它们在各种真实世界条件下的泛化能力。

最近的深度学习（DL）方法通过在端到端特征学习方面取得显著进展，推动了IRSTD的发展。例如，MSHNet（Liu、Liu、Zheng、Wang和FU，2024年）引入了尺度感知的监督机制，而MMLNet（Li、Zhang、Lu和Wang，2025年）结合了多分支架构来同时学习检测、定位和边缘信息。尽管有所改进，现有的DL方法在抑制复杂背景干扰和保留细粒度结构细节方面仍存在局限性——这两点对于准确的小目标检测至关重要。

为应对这些挑战，我们提出了一种新的深度网络架构——频率与梯度特征细化网络（FGFRNet），专门用于增强红外小目标检测。FGFRNet由三个互补的模块组成，旨在解决IRSTD中的核心难题：
- **温度感知对比学习（TACL）模块**用于在低信噪比环境下改善目标与背景的分离。通过基于热先验构建对比特征对，TACL增强了网络学习具有区分性表示的能力。
- **频率注意力感知融合（FAAF）模块**用于解决空间歧义问题。该模块有效地将全局频域特征与空间域细节相结合，以提高语义一致性和定位精度。
- **纹理特征增强（TFE）模块**用于丰富结构表示。它采用基于梯度的监督机制来引导边缘和形状感知特征的学习，弥补了红外图像中固有的纹理缺陷。

为了验证我们的方法，我们在三个广泛使用的IRSTD数据集上进行了广泛实验：NUAA-SIRST、NUDT-SIRST和IRSTD-1k。结果表明，FGFRNet在低对比度和复杂背景的具有挑战性的条件下始终优于现有方法。

本研究的主要贡献总结如下：
- 我们提出了一种温度感知对比学习（TACL）模块，利用热分布先验在低信噪比条件下改善特征分离能力。
- 我们设计了一种频率注意力感知融合（FAAF）模块，能够自适应地将频域上下文与空间特征结合，以提高定位能力和鲁棒性。
- 我们引入了一种纹理特征增强（TFE）模块，利用梯度监督机制恢复细粒度结构信息，解决了红外目标分辨率低的问题。
- 我们在三个公共数据集上证明了FGFRNet的有效性，其在检测精度、鲁棒性和泛化能力方面均达到了业界领先水平。

**章节片段**
红外小目标检测
最近的深度学习方法显著推动了红外小目标检测（IRSTD）的发展，使得在复杂热场景中实现了更好的特征学习和背景抑制。根据核心策略，现有方法大致可以分为五类：
- **对抗学习框架**：MDvsFA（Wang、Zhou和Wang，2019年）采用条件生成对抗网络（cGAN）架构，通过双生成器来解决漏检（MD）和误报问题。

**架构概述**
我们提出了FGFRNet，这是一种用于红外小目标检测的新框架，整合了频域注意力、梯度引导的纹理增强和具有区分性的对比细化。整体架构遵循编码器-解码器范式，如图2所示。
给定一个输入红外图像I∈R^1×H×W，编码器通过五个连续的残差块提取多尺度特征图fi∈R^(C_i×(H/2_i)×(W/2_i)，其中C_i={16, 32, 64, 128, 256}。

**数据集**
我们在三个广泛使用的IRSTD基准数据集上评估了FGFRNet的性能：NUAA-SIRST（Dai等人，2021a）（427张不同分辨率的真实红外图像）、NUDT-SIRST（Li等人，2023年）（1327张合成图像）和IRSTD-1k（Zhang等人，2022b）（1000张真实图像）。为了提高鲁棒性和泛化能力，我们应用了标准的数据增强方法，包括随机水平翻转、旋转、裁剪和缩放。所有NUAA-SIRST和NUDT-SIRST图像的尺寸被调整为256×256，IRSTD-1k图像的尺寸调整为512×512。

**失败案例**
尽管FGFRNet在广泛的红外小目标检测（IRSTD）场景中表现出色，但在某些极端具有挑战性的条件下仍存在局限性。如图12所示，当背景区域具有高对比度或强烈显著性时，模型可能会产生误报。例如，在第一排图片中，FGFRNet错误地将左上角的亮背景区域检测为目标。

**结论**
本文提出了FGFRNet，这是一个频率与梯度特征细化网络，旨在从三个互补的角度改进红外小目标检测：前景-背景区分、频域融合和纹理增强。具体来说，温度感知对比学习（TACL）模块引入了像素级热先验来增强特征分离能力。频率注意力感知融合（FAAF）模块将全局频率信息与空间特征相结合。

**作者贡献声明**
罗慧兰：监督、撰写——审稿与编辑。
王倩：撰写——初稿、可视化、软件、方法论。
何建龙：资源提供、调查、形式分析。
黄楠：资源提供、调查、形式分析。

**利益冲突声明**
作者声明他们没有已知的会影响到本文所述工作的财务利益或个人关系。