ProG-Net:提示引导的可见光-热红外微小目标检测网络

《Remote Sensing》:ProG-Net: Prompted Guidance Network for Visible–Thermal Tiny-Object Detection

【字体: 大 中 小 】 时间:2026年09月21日 来源:Remote Sensing 4.3

编辑推荐:

  可见光-热红外(VT)目标检测为自主系统和遥感智能提供了稳定且全天候的感知能力。然而,由于严重的特征稀缺性和明显的跨模态分布差异,微小目标检测(TOD)仍然是一个持续的瓶颈。在微小尺度下,目标几乎不提供纹理细节,并且在标准下采样操作中极易消失。为了解决这些挑战

  
可见光-热红外(VT)目标检测为自主系统和遥感智能提供了稳定且全天候的感知能力。然而,由于严重的特征稀缺性和明显的跨模态分布差异,微小目标检测(TOD)仍然是一个持续的瓶颈。在微小尺度下,目标几乎不提供纹理细节,并且在标准下采样操作中极易消失。为了解决这些挑战,研究人员提出了ProG-Net,一种专为可见光-热红外微小目标检测设计的检测框架。具体而言,研究人员部署冻结的视觉基础模型(VFM)骨干网络,以继承高度泛化的预训练表示。为了对抗特征稀缺性,研究人员引入了一个由专用CM-Point-Head控制的辅助点预测分支。该机制利用显式点提示引导,强制冻结编码器产生高度聚焦的空间先验,从而有效地将微小目标与复杂背景杂波分离。此外,研究人员通过CM-Det-Neck和CM-Det-Head设计了一种提示引导的跨模态融合策略。该模块聚合并对齐双流表示,以补偿严重的模态不平衡。在RGBT-Tiny和LLVIP基准上的大量实验表明,所提出的ProG-Net在多个评估指标上普遍优于现有最先进方法,为该领域提供了新的见解。
论文解读:ProG-Net:提示引导的可见光-热红外微小目标检测网络

可见光-热红外(VT)目标检测通过融合可见光图像与热红外图像,为自主系统和遥感智能提供全天候、全天时的感知能力。然而,微小目标检测(TOD)仍是该领域的持续瓶颈。微小目标像素极少、纹理细节近乎为零,在标准下采样操作中极易出现特征消失;同时,可见光与热红外模态之间存在明显的分布差异,跨模态特征难以可靠对齐。现有方法在面对这种特征稀缺性和模态不平衡时,往往难以取得理想效果。因此,研究人员提出了ProG-Net,一种专门面向可见光-热红外微小目标检测的提示引导网络。

该研究的主要思路是:利用冻结的视觉基础模型(VFM)骨干网络继承大规模预训练得到的泛化表示;通过一个辅助点预测分支产生显式的点提示,强制冻结编码器生成高度聚焦的空间先验;再通过提示引导的跨模态融合策略,将可见光与热红外的双流信息有效聚合。在RGBT-Tiny和LLVIP两个基准上的大量实验表明,ProG-Net在多个评估指标上总体优于现有最先进方法,为可见光-热红外微小目标检测提供了新思路。

研究人员使用的关键技术方法主要包括:采用冻结的Segment Anything Model(SAM)作为视觉基础骨干,分别提取可见光和热红外特征;设计Cross-Modal Point-Head(CM-Point-Head),将双流特征拼接投影后,用高斯热图回归目标中心点,并用L1损失回归目标宽高;将预测中心点转换为点提示,通过SAM的冻结Prompt Encoder和Mask Decoder生成类无关提示图;设计Cross-Modality Detection Neck(CM-Det-Neck),通过双向交叉注意力和自适应门控融合对齐跨模态特征;设计Cross-Modality Detection Head(CM-Det-Head),利用提示感知特征相似性生成空间注意力,并经共享映射头输出统一预测。评估数据来自RGBT-Tiny数据集(115个配对视频序列,约9.3万帧对,超过120万实例)和LLVIP数据集(15488对低光可见光-热红外图像对)。

在实验结果部分,按论文小标题总结如下。

Comparison with Existing methods on RGBT-Tiny:在RGBT-Tiny数据集上,ProG-Net在热红外流中达到38.7%的平均精度(AP),取得新的最优结果;在可见光流中,AP略低于DINO方法1.8个百分点,但在AP50和AP75指标上表现更好。针对微小和极微小目标的多个指标,ProG-Net也取得了前列排名。这证明该架构能够有效应对微小目标的特征稀缺问题。

Comparison with Existing methods on LLVIP:在LLVIP常规尺度低光行人数据集上,ProG-Net取得了94.8%的AP50和62.3%的AP,综合性能与现有方法相当。这表明所提出的提示引导跨模态融合机制不仅适用于微小目标,也具备推广到非微小目标场景的鲁棒性。

Ablation Study:消融实验显示,在冻结SAM加UperNet头基线上加入CM-Det-Branch后,可见光AP从27.0%提升至32.3%,热红外AP从30.1%提升至35.3%;进一步加入点提示相关模块后,AP分别提升至36.6%和38.7%。使用真实中心点作为提示时,AP达到37.8%和39.6%,与学习到的点提示差距较小,说明点回归分支产生的提示已接近最优。在融合方式对比中,简单拼接增益有限,而CM-Det-Neck带来一致提升,验证了双向交叉注意力与门控融合的有效性。

Visualization and Analysis:定性检测结果和特征可视化表明,ProG-Net在远距离、杂乱背景下仍能准确定位微小目标,且可见光与热红外模态的注意力响应高度一致,说明提示引导机制能够有效抑制背景杂波,实现跨模态互补增强。

在讨论部分,研究人员分析了计算成本:ProG-Net总参数量为96
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号