
-
生物通官微
陪你抓住生命科技
跳动的脉搏
基于条件扩散模型与对比学习的红外小目标图像生成方法ISTDiffuser研究
【字体: 大 中 小 】 时间:2025年07月21日 来源:Optics & Laser Technology 4.6
编辑推荐:
针对红外小目标检测(IRSTD)中样本稀缺、场景单一等难题,研究人员创新性提出ISTDiffuser方法,首次将条件扩散模型与对比学习结合应用于单帧红外小目标(SIRST)图像生成。通过场景-目标交互生成模块和风格对比学习模块,实现了高保真、多样化的目标-背景融合,显著提升了下游检测任务的性能,为军事侦察等领域提供高效数据解决方案。
在军事侦察和安防监控领域,红外小目标检测(IRSTD)技术如同黑夜中的"鹰眼",能精准识别导弹、无人机等微小热源目标。然而这项技术面临一个棘手的瓶颈——高质量训练数据的获取。传统方法依赖昂贵的实地采集或人工合成,不仅耗时耗力,且难以覆盖复杂多变的实战场景。更棘手的是,国际光学工程学会(SPIE)定义的"小目标"标准(小于9×9像素、在256×256图像中占比不足0.15%)对数据生成提出了近乎苛刻的要求:既要保证目标的微观特征,又要实现与背景的自然融合。
针对这一挑战,空军军医大学与河北省军民融合发展项目联合团队在《Optics》发表创新研究。他们突破性地将当前最热门的扩散模型(Diffusion Model)引入该领域,开发出ISTDiffuser系统。这项研究犹如为红外图像生成装上了"双引擎":一方面通过场景-目标交互生成模块实现像素级的精准融合,另一方面创新性地采用风格对比学习,使生成图像既保持多样性又符合真实物理特征。
研究团队运用三个关键技术方法:1)基于条件扩散模型的层级去噪框架,逐步构建目标-背景联合分布;2)引入场景语义引导的注意力机制,确保目标与背景的物理一致性;3)建立多尺度对比学习损失函数,在风格空间对齐真实与生成样本的分布。实验采用公开SIRST数据集验证,通过峰值信噪比(PSNR)和结构相似性(SSIM)等指标定量评估。
【红外图像生成】
突破传统GAN的局限,首次实现扩散模型在红外小目标生成的应用。相比物理建模方法,生成效率提升3倍以上,且支持复杂气象条件下的数据合成。
【方法论】
设计的交互生成模块通过双分支架构同步处理背景与目标。关键创新在于提出的"热力学注意力"机制,模拟真实目标与背景的热交换物理过程。
【实验】
在NUAA-SIRST等数据集测试显示,生成图像PSNR达38.2dB,较现有最佳GAN方法提升15%。下游检测任务mAP提高12.3%,尤其在雾霾场景下优势显著。
【讨论与结论】
这项研究开辟了扩散模型在军事红外领域的新应用范式。ISTDiffuser生成的2000+多样化样本已应用于某型导弹制导系统的算法优化,使夜间目标识别率提升19%。研究不仅解决了数据稀缺的行业痛点,更重要的意义在于:1)建立可解释的红外物理特征生成框架;2)验证对比学习在跨模态数据增强中的普适性;3)为其他小目标检测(如医学显微图像)提供通用技术路线。团队开源的代码库已获Github趋势榜推荐,预计将加速红外智能感知技术的军民融合发展。
生物通微信公众号
知名企业招聘