基于优化深度学习模型与分解非下采样剪切波结构块变换的红外与可见光图像高效融合方法研究

针对红外与可见光图像融合(IVF)中存在的细节丢失、目标显著性不足及夜间场景适应性差等问题，研究人员提出创新性融合框架NDCPCAM-DNSSPT。通过归一化深度冠豪猪交叉注意力模型(NDCPCAM)增强特征互补性，结合分解非下采样剪切波结构块变换(DNSSPT)实现多模态数据优化整合，在TNO等数据集上取得92.71%的最高检测精度，为复杂环境下的目标识别提供新范式。

　　

在计算机视觉领域，红外与可见光图像融合(Infrared and Visible image Fusion, IVF)始终是提升目标检测性能的核心技术。可见光图像虽能提供丰富的纹理细节，却在低光照或雾霾条件下表现欠佳；而红外图像虽能穿透恶劣环境捕捉热辐射差异，却缺乏必要的场景细节。传统融合方法如非下采样轮廓波变换(NSCT)和离散小波变换(DWT)依赖人工设计特征，难以平衡互补信息与冗余抑制。尽管基于卷积神经网络(CNN)和生成对抗网络(GAN)的深度学习方法如FusionGAN有所突破，但夜间场景的亮度损失问题仍未解决，且缺乏标准化数据集制约了模型泛化能力。

针对这些挑战，研究人员开展了一项突破性研究。该团队提出融合归一化深度冠豪猪交叉注意力模型(Normalized Depthwise Crested Porcupine Cross Attention Model, NDCPCAM)与分解非下采样剪切波结构块变换(Decomposed Non-subsampled Shearlet Structural Patch Transform, DNSSPT)的创新框架。通过TNO、MSRS等标准数据集验证，该模型在保持92.71%检测精度的同时，将处理速度提升至0.0521秒每帧，相关成果发表于《Signal Processing: Image Communication》。

关键技术包括：1) NDCPCAM采用双重交叉注意力机制优化特征提取；2) DNSSPT通过结构块分解(SPD)将图像解构为信号强度、均值强度和信号结构三组分；3) 隶属度曲线精确分配权重以保持红外目标显著性；4) 锐化操作增强细节层对比度。实验采用四组公开数据集(TNO、MSRS、VIFB、VOT-RGBT)进行多维度评估。

研究结果部分：
^{Proposed methodology for IVF fusion}
通过NDCPCAM的双重交叉注意力机制，有效提取可见光图像的纹理特征与红外图像的热辐射特征，互补信息提取效率提升37%。

^{Results and discussions}
在TNO数据集上，DNSSPT的融合图像结构相似性指数(SSIM)达0.921，较传统NSCT方法提高19.2%。夜间场景测试显示，该模型在照度低于5lux时仍能保持89.4%的目标捕获率。

^Conclusion
该研究创新性地将生物启发式注意力机制与多尺度几何分析相结合，首次在IVF领域实现：1) 通过隶属度曲线动态调节强度分量权重，使噪声水平降低26dB；2) 锐化后的细节层使边缘对比度提升42%；3) 在VOT-RGBT数据集上，运动目标跟踪准确率较DDcGAN提升8.3个百分点。

这项研究的意义在于：为复杂环境下的多模态图像融合建立了新标准，其提出的NDCPCAM架构为跨模态特征提取提供了通用框架，而DNSSPT中的结构块分解思想可扩展至医学影像融合领域。特别是针对夜间低照度场景的优化方案，弥补了现有方法在应急救援、军事侦察等关键场景的应用短板。研究团队特别指出，未来工作将聚焦于开发轻量化版本以适应边缘计算设备需求。