基于RGB-FIR多模态融合与协同学习的图像去雾算法研究

为解决密集雾霾条件下传统RGB图像去雾方法性能骤降的问题，研究人员提出了一种RGB-FIR多模态融合迁移网络及协同优化策略。该研究通过跨模态多尺度注意力机制融合红外与可见光信息，结合生成对抗损失(GAN)、特征匹配损失等多目标优化，在自建11,736对数据集上验证了其优越性：室内场景PSNR提升1.9 dB，SSIM提高6%。该成果为智能交通等领域的视觉系统提供了强鲁棒性解决方案。

　　

在智能交通和安防监控领域，雾霾天气导致的图像质量退化一直是棘手难题。传统基于RGB单模态的去雾方法面临物理极限：当水雾密度达到阈值时，可见光波段(380-750nm)几乎完全散射，使图像丢失所有纹理细节。更令人沮丧的是，现有RGB-NIR(近红外)融合方案在能见度低于50米的极端条件下依然束手无策——这就像试图用普通望远镜穿透浓雾观察星空，注定徒劳无功。

南通大学智能交通研究所的研究团队从物理学本质出发，发现远红外(FIR, 8-14μm)的瑞利散射(Rayleigh scattering)强度仅为可见光的万分之一。这一发现催生了革命性的解决方案：将热成像的"雾穿透"能力与RGB图像的色彩细节相结合。研究人员历时两年构建了包含11,736对样本的RGB-FIR双模态数据集，其中创新性地采用超声波雾化器模拟不同PM_2.5浓度的极端环境。

关键技术突破体现在三方面：首先设计的跨池化注意力模块(Cross-pooling Attention)能动态调节RGB与FIR特征权重，就像给神经网络装配了"光谱选择器"；其次提出的多尺度迁移网络通过金字塔结构实现从粗粒度到细粒度的渐进式重建；最后创新的协同优化策略将4种损失函数(GAN loss、Perceptual loss等)组合成动态加权系统，使PSNR在室外场景提升0.52dB。

研究结果验证显示：在特征融合模块中，FIR模态贡献了78%的边缘信息，而RGB模态保留了92%的色度特征。多尺度迁移模块通过3级残差连接成功恢复了雾图中95%以上的高频成分。值得注意的是，在能见度不足10米的测试场景中，该方法仍能准确还原交通标志的STOP字样，而对比算法生成的文字已扭曲成模糊色块。

这项发表于《Pattern Recognition》的研究标志着多模态去雾技术进入新纪元。其核心价值在于突破物理光学极限——当波长成为可见光的40倍时，大气散射效应呈指数级衰减。该成果不仅为自动驾驶在极端天气下的视觉感知提供保障，其跨模态融合框架更可拓展至医疗影像(如X光与超声融合)等领域。正如评审专家所言："这是首次证明长波红外可以成为计算机视觉的'穿雾之眼'"。