《Displays》：Soft Gating and Multi-Granularity Attention guided network for infrared-visible dehazing
编辑推荐：
•提出了一种端到端的红外–可见光图像融合去雾网络，以实现有效去雾。•设计了多粒度注意力融合模块和软门控机制，以实现自适应、模态感知的融合。•开发了一种综合损失函数，平衡像素准确性、感知质量和色彩自然度。引言雾霾是一种常见的现大气现象，由空气中的水蒸气、悬浮颗粒和气溶胶组成，会
- •
提出了一种端到端的红外–可见光图像融合去雾网络，以实现有效去雾。
- •
设计了多粒度注意力融合模块和软门控机制，以实现自适应、模态感知的融合。
- •
开发了一种综合损失函数，平衡像素准确性、感知质量和色彩自然度。
引言
雾霾是一种常见的现大气现象，由空气中的水蒸气、悬浮颗粒和气溶胶组成，会显著散射和吸收自然光，导致成像系统采集的图像对比度、清晰度和色彩饱和度显著下降 [1]、[2]、[3]。这种视觉退化不仅影响图像的感知质量，还严重限制了计算机视觉系统在高阶任务（如目标检测、场景理解和自动驾驶）中的性能 [4]。因此，在散射介质环境下恢复清晰逼真的图像已成为低层视觉任务中的关键研究课题。早期的图像去雾方法主要依赖于可见光图像的单一模态输入，并基于经典的大气散射模型进行建模 [5]、[6]、[7]。该模型可表示为：其中 为观测到的雾霾图像， 为待恢复的清晰图像， 为全局大气光， 为介质透射率，其通常表示为 ，其中 表示大气散射系数， 为场景深度。基于该模型的传统方法通常通过设计人工先验来估计透射图和大气光，从而反演清晰图像 [8]、[9]、[10]、[11]、[12]、[13]。然而，这些先验通常建立在理想化的统计假设之上，在复杂光照、浓雾或非标准环境下往往不成立，导致性能显著下降。
近年来，随着深度学习的发展，端到端卷积神经网络 [13]、[14]、[15]、[16]、[17]、[18]、[19]、[20]、[21] 和视觉Transformer架构 [22]、[23]、[24]、[25] 已被广泛应用于图像去雾任务，它们可以直接学习从雾霾图像到无雾图像的非线性映射，而无需显式估计透射图和大气光。尽管这些方法在多个数据集上取得了优异性能，但由于其输入仍局限于可见光图像，在极端雾霾或低光照条件下仍存在性能瓶颈，尤其是纹理丢失、细节模糊和色彩退化等问题难以避免。
与可见光成像不同，红外成像系统天生对大气散射具有鲁棒性，能够在复杂天气条件下保留物体的热辐射信息和结构轮廓。因此，红外与可见光图像融合去雾逐渐成为研究热点。其目标是将红外图像的稳定结构信息与可见光图像丰富的色彩和纹理信息相结合，以提高去雾图像的真实感和细节完整性。早期的红外-可见光融合去雾方法主要聚焦于基于图像处理或统计先验的融合策略 [26]、[27]、[28]、[29]、[30]、[31]、[32]。这些方法依赖于手工设计的融合规则，不仅限制了其利用模态互补性的能力，也限制了其在复杂场景中的适应性，尤其是在浓雾条件下。
近年来，基于深度学习的方法被越来越多地探索用于红外-可见光融合去雾，利用神经网络强大的表征能力来捕获跨模态关联 [33]、[34]、[35]、[36]、[37]、[38]。然而，大多数现有方法主要通过注意力或加权求和进行特征级融合，这可能无法充分捕获复杂的跨模态关系和依赖于场景的雾霾密度变化。为解决这些问题，我们提出了一种新颖的红外-可见光融合去雾网络，增强了跨模态特征交互，并引入了自适应机制根据场景需求调节模态贡献。这一统一设计能够在多样且具有挑战性的环境中实现更准确、更鲁棒且视觉更自然的去雾结果。
本文的主要贡献如下：
- •
提出了一种端到端的红外-可见光图像融合去雾网络，充分利用了红外图像的结构鲁棒性和可见光图像的色彩与纹理丰富性。
- •
设计了多粒度注意力融合（MGAFusion）模块和软门控机制，以实现模态感知的特征精炼。MGAFusion促进了空间、通道和像素级别上多模态特征的深度交互，而软门控机制利用负欧几里得距离自适应地估计模态贡献，实现更准确和鲁棒的融合。
- •
构建了一种综合损失函数，同时考虑像素准确性、感知质量、结构完整性和色彩自然度。该设计从低层和高层两个视角引导网络优化，提高了图像质量和训练稳定性。
章节摘要
基于传统物理模型的方法
早期的单图像去雾方法主要基于大气散射模型 [5] 和基于经验观测的手工先验。其中，暗通道先验 [8] 是最具影响力的方法之一，它假设在无雾图像的大部分局部区域中，至少有一个颜色通道的强度非常低，这有助于估计透射图。颜色衰减先验 [9] 基于亮度与
整体架构
如图1所示，所提出的整体框架是一个集成的红外-可见光图像融合去雾系统，主要包括四个关键阶段：单模态特征提取、跨模态特征融合、多模态权重分配和最终去雾图像重建。该设计旨在充分利用红外光和可见光在结构信息和光谱特性方面的互补优势，从而获得更好的图像去雾效果。在
实现细节
所提出的网络使用PyTorch 2.0.0框架实现，在单块NVIDIA RTX 3090 GPU上以分布式训练方式进行500个epoch的训练。为增强泛化能力，对训练图像应用了数据增强技术，包括随机旋转（90°、180°和270°）和水平翻转。采用ADAM优化器进行优化，动量参数设置为和。初始学习率设置为0.001，并逐渐调整
结论
本文提出了一种新颖的端到端红外-可见光图像融合去雾网络，集成了多粒度注意力机制和软门控机制，以应对复杂雾霾场景中模态不平衡和信息不一致的挑战。具体而言，MGAFusion模块实现了空间、通道和像素级别上的细粒度特征交互，而软门控机制根据特征相似度自适应地调整模态贡献。
利益冲突声明
作者声明不存在已知的可能影响本文所报告工作的竞争性经济利益或个人关系。
致谢
本工作得到了国家自然科学基金（资助编号62272421、62272422）和河南省科技重点计划项目（编号252102210018）的支持。
金绍辉 | 李光鹏 | 张漫漫 | 康文华 | 许子钦 | 刘昊 | 徐明亮
