AGATENet：一种用于统一场景去雾的自适应门控专家变换器网络

《Neurocomputing》：AGATENet: An adaptive gated experts transformer network for unified scene dehazing

　　

Xin Gao|Zhiyu Lyu

摘要

现实环境中的雾气浓度分布不断变化，这使得去除强雾变得十分困难。许多去雾网络在雾气模式或场景类型相对一致时表现良好。然而，在具有多种退化特征的实际情况中，这些方法往往依赖特定假设或有限的训练数据，这限制了它们的通用性，也无法实现跨不同条件的统一处理。

为解决这一问题，我们提出了AGATENet，这是一个结合内容自适应修复与场景自适应专家选择的统一框架。在修复过程中，我们在重建时明确分离亮度和色彩分量。此外，我们还引入仅基于色彩的残差连接来重新注入颜色信息，同时避免重新引入受雾气影响的亮度信息。这种设计减少了强力去雾与精确保留结构之间的冲突。为处理空间上不均匀的退化现象，精准掩码稀疏注意力模块能够提取与雾气密度相关的特征，并重点处理严重退化的区域。另外，TransGuide校准器通过匹配跨阶段特征并保留细节，进一步优化编码器与解码器的融合效果。

为适应场景的多样性，我们采用了门控机制，根据输入的雾气特征动态激活最合适的预训练专家模型。这样一来，无需手动设定先验条件，即可自动针对不同的雾气类型进行优化。大量实验表明，AGATENet在复杂多样的真实雾气环境中仍能展现出出色的性能。源代码可在Github获取。

引言

在复杂的户外环境中，可靠的图像去雾是实现强大高级视觉功能的基础[1]、[2]。

尽管基于深度学习的方法在合成数据集上取得了优异的性能，但它们在现实场景中的稳定性仍有待提升。真实雾气通常具有空间上的非均匀分布、连续的浓度变化以及混合型的退化特征，因此很难仅通过单一的固定退化假设来恢复图像。现有去雾架构的一个根本缺陷在于其场景适应性不足。大多数方法都是针对特定的雾气分布或退化类型进行优化的。因此，要处理不同的雾气状况，往往需要分别训练模型或手动选择特定任务的参数，这严重限制了其在实际应用中的扩展性。另一种做法是为多种雾气类型训练一个静态模型，但这会导致不同的退化模式共享同一个参数空间，从而可能引发相互冲突的优化目标，因为模型必须在不同的修复行为之间做出权衡[3]。因此，现有方法仍然难以提供一种统一且强大的整体去雾解决方案。

在真实的多雾环境中，现有方法面临三大核心挑战：（1）浓度建模不足：由于缺乏位置感知，现有模型无法捕捉渐变雾气中的长距离依赖关系。此外，去雾与重建所使用的共享表示方式会导致目标相互纠缠、特征之间产生干扰。（2）跨阶段特征融合效率低：浅层结构信息与深层语义特征之间存在语义差距，简单的融合策略无法使这两者对齐，从而限制了细节的保留。（3）参数优化存在冲突：不同的雾气类型通常需要不同的修复方式。在整体式系统中，单个静态模型容易出现分布偏差和任务内部冲突，进而降低去雾能力和重建精度。

为应对这些挑战，我们提出了自适应门控专家变换网络AGATENet，它是一个基于Swin Transformer[4]框架的统一架构。首先，我们引入了精准掩码稀疏注意力机制PMSA。该机制根据估算的雾气浓度动态调节查询键之间的交互，从而灵活控制特征聚合的强度。这种内在的自适应能力使得AGATENet即便在整体式系统中也能有效应对不同的雾气分布。

其次，与仅使用RGB通道的方法不同，AGATENet利用LAB颜色空间。如图1所示，雾气主要影响亮度，而色度则相对稳定。传统的RGB残差连接往往会将受雾气污染的特征传递到解码器，从而干扰图像恢复。为解决这一问题，我们在最终残差中采用双路径策略，仅使用AB通道，这样既避免了雾气的再次引入，又保留了结构特征。此外，TransGuide校准器还起到了连接浅层与深层特征的作用，有助于实现有效的特征对齐。

最后，为进一步提升模型的通用性，我们设计了门控路由机制，该机制能够识别出主要的雾气特征，并激活最优的预训练专家模型。这样一来，无需手动选择模型或参数，就能在复杂的混合场景中提升性能。

综上所述，我们的主要贡献包括：

• •
  我们提出了AGATENet，这是一种基于Transformer的统一框架，可用于处理复杂的混合雾气去除任务。与静态的整体式去雾模型不同，AGATENet结合了基于浓度感知的表示学习与自适应专家选择机制，从而提升了其在不同雾气条件下的稳定性。
• •
  我们引入了精准掩码稀疏注意力机制PMSA，用于精确建模雾气浓度。该机制通过根据估算的雾气浓度调节查询键之间的交互，实现区域自适应的稀疏特征聚合，从而在非均匀雾气条件下提升图像恢复质量。
• •
  我们设计了一种以重建为核心的方案，该方案将基于LAB的颜色空间分离技术与TransGuide校准器相结合。前者可通过残差连接避免传递受雾气影响的亮度信息，后者则能将浅层结构特征与深层语义特征对齐，从而实现更准确、细节保留更好的图像重建。
• •
  我们设计了门控路由机制，用于在整体式去雾任务中实现自适应的专家选择。该机制可根据雾气特征动态将输入特征分配给最适合的专家模型，从而无需手动选择模型或参数，同时减少不同雾气类型之间的优化冲突。

本文的其余部分结构如下：第2节回顾了基于深度学习的图像去雾相关研究；第3节详细阐述了AGATENet框架的设计原则；第4节评估了该模型在各种真实场景中的去雾性能；最后，第5节对全文进行总结，并探讨了未来的研究方向。

章节摘录

相关工作

图像去雾方法可以从不同角度进行分类。按照修复机制，现有方法大致可分为基于先验的去雾方法和端到端的深度学习方法。基于深度学习的模型还可进一步分为基于CNN的网络、基于Transformer的架构，以及那些更具通用性和高效性的修复框架。从监督类型来看，这些方法也可分为有监督学习和无监督学习

方法

本节介绍了整个网络架构及其各组成模块的设计思路，最后还介绍了模型训练中使用的损失函数。

实验

本节介绍了所使用的数据集，以及我们的模型在这些数据集上的性能表现，并将其与现有的最先进模型进行了比较，这些模型包括DCP[6]、FFA-Net[64]、DehazeFormer[24]、SCANet[65]、SDBAD-Net[66]、OKNet[67]、FSNet[68]、DFPIR[69]、COA[70]、WDMamba[71]、Mobile-SAM[72]以及BI-DGID[73]。实验在两种不同的场景下进行：一种是针对每种特定雾气类型分别进行训练和评估的场景特定设置，另一种则是模拟整体处理的整体式设置

结论

本文提出了AGATENet，这是一种用于整体场景去雾的统一网络。该模型采用了精准掩码稀疏注意力机制，该机制结合了用于空间雾气估计的浓度感知定位器与用于特征精细化的自适应判别注意力模块。在解码器中，残差连接是在LAB颜色空间中构建的，且仅使用AB通道，这样在恢复结构和颜色时，后续阶段就能更多地依赖相对不受雾气影响的色彩信息。

CRediT作者贡献说明

Xin Gao：撰写——审稿与编辑、撰写——初稿、软件开发、方法设计。Zhiyu Lyu：指导监督、资源提供、方法设计、资金筹集、数据整理。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究成果的已知财务利益或个人关系。

Xin Gao目前正在东北电力大学攻读硕士学位。