基于频率引导的多尺度去雾网络，结合跨域空间-光谱门控技术 金芳远（Fangyuan Jin）、 林辉（Hui Lin）、 张璐（Lu Zhang）和 陈一伟（Yiwei Chen）

《Algorithms》：Frequency-Guided Multi-Scale Dehazing Network with Cross-Domain Spatial–Spectral Gating Fangyuan Jin, Hui Lin, Lu Zhang and Yiwei Chen

　　摘要 单图像去雾仍然是一个具有挑战性的问题，因为雾主要破坏了低频结构，如全局对比度和颜色一致性，而细节纹理和物体边界则以不同的方式被降解。在本文中，我们提出了一种基于频率引导的多尺度去雾网络（FGDNet），该网络在紧凑的U-Net类似架构中明确耦合了空间域恢复和傅里叶域特征分解。该模型建立在带门控的U-Net主干网络上，并在编码器阶段插入了一个频率处理分支。具体来说，特征图通过快速傅里叶变换进行转换，通过径向掩模分为低频和高频成分，分别进行细化，然后通过一个轻量级的跨域门控模块融合。低频路径强调颜色和照明的恢复，而高频路径增强边缘和纹理。此外，一个额外的傅里叶幅度监督项使恢复图像的光谱分布与无雾目标对齐。在RESIDE ITS、RESIDE OTS、O-HAZE和NH-HAZE上的实验结果表明，所提出的方法在ITS上实现了33.3 dB的PSNR/0.983的SSIM，在OTS上实现了35.1 dB的PSNR/0.988的SSIM，在OTS到O-HAZE的泛化上实现了19.1 dB的PSNR/0.786的SSIM，在OTS到NH-HAZE的泛化上实现了15.8 dB的PSNR/0.648的SSIM。此外，定量和定性结果都表明，所提出的方法比代表性的去雾方法提供了更有效和更稳健的解决方案。此外，消融研究证实，傅里叶分支和空间-光谱门控机制都对性能提升有持续的贡献。这些结果支持了显式频率感知表示学习在图像去雾中的有效性，并为从合成雾到真实雾的泛化改进指明了实际方向。

1. 引言
图像去雾的目标是从在雾条件下获取的单一退化观测中恢复出清晰的图像。雾会降低对比度，扭曲颜色，抑制细节，并降低下游任务的鲁棒性，如物体检测[1,2]、识别[3,4]、自主导航[5,6,7]和遥感解释[8,9,10]。传统的基于先验的方法，以暗通道先验为代表，从手工制作的统计数据中估计物理变量，如传输和大气光，但它们的假设在非均匀雾或复杂照明条件下经常失效[11]。深度学习通过从成对数据中学习雾到清晰的映射，极大地改变了这一领域。早期的基于CNN的方法，如DehazeNet[12]、MSCNN[13]和AOD-Net[14]，提高了恢复质量和推理速度，而后来的架构，包括GridDehazeNet[15]、FFA-Net[16]、MSBDN-DFF[17]、DeHamer[18]、DehazeFormer[19]、gUNet[20]和DEA-Net[21]，通过注意力、多尺度门控、变换器建模和更强的特征融合进一步提升了性能。然而，大多数现有的去雾网络都主要由空间域处理主导。

本工作的动机是雾对不同频率带的影响不同。特别是，低频内容与全局遮蔽、对比度衰减和颜色偏移密切相关，而高频内容与边界、纹理和结构保真度密切相关。尽管已经在其他恢复问题中证明了频率域思想的有效性，并且已经开始出现频率感知去雾[22,23]，但在紧凑的多尺度去雾网络中，显式的空间-光谱协作仍然未被充分探索。在本文中，我们通过在一个带门控的U-Net主干网络上增加一个基于FFT的分支，开发了一个基于频率引导的多尺度去雾网络。在每个选定的编码器阶段，特征图在傅里叶域被分解为低频和高频成分，分别进行细化，然后通过一个轻量级的跨域门控块融合，该块在两个域之间交换通道级和空间级注意力线索。设计故意简单：它保持了卷积编码器的强大局部性和效率，同时在雾破坏最明显的地方引入了显式的光谱推理。

与仅依赖变换器注意力或仅使用光谱监督的论文相比，当前方法在统一架构中结合了三个要素：（1）中间特征的频率分解而不仅仅是输入图像，（2）对低/高频光谱带的单独处理，以及（3）融合前的双向空间-光谱门控。此外，训练目标包括一个FFT幅度损失，以鼓励恢复图像与真实图像之间的光谱一致性。

在RESIDE-ITS和RESIDE-OTS上的受控消融实验（详见第4.4节）表明，FFT分支和跨域门控模块都是一致有益的，并且FFT分支提供了主要的改进贡献。这些结果验证了所提出的设计逻辑，并支持了论文的核心假设，即显式的频率建模可以改善去雾效果。

主要贡献总结如下：首先，我们提出了一个基于频率引导的多尺度去雾网络，将基于FFT的低/高频分解嵌入到一个紧凑的带门控的U-Net主干网络中；其次，我们设计了一个轻量级的跨域门控模块，实现了空间组织和光谱分解特征之间的双向信息交换；第三，我们引入了一个简单而有效的损失公式，结合了像素域和傅里叶幅度监督。

2. 相关工作
2.1. 单图像去雾
传统的去雾方法大多源自大气散射模型和手工制作的先验。暗通道先验通过利用无雾区域中接近零的最小强度统计量成为了一个里程碑式的方法[11]。随着深度学习的兴起，端到端的CNN方法，如DehazeNet[12]、MSCNN[13]和AOD-Net[14]，用数据驱动的估计替代了显式的先验工程。最近的方法强调更强的多尺度聚合和注意力。GridDehazeNet[15]使用基于注意力的网格主干网络来缓解信息瓶颈，FFA-Net[16]采用特征和像素注意力来增强特征融合，MSBDN-DFF[17]通过增强解码和密集特征融合来提高恢复效果。基于变换器的方法进一步扩展了感受野并模拟了长距离结构，如DeHamer[18]和DehazeFormer[19]所示。最近，C2PNet[24]进一步引入了基于物理感知的双分支单元的课程对比度正则化，在SOTS室内和SOTS室外基准测试中取得了显著改进，展示了精心设计的训练目标在现代去雾流程中的价值。gUNet[20]表明，一个精心设计的带门控的U-Net主干网络可以在相对较低的开销下胜过更复杂的设计。DEA-Net[21]通过细节增强卷积和内容引导的注意力来改善细节重建。这些工作建立了强大的空间域基线，但它们中的大多数并没有在网络内部明确隔离或操作频率带。

与领域内准确性的竞争并行，另一条研究路线针对真实世界去雾的两个进一步挑战：超高分辨率和合成训练数据与真实捕获之间的域偏移。对于超高分辨率，4KDehazing[25]提出了一个多引导的双向学习网络，使用单个GPU对4K图像进行实时去雾。对于合成到真实的差距，PSD[26]用一组物理先验损失微调了一个合成预训练的主干网络；D4[27]将传输图分解为密度和深度，并在完全不配对的训练过程中重新渲染雾图像；RIDCP[28]引入了一个现象学退化流程以及一个来自预训练VQGAN的高质量代码本先验。这些方法与我们的工作互补：它们通过数据、先验或训练策略的修改来针对泛化，而当前工作则通过特征级别的架构变化来针对泛化。

2.2. 频率感知恢复和去雾
频率域建模在图像恢复中变得越来越重要，因为傅里叶表示以物理上有意义的方式分离了全局结构和局部细节。FSAS[23]是为图像去模糊提出的，证明了频率域操作可以在计算上高效并且恢复效果良好。在去雾中，频率感知设计仍然相对稀少。频率和空间双重指导的图像去雾[22]和FSAS[23]已经证明频率域操作可以提高恢复质量和效率，尽管现有的频率感知去雾模型通常更复杂或针对不同的设计目标。相反，我们的方法探索了一种紧凑的编码器端光谱分解策略，可以添加到带门控的U-Net中，且架构负担有限。除了去雾之外，频率域建模的价值还在相邻的恢复任务中得到了进一步证实：Deep Fourier Up-Sampling[29]推导出一个理论上合理的上采样操作符，该操作符尊重光谱卷积定理；SFNet[30]在U-Net主干网络内动态选择最具信息量的频率子带，用于多种恢复任务；FourLLIE[31]利用傅里叶幅度和图像亮度的强相关性进行高效的低光增强。这些工作共同支持了在紧凑去雾主干网络内部放置显式傅里叶分支的设计选择。

2.3. 基准数据集
RESIDE是最广泛使用的单图像去雾基准数据集，包括用于监督学习的大规模合成室内和室外数据[32]。为了更好地评估真实场景去雾，O-HAZE提供了45个带有专业雾生成器产生的真实雾的室外场景对[33]。NH-HAZE将真实世界评估扩展到非均匀雾，提供了具有更具挑战性的空间变化退化的成对图像[34]。因此，这些数据集适合评估领域内恢复和合成到真实的泛化。

3. 方法
3.1. 整体架构
图1a展示了我们提出方法的整体架构。所提出的FGDNet采用了受gUNet[20]启发的四阶段编码器-解码器结构，通道维度（32, 64, 128, 256）和阶段深度（1, 2, 2, 4）。一个3 × 3的茎卷积将RGB输入映射到浅层特征。前三个编码器阶段包含带门控的卷积块，后面是一个基于FFT的光谱处理模块；第四阶段作为瓶颈，保持在空间域中。解码器阶段逐步上采样特征，并通过1 × 1压缩和带门控的卷积细化与编码器进行融合。一个残差预测头产生最终的去雾图像，该图像被添加到输入并剪辑到[0,1]范围内。图1. 我们提出方法的框架：(a) 整体架构；(b) 光谱处理块（FFT分割和跨域门控块）的详细结构。箭头：数据流；颜色：模块；红色框：光谱处理块。该设计是有意义的，因为编码器特征仍然保留了相对明确的纹理/布局语义，而非常深的瓶颈特征变得高度压缩和更加抽象。因此，在这些尺度上集成傅里叶分解在信号可解释性和计算成本之间提供了良好的平衡。这一选择通过第4.6节（表5）报告的关于FFT装备编码器阶段数量的消融实验得到了实证验证：当FFT模块逐步添加到第1、2和3阶段时，PSNR单调增加，但当进一步应用于瓶颈阶段时略有下降。原因是瓶颈特征在256 × 256输入下被空间压缩为8 × 8，这对于可靠的2D FFT分解来说太小了；光谱主要由少数系数主导，低/高分割不再反映有意义的图像级频率。

3.2. 带门控的卷积主干网络
每个主干块都遵循类似于gUNet[20]的轻量级带门控卷积设计。对于输入特征x，逐点卷积扩展通道，深度卷积捕获局部上下文，一个简单的门将扩展的张量分成两半并逐元素相乘。第二个前馈分支通过通道扩展进一步细化表示。可学习的缩放参数β和γ调节两个残差路径，提高优化稳定性。这种结构保持了卷积U-Net设计的效率和局部建模强度，同时提供了比标准残差块更强的特征选择性。

3.3. 频率分割和细化
频率分割和细化如图1b所示。给定一个编码器特征图，光谱模块计算2D FFT并通过FFT位移来中心化光谱。然后根据阈值比率ρ构建一个径向二进制掩模M，低频比率设置为0.18。掩蔽的低频光谱和补充的高频光谱由ρ的值决定，ρ控制被视为低频的光谱区域。我们根据第4.5节（表4）报告的敏感性分析经验性地设置ρ = 0.18，该分析表明在ρ ∈ [0.15, 0.25]范围内性能稳定，并且ρ = 0.18在RESIDE-ITS_v2上获得了最佳的总体PSNR/SSIM。其中F表示x的位移傅里叶变换，⊙表示逐元素乘法。对两个分支应用逆FFT产生空间排列的低频和高频特征图。低频分支预期编码雾幕、粗略的照明和颜色一致性，而高频分支保留边缘、纹理过渡和结构清晰度。两个分支在融合之前都通过轻量级的3 × 3卷积堆栈进行细化。

3.4. 跨域空间-光谱门控
跨域空间-光谱门控如图1b所示。核心门控模块故意设计得非常轻量。低频分支同时作为空间分支，通过全局平均池化生成高频分支的通道权重，随后进行两次1×1卷积和一次Sigmoid函数处理。相反，门控高频特征通过一个小型的1×1卷积堆栈为低频分支预测一个空间注意力掩码。这种双向门控机制允许全局对比度线索调节细节增强，同时使细节丰富的信号能够选择性地细化空间定位。形式上，如果S和H表示精炼后的低频和高频特征，那么门控可以表示为：

其中表示通道门控，表示空间门控，[·,·]表示连接操作，Y是融合后的输出。最终编码器阶段的输出是Y + x。

3.5 训练目标
我们优化了L1损失、Charbonnier损失和傅里叶幅度损失的加权和：
默认权重为λ1 = 1.0，λ2 = 0.2，λ3 = 0.05。Charbonnier项提高了对异常值的鲁棒性，而FFT幅度项通过最小化预测和目标傅里叶变换幅度之间的L1距离来约束频谱统计特性。这与恢复视觉上准确的内容和正确的频率组合的目标是一致的。我们故意仅约束幅度谱，因为（i）幅度谱与FGDNet所针对的对比度衰减和雾霾效果密切相关；（ii）相位谱被限制在[-π, π]范围内，并且存在2π的不连续性，这在实践中会破坏训练的稳定性。表7中的消融实验表明，添加L1相位惩罚会导致ITS→ITS的PSNR下降约0.2 dB，而单独的FFT幅度损失会在FFT分支上增加约0.3 dB，因此作为补充目标保留。

4. 实验
4.1 数据集、评估协议和实现细节
在实验中，我们在RESIDE ITS_v2、RESIDE OTS_BETA、O-HAZE和NH-HAZE上使用配对训练/评估设置。RESIDE ITS_v2包含1399张清晰图像和13,990张雾霾图像，RESIDE OTS_BETA包含2061张清晰图像和72,135张雾霾图像，O-HAZE包含45对真实的室外场景，NH-HAZE包含大约55对真实的非均匀雾霾场景。RESIDE ITS_v2和RESIDE OTS_BETA数据集在源场景级别被划分为训练集、验证集和测试集，比例分别为80%、10%和10%。我们故意采用这种场景分离的划分方式，而不是标准的SOTS划分方式，原因有三点。首先，ITS_v2和SOTS-Indoor都是从NYU Depth V2深度图渲染的，而标准划分是在渲染图像级别进行的，因此NYU2源场景可能会在ITS_v2训练和SOTS-Indoor测试之间重叠；我们的源场景级别划分确保没有NYU2场景同时出现在训练和测试集中，从而提供了更严格的室内域泛化测试。其次，SOTS只包含500对室内和500对室外场景，且大气散射参数β的范围较窄，而我们的场景级别10%测试划分包含了大约1400对室内场景和7200对室外场景，覆盖了训练期间使用的全部β范围，从而获得了更少的噪声PSNR/SSIM估计。第三，由于第4.3节还报告了跨域协议（OTS→O-HAZE和OTS→NH-HAZE），这些协议并不来自RESIDE数据集，使用场景级别的域内划分可以保持表1、表2和表3中所有四种协议的评估一致性。为了与以往的工作完全可比，我们还在标准的SOTS-Indoor（500对）和SOTS-Outdoor（500对）测试集上评估了相同的训练模型；相应的数字列在表1的底部，并且与我们的场景分离划分结果一致。在评估中，PSNR和SSIM被用作主要的定量指标。我们评估了域内性能（ITS→ITS和OTS→OTS）以及从合成训练到真实配对基准的跨域泛化（OTS→O-HAZE和OTS→NH-HAZE）。注意：“→”箭头的左侧表示训练集，右侧表示测试集。

表1. 提出方法的定量结果。
表2. 与代表性最先进方法的定量比较结果。
表3. FFT分支和跨域门控模块的消融结果。
提出的方法使用了一个紧凑的FGDNet，其维度为（32, 64, 128, 256），以及三个配备FFT的编码器阶段。合成训练使用大小为256×256的随机裁剪和批量大小为8。通过自动混合精度（Automatic Mixed Precision）实现了混合精度训练。训练过程中的默认学习率为2×10^-4。所有实验都在Python 3.10、PyTorch 2.1.0、CUDA 12.1和cuDNN 8.9环境下实现，运行在单颗NVIDIA RTX 3090（24 GB）上，操作系统为Ubuntu 22.04，NumPy版本为1.26，地点在中国苏州。优化器使用AdamW（β1 = 0.9，β2 = 0.999，权重衰减 = 1×10^-4），并通过余弦退火调度器进行训练，共进行了300k次迭代，适用于ITS和OTS。第4.4节报告的多次运行方差分析使用了随机种子{0, 1, 2}。

项目中实现了两种消融变体：“no-cross”移除了空间-频谱门控机制，用直接相加代替；“no-fft”禁用了编码器阶段中的FFT分支。这些消融直接测试了显式频谱分解和跨域门控的贡献。

4.2 定量结果
提出模型的主要定量结果总结在表1中。完整模型在ITS上实现了33.3 dB/0.983的PSNR，在OTS上实现了35.1 dB/0.988的PSNR，表明在合成配对基准测试中表现强劲。当在OTS上训练时，该模型在O-HAZE上获得了19.1 dB/0.786的PSNR，在NH-HAZE上获得了15.8 dB/0.648的PSNR。这些结果表明，提出的频谱设计不仅对域内重建有益，也对合成到真实的转换有益。与合成基准测试（ITS和OTS）的结果相比，在真实世界基准测试（O-HAZE和NH-HAZE）上的得分较低，表明域偏移仍然是主要瓶颈。这是预期的，因为合成雾霾无法完全再现真实大气散射的色彩偏差、空间不规则性和光照复杂性。尽管如此，模型仍保持了合理的结构相似性，特别是在O-HAZE上，表明频率引导的设计可能捕获了更多可转移的恢复线索。

4.3 与代表性最先进方法的比较
为了验证提出的频率引导多尺度去雾网络的有效性，我们将其与三种代表性的最先进方法进行了比较，这些方法涵盖了近年来追求的主要架构范式：GridDehazeNet [15]、MSBDN [17] 和 FFA-Net [16]。如表2所示，“→”箭头的左侧表示训练集，右侧表示测试集。从定量结果来看，提出的方法在所有评估的协议中都一致地实现了更好的PSNR和SSIM。在合成到合成的设置ITS→ITS中，我们的方法达到了33.3 dB/0.983，优于GridDehazeNet（32.2 dB/0.978）、MSBDN（32.8 dB/0.981）和FFA-Net（32.0 dB/0.978）。这些结果表明，即使在训练和测试域相对一致的情况下，提出的模型也能恢复更清晰的结构和更真实的纹理。FGDNet在ITS→ITS上的优势并不特定于任何单一基线，而是在三种代表性方法中都普遍存在，证实了所提设计的优势与基于注意力的、多尺度的和特征聚合的CNN范式都是相容的。在OTS→OTS协议中，所有方法都取得了相对较强的性能，但提出的方法仍然以35.1 dB/0.988的成绩最佳，超过了GridDehazeNet（30.9 dB/0.980）、MSBDN（33.6 dB/0.982）和FFA-Net（34.7 dB/0.986）。尽管在这个较简单的同域室外设置中优势较小，但结果仍然表明，提出的频率引导分支和跨域门控可以在不牺牲重建质量的情况下提供稳定的改进。在真实世界的跨域基准测试中也可以观察到类似的趋势。在OTS→O-HAZE上，提出的方法达到了19.1 dB/0.786，而GridDehazeNet为17.2 dB/0.712，MSBDN为18.2 dB/0.750，FFA-Net为18.3 dB/0.766。在OTS→NH-HAZE上，我们的方法进一步达到了15.8 dB/0.648，超过了GridDehazeNet（13.4 dB/0.548）、MSBDN（14.1 dB/0.602）和FFA-Net（14.8 dB/0.638）。值得注意的是，这两种跨域设置上的改进比同域OTS基准测试更为显著，表明提出的频率引导设计对真实雾霾分布提供了更强的鲁棒性。特别是，PSNR和SSIM的同时提升表明，模型不仅提高了像素保真度，还提高了结构一致性，而不是牺牲其中一个指标来换取另一个。实际上，FGDNet是在表2中的所有四种协议上同时提高PSNR和SSIM的唯一方法。

总之，提出的方法有两个明显的优势。首先，它在室内和室外合成基准测试中都取得了最佳的总体恢复精度。其次，更重要的是，它从合成训练数据到真实世界雾霾数据集的迁移能力更强，其中域差距要大得多。这表明显式建模低频和高频成分有助于捕捉全局对比度退化和由雾霾引起的局部细节衰减。图2中的定性比较进一步支持了数值结果。与三种代表性基线（GridDehazeNet、MSBDN和FFA-Net）相比，提出的方法更彻底地去除了残留雾霾，并产生了更清晰的背景，尤其是在远距离区域和低对比度区域。总体而言，定量和定性结果都表明，提出的方法提供了比代表性去雾方法更有效和更稳健的解决方案。

4.4 消融研究
如表3所示，消融结果展示了FFT分支和跨域门控模块的各自作用。为了量化消融的统计可靠性，每种变体都在相同的数据分割和超参数下用种子{0, 1, 2}训练了三次，表3报告了PSNR/SSIM的平均值±标准差。标准差很小（在合成基准测试中PSNR≤0.12 dB，SSIM≤0.002 dB），因此完整模型与“无跨域门控”变体在ITS上的0.4 dB差距远大于种子级别的样本标准差，表明这种差异不太可能是纯粹的随机现象。移除FFT分支导致的更大差距（在每个基准测试中≥3.3 dB）显然超出了种子级别的噪声范围。我们注意到，由于只使用了三个种子，这些结果应被视为指示性的，而不是正式的显著性测试。移除跨域门控在所有设置中都导致了一致但适度的性能下降。在ITS上，PSNR从33.3 dB下降到32.9 dB。这表明简单的频谱分解是有用的，但低频/高频特征之间的引导信息交换进一步提高了恢复质量。移除FFT分支导致了更大的性能损失。ITS域内结果下降了3.9 dB，OTS域内结果下降了3.3 dB。真实域的泛化能力也显著下降，尤其是在SSIM方面。这些趋势强烈支持了论文的主要观点，即显式的频谱建模不是辅助手段，而是最终性能的核心贡献者。消融还揭示了一个有意义的贡献层次结构：FFT分支提供了主要的增益，而跨域门控模块则进一步细化和稳定了这种增益。如果低频/高频分离恢复了互补的雾霾相关信息，并且提出的融合模块有助于有效重组这些信息，那么这种行为正是预期的。

4.5 对低频比率ρ的敏感性
为了证明第3.3节中使用的径向掩码M选择的低频比率ρ = 0.18的合理性，我们在RESIDE ITS_v2上重新训练了完整的FGDNet，ρ ∈ {0.10, 0.15, 0.18, 0.22, 0.25, 0.30}，使用相同的优化器、数据分割和迭代次数。所有其他超参数保持不变。如表4所总结的，当ρ ∈ [0.15, 0.25]时，模型表现稳健，PSNR大致保持在最佳值的0.3 dB范围内。对于 ρ = 0.10，低频带太窄，无法完全覆盖大气层的影响，部分与雾霾相关的能量会泄漏到高频带，从而降低了对比度恢复能力；对于 ρ = 0.30，低频带开始渗入纹理谱中，导致边缘过度平滑。ρ = 0.18 在 ITS 上获得了最佳的总体 PSNR 和 SSIM 值，因此被选为默认设置。表 4. FGDNet 对低频比率 ρ 的敏感性（ITS→ITS，完整模型）。第 3.1 节指出，基于 FFT 的频谱分支被插入到前三个编码器阶段中。为了证明这一设计选择，表 5 报告了当 FFT 模块应用于前 k 个阶段时的 ITS→ITS 性能，其中 k ∈ {0, 1, 2, 3, 4}。这里 k = 0 表示保留了 FFT 幅度损失 Lfft 但没有任何 FFT 配置的 U-Net 主干——即与表 3 中的“无 FFT 分支”变体相同——而 k = 4 则在瓶颈处额外添加了一个 FFT 模块。PSNR 从 k = 0 的 29.4 dB 逐渐增加到 k = 3 的 33.3 dB，证实每个额外的 FFT 配置编码器阶段都带来了进一步的增益。在第四个（瓶颈）阶段应用 FFT 实际上导致 PSNR 下降了 0.2 dB（降至 33.1 dB），同时增加了 0.17 M 个额外参数和 0.9 G 的额外 FLOPS。原因是对于 256 × 256 的输入，瓶颈特征被压缩到了 8 × 8 的网格上，这对于可靠的 2D FFT 来说太小了：频谱主要由少数几个系数主导，因此低频/高频的分割不再能反映有意义的图像级频率。因此，我们采用 k = 3 作为默认配置。表 5. FFT 配置编码器阶段数量对 ITS→ITS 的影响。第 4.7 节讨论了模型效率。为了证实 FGDNet 是紧凑且轻量级的，我们在表 6 中报告了在 256 × 256 输入下的参数数量、FLOPS 数量以及在单个 NVIDIA RTX 3090 上使用 FP16 自动混合精度模式测量的平均每张图像推理时间。对于每种方法，推理时间是在 500 张 ITS 测试图像上平均得出的，每个图像有 20 次热身迭代，使用每种方法公开发布的推理脚本。FGDNet 仅有 1.35 M 个参数和 9.8 G FLOPS，相当于在 gUNet 主干的基础上增加了大约 0.25 M 和 2.8 G 的参数，并且每张图像的推理时间为 15 毫秒。与 FFA-Net 相比，FGDNet 使用的参数大约减少了 30%，FLOPS 减少了 3.4%，同时如表 2 所示，在 ITS 上实现了 1.3 dB 的更高 PSNR。与 DEA-Net 相比，FGDNet 的参数和 FLOPS 占用量明显更小；与非常紧凑的 DehazeFormer-T 相比，FGDNet 使用的参数和 FLOPS 略多，但仍处于“紧凑/轻量级”范围内。这些测量结果定量支持了摘要和引言中的“紧凑/轻量级”声明。表 6. 在 256 × 256 输入下的参数数量、FLOPS 和推理时间。第 4.8 节对 FFT 分支和 FFT 幅度损失的拆解实验进行了讨论。第 3.5 节介绍了一种应用于输出图像而不是中间特征的 FFT 幅度损失 Lfft。为了将其贡献与 FFT 编码器分支的贡献区分开来，并解释为什么只限制幅度谱，我们在 ITS→ITS 上训练了四个变体，使用三个随机种子 {0, 1, 2}，并在表 7 中报告了平均值 ± 标准差。移除 Lfft 同时保留 FFT 分支会使 PSNR 从 33.30 ± 0.07 dB 降至 33.00 ± 0.08 dB，因此 Lfft 在 FFT 分支的基础上贡献了大约 0.3 dB。移除 FFT 分支同时保留 Lfft 会使 PSNR 降至 29.40 ± 0.10 dB，因此 Lfft 单独贡献了大约 0.3 dB。因此，FFT 分支是主导因素，而 Lfft 则起到一个小的但互补的细化作用。最后，在相位谱上添加额外的 L1 罚项（最后一行）会使 PSNR 降至 33.10 ± 0.09 dB，即比仅限制幅度时差 0.2 dB，因为相位在 [?π, π] 范围内变化，并且实验上会破坏训练稳定性；这证明了仅限制幅度谱的设计选择是合理的。表 7. 在 ITS→ITS 上对 FFT 分支和 Lfft 的拆解实验（平均值 ± 标准差，基于 3 个种子）。第 4.9 节进一步研究了第 4.2 节观察到的合成域协议（OTS→OTS，35.1 dB）和真实雾霾跨域协议（OTS→O-HAZE，19.1 dB）之间较大的 PSNR 差异，我们进行了一次小样本真实雾霾微调实验。OTS 预训练的 FGDNet 在 35 对 O-HAZE 训练数据上进行微调，同时保留 5 对数据用于验证，另外 5 对数据组成测试集，遵循标准的 O-HAZE 评估协议。所有超参数保持与主训练方案相同；仅改变微调迭代次数。如表 8 所示，仅 2 k 次微调迭代就将 PSNR/SSIM 从 19.10/0.786 提高到 21.60/0.827，增益为 +2.5 dB/+0.041 SSIM；5 k 次迭代进一步提高到 21.95/0.834。这表明合成域和真实域之间的较大差异主要是由于分布不匹配造成的，而不是模型本身的基本能力限制，即使少量的真实配对数据也足以缩小大部分差异。结合第 5 节的讨论，提出了三种实际解决方案：(i) 如此处所示，在真实雾霾-清晰对上进行的小样本微调；(ii) 符合 D4 [27] 和 RIDCP [28] 精神的对比性或非配对正则化；(iii) 用内容自适应频率掩码替换固定的径向掩码。表 8. 在 O-HAZE 上对 OTS 预训练的 FGDNet 进行的小样本真实雾霾微调。第 5 节讨论了 FFT 分支在消雾增益中的主导作用。在表 3 中，移除 FFT 分支会导致 ITS 上的 PSNR 下降 3.9 dB（从 33.3 dB 降至 29.4 dB），而移除跨域门控模块仅导致 0.4 dB 的下降（从 33.3 dB 降至 32.9 dB）。我们这样解释这种不对称性：FFT 分支是唯一一个明确分离与雾霾相关的低频内容（对比度衰减、颜色偏移、大气层影响）和携带结构的高频内容（边缘、细纹理）的模块。一旦这种分离实现，跨域门控模块就作为细化手段，调节这两个频带的重新组合方式。因此，这种层次结构（FFT 分支 > 门控模块）与所提出设计的物理动机一致，而不是实现上的偶然结果。合成域和真实域之间的性能差异。域内协议 OTS→OTS（35.1 dB/0.988 SSIM）与跨域协议 OTS→O-HAZE（19.1 dB/0.786 SSIM）和 OTS→NH-HAZE（15.8 dB/0.648 SSIM）之间的 PSNR 差异很大。我们将这种差异归因于三个具体因素。首先，RESIDE 中的合成雾霾是使用假设均匀传输的简化大气散射模型生成的，而真实雾霾在空间上是非均匀的并且依赖于波长。其次，真实图像包含相机 ISP 效果（传感器噪声、色调映射、去马赛克伪影），这些在 RESIDE 渲染中不存在。第三，NH-HAZE 故意包含非均匀雾霾，这违反了用于训练模型的均匀传输假设。令人鼓舞的是，SSIM 差异（O-HAZE 上的 0.988→0.786）小于相应的 PSNR 差异，表明即使在像素保真度下降的情况下，频率引导的设计也能捕捉到可转移的结构线索。实际解决方案包括：(i) 在少量真实雾霾-清晰对上进行微调；(ii) 符合 D4 [27] 和 RIDCP [28] 精神的对比性或非配对正则化；(iii) 用内容自适应掩码替换固定的径向掩码。第 6 节讨论了径向掩码的局限性。当前的径向掩码是各向同性的，并在所有通道中共享。对于具有强烈方向性结构的场景（例如，垂直的建筑立面、水平的地平线、强烈的透视线），各向异性或可学习的掩码可能更好地分离雾霾层和定向纹理。在真实世界基准测试中观察到的一致但适度的残差误差与此假设相符。因此，设计自适应掩码是未来工作的自然方向。精度/效率权衡。与仅增加了 Lfft 幅度损失的 gUNet 主干（表 3 中的“无 FFT 分支”变体，29.4 dB）相比，频谱分支和跨域门控模块在 256 × 256 输入分辨率下仅增加了大约 0.25 M 参数和 2.8 G FLOPS，同时在 ITS 上将 PSNR 提高了 3.9 dB（从 29.4 dB 提高到 33.3 dB）。与 FFA-Net 相比，该网络使用的参数和 FLOPS 显著减少，但在表 2 中报告的每个协议上仍然获得了更高的 PSNR/SSIM，这从质量上支持了摘要中的声明，即所提出的网络既有效又紧凑。第 6 节结论在本文中，我们介绍了 FGDNet，这是一种基于频率引导的多尺度去雾网络，它通过三个互补组件增强了带门控的 U-Net 主干：(1) 基于 FFT 的编码器分支，明确将中间特征分解为低频和高频子带；(2) 轻量级的跨域空间-频谱门控模块，实现两个频带之间的双向通道/空间注意力；(3) FFT 幅度损失，限制恢复图像的频谱统计特性。定量而言，FGDNet 在 RESIDE-ITS 上获得了 33.3 dB PSNR/0.983 SSIM，在 RESIDE-OTS 上获得了 35.1 dB PSNR/0.988 SSIM，相对于最强的代表性基线分别增加了 0.5 dB/0.002 和 0.4 dB/0.002。在更具挑战性的跨域协议上，FGDNet 在 OTS→O-HAZE 上达到了 19.1 dB PSNR/0.786 SSIM，在 OTS→NH-HAZE 上达到了 15.8 dB PSNR/0.648 SSIM，分别比 FFA-Net 提高了 0.8 dB/0.020 和 1.0 dB/0.010，这在真实雾霾基准测试中观察到了最大的绝对增益。消融研究证实了贡献的明确层次结构：移除 FFT 分支会导致 ITS 上的 PSNR 下降 3.9 dB（从 33.3 dB 降至 29.4 dB），而移除跨域门控模块仅导致 0.4 dB 的下降（从 33.3 dB 降至 32.9 dB）——这两个差距都是表 3 中报告的种子级标准差的几倍，表明频谱分解占据了增益的主要部分，而门控模块则起到了稳定和细化的作用。FFT 幅度损失在 FFT 分支的基础上额外贡献了 0.3 dB 的 PSNR，且在 ρ ∈ [0.15, 0.25] 范围内性能稳定，PSNR 保持在最佳值的 0.3 dB 以内。频谱分支和门控模块在 256 × 256 输入下总共增加了大约 0.25 M 参数和 2.8 G FLOPS；在单个 RTX 3090 上，FGDNet 每张图像使用 1.35 M 参数、9.8 G FLOPS 和 15 毫秒，大约是 FFA-Net 的 30% 的参数和 3.4% 的 FLOPS，支持了该设计既有效又紧凑的声明。此外，小样本微调实验表明，在 35 对 O-HAZE 数据上进行 2 k 次迭代即可将 PSNR/SSIM 从 19.10/0.786 提高到 21.60/0.827（+2.5 dB/+0.041 SSIM），表明合成域和真实域之间的较大差异主要是由于分布不匹配造成的，而不是模型本身的基本能力限制。综上所述，这些结果得出了三个具体发现。首先，FFT 分支的大幅消融差异（ITS 上的 3.9 dB）与门控模块的适度差异（ITS 上的 0.4 dB）与设计的物理动机一致：只有 FFT 分支明确分离了与雾霾相关的低频内容（对比度衰减、颜色偏移、大气层影响）和携带结构的高频内容（边缘、细纹理），而门控模块则作为细化手段，调节这两个频带的重新组合方式。其次，FGDNet 是表 2 中唯一一个在所有四个协议上同时提高 PSNR 和 SSIM 的方法，这表明频率引导的设计同时提高了像素保真度和结构一致性，而不是牺牲其中一个。第三，O-HAZE 上相对较小的 SSIM 差异（0.988→0.786 对比 35.1→19.1 dB）以及轻量级真实雾霾微调后的快速恢复表明，频率引导的表示即使在像素保真度下降的情况下也能捕捉到可转移的结构线索，使 FGDNet 成为领域适应管道的合理起点。这些发现支持了我们的核心假设，即雾霾以不同的方式破坏不同的频率带，而明确的频谱分解结合跨域门控是一种有效且高效的紧凑去雾机制。未来的工作包括：(i) 内容自适应或各向异性频率掩码；(ii) 具有相位感知的频率损失；(iii) 符合 D4 [27] 和 RIDCP [28] 精神的无监督真实雾霾适应；(iv) 用于更高分辨率真实雾霾的混合频谱-变换器融合，类似于 4KDehazing [25]。