U形变压器图像去噪网络及其解码端预融合校准技术 崔鹏、 孟庆汉、 高闯

《Applied Sciences》：U-Shaped Transformer Image Denoising Network with Decoder-Side Pre-Fusion Calibration Peng Cui, Qinghan Meng and Chuang Gao

　　摘要：U形编码器-解码器架构由于其强大的多尺度建模能力而被广泛用于图像去噪。然而，大多数现有方法仍然依赖于相对固定的编码器-解码器特征融合策略，这限制了编码器和解码器特征之间的有效协作。为了解决这个问题，我们提出了一种带有解码器侧预融合校准的U形Transformer图像去噪网络（UT-DPFC）。UT-DPFC基于U形Transformer骨干，在三个解码阶段插入结构-细节候选注意力（SDCA）机制在编码器-解码器特征融合之前进行校准，从而为融合提供了一个更可靠的基础，并有助于在后续恢复过程中有效利用注入的细节线索。Transformer架构交替采用基于窗口的多头自注意力（W-MSA）和移位窗口多头自注意力（SW-MSA），以及局部增强前馈网络（LeFF）来增强局部特征建模。SDCA从当前解码器特征生成查询，并在由多尺度区域候选（MSRC）和多接收场像素候选（MRPC）组成的互补键值候选池上进行内容自适应检索和聚合，从而在校准解码器特征之前进行优化。广泛的实验表明，UT-DPFC在合成高斯噪声和真实世界去噪任务中都取得了良好的性能。它在重噪声和复杂纹理下的表现更好，同时保持了适当的推理成本。

1. 引言
图像去噪是低级视觉中的一个核心问题，旨在从噪声图像中重建出清晰的图像。噪声的存在往往会损坏重要的视觉结构，包括边缘和细纹理，这可能进一步损害后续视觉任务（如图像分割[1]和对象检测[2]）的可靠性和准确性。除了图像级别的退化之外，最近关于对抗性噪声和视觉模型鲁棒性的研究还表明，精心设计的扰动可以显著影响不同数据模态中的视觉识别模型的可靠性，例如3D点云分类和视频识别[3,4,5]。这些研究表明，噪声和扰动不仅是像素级别的退化因素，也是视觉数据处理中重要的鲁棒性挑战。因此，提高去噪模型保持结构线索和恢复可靠视觉细节的能力对于低级恢复质量和下游视觉可靠性都很重要。

由于其实际重要性，图像去噪已在多种应用场景中被广泛研究，包括遥感图像[6]、工业检测[7]和医学成像[8]。对于常用的合成加性高斯白噪声（AWGN）模型，退化过程可以表示为y = x + n，其中y代表噪声观测值，x代表原始清晰图像，n代表加性高斯白噪声。与合成噪声相比，真实成像噪声通常具有信号依赖性和空间异质性，导致更复杂的噪声统计特性，使得真实世界图像去噪变得更加具有挑战性[9]。传统的去噪方法主要依赖于相似块匹配的显式先验和加权聚合。Aharon等人[10]提出了K-奇异值分解（K-SVD），通过学习一个过完备的字典来执行去噪以进行稀疏表示。Buades等人[11]引入了非局部均值（NLM），通过基于非局部块相似性的加权平均来抑制噪声。Dabov等人[12]进一步开发了块匹配和3D滤波（BM3D），通过将块匹配与变换域中的协作滤波相结合来实现有效去噪。尽管这些方法在特定的噪声假设下表现良好，但它们严重依赖于手工制作的先验。当应用于真实世界噪声和复杂纹理时，它们通常需要仔细调整参数，并涉及相当大的计算成本，使得在鲁棒性和效率之间难以达到良好的平衡[13]。

随着深度学习的快速发展，数据驱动的端到端框架显著促进了图像去噪的发展。Zhang等人[14]引入了去噪卷积神经网络（DnCNN），该网络利用残差学习显式预测噪声残差，从而提高了训练稳定性和去噪能力。后来，Zhang等人[15]提出了快速灵活的去噪卷积神经网络（FFDNet），它结合了噪声级别图以支持不同噪声强度下的条件去噪。Guo等人[16]进一步开发了卷积盲去噪网络（CBDNet），通过结合噪声估计和条件去噪的两阶段设计来增强真实世界图像去噪的鲁棒性。同时，U形编码器-解码器架构已成为基于卷积神经网络（CNN）的图像恢复和去噪中的常见设计范式[17,18]，因为它们通过下采样逐步提取上下文信息，通过上采样恢复细节，并通过跳过连接促进特征传播[19]。

近年来，为了克服CNN在建模长距离依赖性方面的局限性，Transformer越来越多地被引入到图像恢复中以增强全局交互[20]。例如，Chen等人[21]提出了图像处理Transformer（IPT），它系统地将预训练的Transformer引入图像恢复中，并通过多任务训练提高了整体性能和跨任务泛化能力。Liang等人[22]随后提出了Swin Transformer for Image Restoration（SwinIR），它采用移位窗口自注意力来实现具有可管理计算成本的跨窗口交互。基于这一研究方向，Transformer进一步被纳入U形编码器-解码器骨干作为核心建模单元，产生了通过结合层次架构和注意力机制来实现强去噪性能的U形Transformer去噪模型[23,24,25]。然而，一些研究表明，编码器特征可能仍包含与退化相关的干扰，因此它们与解码器特征的简单直接融合可能会引入隐式噪声，这激发了使用解码器侧或上下文信息对编码器表示进行选择性调制的想法，以便更有效地补偿细节[26,27]。尽管如此，大多数现有方法主要关注增强编码器-解码器块的建模能力，而对预融合特征校准的关注有限，使得后续恢复过程仍然容易受到干扰。

与现有的基于Transformer和注意力的去噪方法相比，所提出的UT-DPFC的创新不在于引入另一个通用的自注意力模块，也不在于简单地增强跳过特征调制。相反，我们将重点放在解码器侧预融合校准上，即在编码器-解码器融合之前增强和校准当前的解码器表示。为此，我们进一步设计了一个结构-细节互补的候选池，其中多尺度区域候选（MSRC）提供更稳定的区域级结构线索，多接收场像素候选（MRPC）提供更丰富的像素级细节响应。基于这个候选空间，所提出的结构-细节候选注意力（SDCA）执行内容自适应检索和聚合，以校准解码器特征，使它们成为后续融合和恢复过程的更可靠基础。在这项工作中，我们开发了一种带有解码器侧预融合校准的U形Transformer图像去噪网络（UT-DPFC），在三个解码级别集成SDCA，以增强解码器特征的可靠性，并进一步改善重噪声和复杂纹理区域的细节重建稳定性。

本文的贡献总结如下：
1. 与仅优化编码器/解码器块或调节编码器特征注入的现有U形Transformer去噪方法不同，我们提出了一种解码器侧预融合校准策略。我们在融合之前校准解码器特征，以增强重噪声和复杂纹理下的稳定性，这是对先前U形Transformer范式的显著创新。
2. 与传统的基于注意力的去噪设计不同，这些设计直接在现有表示上执行自注意力或跨特征交互，我们构建了一个结构-细节互补的K/V候选池，其中多尺度区域候选（MSRC）提供稳健的区域级结构线索，多接收场像素候选（MRPC）提供细粒度的细节响应，从而支持更稳定的内容自适应检索。
3. 我们提出了结构-细节候选注意力（SDCA）模块，其中从当前解码器特征生成的像素级查询从候选池中检索和聚合信息，以在校准跳过融合之前校准解码器表示。这种设计进一步将注意力的作用从通用特征交互转移到以解码器为导向的预融合校准。

2. 相关工作
2.1. U形编码器-解码器架构
这种架构范式最初由U-Net[19]确立，并因其多尺度建模和通过跳过连接恢复细节的有效性而在图像去噪中得到广泛应用。一些方法在U形多尺度编码器-解码器架构的基础上进行改进，通过迭代多尺度变换或残差学习来提高去噪性能[17,18]。其他人进一步将基于窗口的注意力[23,24]或高效注意力[25]引入U形编码器-解码器骨干中，以增强跨尺度建模和细节恢复。此外，Chen等人[28]提出了非线性激活自由网络（NAFNet），它采用简化的U形恢复框架，在恢复性能和计算效率之间取得了有利的平衡。Lin等人[29]提出了高效的全方位视觉Mamba（EAMamba），它将状态空间建模纳入U形编码器-解码器架构中以改进高分辨率图像恢复。最近，Zhang等人[30]开发了具有多光谱注意力和双分支Transformer结构的频率感知U形Transformer（FUT），Huang等人[31]提出了配备可变形空间注意力的泰勒展开引导残差U形Transformer（RUST），这两者都推动了U形Transformer范式在高性能图像去噪方面的发展。然而，在噪声干扰下，编码器特征通常同时包含有用的细节和与噪声相关的高频响应。当这些特征直接与解码器特征融合时，跳过特征可能导致特征集成不平衡，并放大残余噪声，从而干扰稳定的细节恢复[32]。为了解决这个问题，现有研究在编码器特征注入期间引入了选择性调制机制，以调节注入信息的传播强度，从而提高融合质量[26,27]。与主要增强骨干表示建模的最近U形Transformer方法和在融合期间调节编码器特征注入的选择性跳过调制方法不同，我们的方法专注于解码器侧预融合校准。它在跳过融合之前对解码器特征进行内容自适应校准，使解码器表示本身成为后续编码器-解码器交互的更可靠基础。

2.2. 基于注意力的内容自适应检索和聚合
非局部自相似性本质上描述了跨空间位置的内容自适应检索和聚合，长期以来一直是图像去噪的核心指导原则。非局部均值（NLM）[11]基于块相似性计算非局部权重，并对图像中的相关像素进行加权平均。后续的可微分非局部建模方法[33,34,35]进一步将这一过程整合到端到端学习中，证明了内容自适应聚合对于噪声抑制的有效性。例如，Swin Transformer for Image Restoration（SwinIR）[22]通过使用基于窗口的自注意力，以可管理的计算成本增强了长距离依赖性建模。与在均匀特征源内进行建模的自注意力不同，跨注意力能够实现不同特征源之间的信息检索和聚合。具体来说，Q从一个特征源生成，而K/V由另一个特征源提供，从而实现跨源的先验注入和互补交互。例如，Hu等人[36]提出了双茎交叉注意力 Transformer for Image Denoising（DSCA-former），它通过双向Q/K/V交换机制促进了空间和通道特征之间的交叉源交互，从而实现交替特征校准。与传统的自注意力或通用交叉注意力设计不同，所提出的SDCA利用解码器特征作为查询，并使用明确构建的结构-细节候选池作为键/值，从而将注意力重新定向为解码器侧预融合校准机制。在这里，Q代表当前的解码状态，而K/V编码结构-细节候选，从而实现从池中检索内容自适应和随后的解码器特征校准。这种设计有效地解决了固定融合策略的局限性，这些策略对所有空间位置应用相同的操作，往往无法适应不同的噪声和纹理分布。

2.3. 多尺度候选构建策略
不同的尺度和接收场可以提供互补的信息。代表性的策略主要包括基于金字塔池化的方法和基于扩张卷积的方法。例如，He等人[37]提出了空间金字塔池化（SPP），它通过多尺度池化捕获区域级信息。Chen等人[38]进一步引入了孔状空间金字塔池化（ASPP），它在保持空间分辨率的同时使用多个扩张率扩展了有效接收场。尽管这些方法最初是为通用视觉任务提出的，但其基本原理也为图像去噪提供了重要启发。Zhao等人[39]提出了金字塔真实图像去噪网络（PRIDNet），它将金字塔池化纳入真实世界图像去噪中，以增强多尺度特征表示。Jia等人[40]提出了金字塔扩张卷积神经网络（PDCNN），它通过在不同扩张率下排列扩张卷积来提取和融合多尺度上下文信息，从而扩展了有效接收场，同时增强了边缘和纹理细节建模。Duong等人[41]提出了多分支网络（MBN），它通过具有不同扩张率的并行扩张卷积分支聚合多尺度上下文信息，从而提高特征表示和去噪性能。因此，MSRC和MRPC在我们框架中的作用不仅仅是多尺度特征增强，还包括为稳定检索和聚合 explicit 构建互补的结构和细节候选。多尺度区域候选（MSRC）提供更稳健的结构候选，而多接收场像素候选（MRPC）提供更丰富的细节候选。这些候选共同组织成一个K/V候选池，用于基于注意力的检索和聚合，从而为解码器侧预融合校准提供更可靠、互补的结构和详细信息。

3. 方法方法概述：在传统的U形去噪网络中，解码器特征通常以相对直接的方式与相应的编码器特征融合。相比之下，所提出的UT-DPFC在跳过融合之前首先对解码器特征进行校准。在每个选定的解码器阶段，当前解码器特征生成像素级的查询，这些查询从由多尺度区域候选（MSRC）和多接收场像素候选（MRPC）构建的候选池中检索互补的结构和细节线索。然后，检索到的信息被注入解码器分支，使得校准后的解码器表示成为后续编码器-解码器融合的更可靠的基础。这种预融合校准有效地抑制了在重噪声场景中从编码器特征继承的噪声干扰，使得特征融合更加稳定和可靠。

3.2. 网络架构：如图1所示，所提出的框架遵循U形Transformer主干结构，在三个解码器阶段的编码器-解码器融合之前插入了SDCA。给定一个噪声输入图像，其中B表示批量大小，表示输入通道的数量，表示空间分辨率，首先使用卷积提取浅层特征（1）。然后特征由对称的编码器-解码器主干结构处理。编码器通过下采样逐步提取层次化表示，而解码器通过上采样和跳过融合恢复空间分辨率。每个阶段由几个Transformer块组成，其中使用基于窗口的自注意力、移位窗口自注意力以及局部增强前馈网络（LeFF）来建模局部和跨窗口的依赖性。与传统的U形去噪模型不同，SDCA被插入到三个中低分辨率的解码器阶段，不包括最高分辨率阶段，以平衡恢复性能和计算成本。设第l个插入位置的解码器特征为，其中对应于具有空间分辨率、和的解码器阶段。在跳过融合之前，SDCA被插入解码器分支并以残差注入的方式应用（2），其中使用解码器特征作为自引导信号来生成与形状相同的校准项，表示校准后的解码器特征。随后，与相应的编码器特征沿通道维度连接，并通过Transformer块进一步细化。在最高分辨率阶段，卷积将细化的解码器特征映射回图像空间以预测残差图像（3）。最终的去噪输出通过全局残差学习获得（4）。

3.3. 结构-细节候选注意力（SDCA）：所提出的SDCA通过从结构-细节候选池中检索互补线索来校准解码器特征。如图2所示，给定一个输入解码器特征，SDCA首先使用卷积将其投影到查询、键和值特征图中。为了降低计算成本，引入了通道缩减比，并在实现中将注意力维度设置为，其中。设将特征图从转换为，其中。像素级查询令牌获得为（6）。对于键和值分支，MSRC生成区域级候选，而MRPC生成像素级候选（7），其中和。由于MRPC保留了空间分辨率，通常成立。区域级和像素级候选被连接起来形成K/V候选池（8），其中和。由于SDCA仅应用于中低分辨率的解码器阶段，候选池的大小在计算上仍然可管理。然后在像素级查询和候选池之间执行缩放点积注意力（9），其中表示检索和聚合的令牌序列。在逆令牌化之后，输出投影将注意力特征映射回原始通道维度（10）。最后，SDCA通过通道连接和可学习的融合生成残差校准项（11），其中表示通道级的连接，是一个由卷积、批量归一化和ReLU组成的可学习融合映射。残差校准项对应于方程（2）中的输出。

3.4. 多尺度区域候选（MSRC）：如图3所示，MSRC通过在多个空间粒度上总结输入特征来构建区域级候选。给定一个输入特征，其中在键分支中，和在值分支中，采用了一个尺度集。对于每个，应用了一个非重叠的最大池化运算符，其核大小为，步长为（12），其中和（13）。由于MSRC应用于中低分辨率的解码器阶段，因此边界截断的影响有限。多尺度区域特征被平坦化并沿令牌维度连接（14）。

3.5. 多接收场像素候选（MRPC）：如图3所示，MRPC在保留空间分辨率的同时，通过引入多接收场上下文来构建像素级候选。给定，设表示一个扩张率为的扩张卷积，表示一个通道对齐卷积，表示ReLU激活函数。MRPC使用四个具有不同有效接收场的并行分支（16）。由于所有分支都保留了分辨率，它们的输出通过元素级求和进行融合（17）。然后，融合的特征被平坦化为像素级候选令牌（18）。

3.6. 损失函数：所提出的方法使用Charbonnier损失进行训练，定义如下：（19），其中和分别表示网络预测和相应的真实值。是一个非常小的常数，在本文中设置为，以避免残差接近零时的数值不稳定。在图像去噪中，常用的损失函数包括损失和损失。损失计算绝对残差的总和，对异常值相对稳健。相比之下，损失计算平方残差的总和，更加平滑且更容易优化，但对较大偏差更敏感。Charbonnier损失继承了损失对异常值的稳健性，同时表现出与损失相似的连续性和可微性。因此，它对于图像去噪等低级视觉任务更加稳定和有效。

4. 实验结果与分析：

4.1. 实现细节：所提出的网络在PyTorch 2.0.0中实现，并在NVIDIA GeForce RTX 4090 GPU上训练。除非另有说明，否则所提出的模型在以下设置下进行训练。在训练期间，从相应的图像对中随机裁剪大小为的带噪声-清晰图像块，其中对噪声输入和清晰参考使用相同的裁剪位置以保持像素级对齐。采用了随机几何增强，包括旋转、翻转操作及其组合。此外，在前五个训练周期后应用了MixUp增强，其中混合系数从Beta分布中采样。批量大小设置为16，模型训练了105个周期。使用了AdamW优化器，初始学习率为，，，，权重衰减为0.02。采用StepLR调度器每50个周期将学习率降低0.5倍。使用Charbonnier损失作为优化目标，并启用混合精度训练，使用自动混合精度和梯度缩放。在训练脚本中将随机种子设置为1234以提高可重复性。采用两个标准的全参考指标来定量评估图像去噪性能。峰值信噪比（PSNR）：基于均方误差（MSE）的保真度指标，其中较高的值表示更好的噪声抑制和与真实值的更高一致性。公式为（20），其中H、W、C分别是图像的高度、宽度和通道数；I和表示真实图像和去噪图像；对于归一化图像。结构相似性指数测量（SSIM）：从亮度、对比度和结构方面评估结构保留情况。其值范围从0到1，接近1的值表示更好的细节恢复。标准公式为（21），其中是局部均值，是局部方差，是局部协方差，是稳定性常数。对于彩色和真实世界去噪实验，PSNR是在归一化的RGB图像上计算的，最大像素值设置为1，SSIM是使用pytorch-msssim实现计算的，data_range = 1.0。对于灰度去噪，指标是在相应的灰度图像上计算的。对于没有公开真实值图像的基准测试，遵循了官方评估协议。在每个训练周期后进行验证，并报告了验证集上的平均指标。Transformer块的数量从到分别为1、2、8、8和2，如表1所示。表1. 所提出模型的实验设置。

4.2. 数据集：合成高斯去噪：在合成高斯去噪实验中，所提出的网络在DIV2K-Flickr2K-WED-BSD400（DFWB）合成训练集上进行了训练，该数据集包括DIVerse 2K分辨率图像数据集（DIV2K）[42]、Flickr 2K数据集（Flickr2K）[43]、Waterloo Exploration Database（WED）[44]和Berkeley Segmentation Dataset（BSD400）[45]。在训练期间，从DFWB的清晰图像中随机裁剪掉块，并根据指定的噪声级别注入加性白高斯噪声（AWGN）。在测试阶段，所提出的方法在几个广泛采用的基准数据集上进行了评估。具体来说，灰度基准包括Set12 [14]、BSD68 [45]和Urban100 [46]，而彩色基准包括CBSD68 [45]、Kodak24 [47]和Urban100 [46]。这些数据集包含多种图像内容，包括自然场景、丰富的纹理模式和复杂的城市结构，因此适合全面评估所提出模型在不同图像结构和纹理特性下的泛化能力。

4.3. 比较实验：我们系统地在合成高斯和真实世界噪声设置下评估了所提出的UT-DPFC。对于合成高斯去噪，为了涵盖从传统的基于先验的方法到深度学习模型的代表性方法，包括了经典的基于先验的方法BM3D [12]进行比较。选定的典型基于CNN的方法包括DnCNN [14]、FFDNet [15]、NLRN [34]、MWCNN [53]、RNAN [35]和DRUNet [18]作为基线模型。此外，还包括基于Transformer的恢复模型，如SwinIR [22]、SCUNet [54]和Restormer [25]，以及最近的高级网络，包括KBNet [55]、CGNet [56]、EAMamba [29]和DSCA-former [36]。为了进一步加强与最近基于U形Transformer的恢复网络的比较，还包含了FUT [30]和RUST [31]进行定量评估。对于真实世界去噪，除了DnCNN [14]之外，还包括了代表性的真实噪声建模方法，如CBDNet [16]、RIDNet [57]和AINDNet [58]，以及多阶段图像恢复方法，如CycleISP [59]、MIRNet [60]和MPRNet [61]。所提出的方法还与基于Transformer的模型进行了比较，包括Uformer [23]、Restormer [25]和Xformer [62]，以及最近的方法，如MambaIR [63]、DRANet [64]和AKDT [65]。这些比较更全面地验证了所提出方法在合成和真实世界噪声设置下的有效性和泛化能力。

4.3.1. 合成高斯去噪（灰度）：在合成加性白高斯噪声（AWGN）灰度去噪设置下，UT-DPFC在Set12、BSD68和Urban100上进行了评估，噪声级别分别为、25和50。如表2所示，所提出的方法在不同数据集和噪声级别下获得了具有竞争力和一致性的PSNR/SSIM性能。在PSNR方面，UT-DPFC在9个设置中的6个设置中获得了最佳结果，包括Set12的、 BSD68的和，以及Urban100的。特别是在高噪声设置下，UT-DPFC在所有三个数据集上都获得了最佳PSNR，分别在Set12上达到28.05 dB，在BSD68上达到26.69 dB，在Urban100上达到28.36 dB。这表明所提出的方法在严重的高斯噪声退化下具有很强的鲁棒性。在重噪声下的性能提升主要来自SDCA校准，它在融合前清除了解码器特征并在编码器-解码器融合期间减少了噪声污染。表2. 在Set12、BSD68和Urban100数据集上的高斯灰度图像去噪的PSNR/SSIM定量比较结果。在每个设置中，最佳结果以粗体显示，第二佳结果下划线标注。当多种方法获得相同的结果时，为了便于阅读，只突出显示一个代表结果。在SSIM（结构相似性度量）方面，UT-DPFC也显示出稳定的结构恢复能力。在大多数情况下，它都能获得最佳或并列最佳的SSIM分数，尤其是在Urban100数据集上，分别获得了0.940、0.912和0.858的SSIM分数。由于Urban100数据集包含大量的重复结构和复杂的纹理，这种一致性的优势表明，所提出的解码器端预融合校准对于保留结构信息和纹理细节非常有益。总体而言，灰度去噪结果表明，UT-DPFC在不同噪声水平下都能提供稳定的恢复质量，在高噪声和复杂纹理条件下优势更为明显。图4和图5中的定性比较进一步支持了定量结果。如图4所示，在高噪声环境下，对于具有密集重复条纹结构的Urban100图像，BM3D和DnCNN倾向于过度平滑恢复后的图像，导致细粒度纹理减弱和结构细节模糊。尽管SwinIR、Restormer和KBNet在抑制噪声方面表现出色，但它们在恢复密集的高频条纹图案方面仍有局限性。相比之下，UT-DPFC在保持有效噪声抑制的同时，更好地保留了重复结构的连续性和清晰度。

4.3.2 合成高斯噪声去噪（彩色）
在合成加性白高斯噪声（AWGN）图像去噪场景下，UT-DPFC在四个基准数据集CBSD68、Kodak24、McMaster和Urban100上进行了评估，涵盖了3个噪声水平（0、25和50），总共12个测试设置。如表3所示，该方法在所有数据集和噪声水平下均表现出稳定的PSNR/SSIM性能。在PSNR方面，UT-DPFC在12个设置中有8个获得了最佳结果。值得注意的是，在高噪声设置下，UT-DPFC在所有四个数据集上都取得了最佳PSNR分数：CBSD68上为28.63 dB，Kodak24上为30.08 dB，McMaster上为30.33 dB，Urban100上为30.10 dB。在重色噪声下的持续性能提升也归因于SDCA模块，该模块校准了解码器特征以抑制噪声干扰并稳定跨尺度特征融合，从而体现了该方法在严重高斯噪声降级情况下的鲁棒性。在SSIM方面，UT-DPFC表现出稳定的结构恢复能力，并在大多数设置中取得了最佳结果。特别是在纹理丰富的Urban100数据集上，该方法分别在0、25和50噪声水平下获得了0.953、0.933和0.893的领先SSIM分数。由于Urban100数据集包含大量重复结构和复杂纹理，这种一致性的优势表明，所提出的解码器端预融合校准策略对于保留结构信息和细粒度纹理细节非常有益。

4.3.3 真实世界图像去噪
为了验证所提出方法在真实世界噪声下的有效性和泛化能力，我们在SIDD和DND基准测试上报告了平均PSNR和SSIM结果。如表4所示，UT-DPFC与现有的代表性方法相比表现良好。具体来说，该方法在SIDD数据集上的性能水平可与主流现有方法相媲美，同时在DND基准测试上也获得了相当满意的结果。为了进一步说明在真实世界噪声下的性能-复杂性权衡，表4展示了真实世界图像去噪的定量比较结果。图9中的定性比较进一步支持了上述观察结果。在纹理丰富区域和弱边缘附近，RIDNet、MIRNet、MPRNet和Uformer倾向于出现纹理不连续或轻微过度平滑的现象。相比之下，UT-DPFC和Restormer通常能够在抑制噪声的同时保留更连贯的纹理结构和更稳定的边缘轮廓。图10展示了在SIDD数据集上不同方法的PSNR-MACs比较，其中MACs是通过输入尺寸来衡量的。图11展示了在DND数据集上不同方法的PSNR-MACs比较，进一步验证了所提出方法在真实世界去噪能力。图11中的示例图像显示，所提出方法能够有效去除真实世界噪声。

4.4 区域性误差分析
为了进一步分析不同方法在高噪声和复杂纹理场景下的恢复行为，我们进行了Urban100数据集的逐区域均方根误差（RMSE）统计分析。具体而言，图像被划分为平坦区域、边缘区域和纹理丰富区域。Urban100是合成高斯去噪的重要基准数据集之一，高噪声设置更有利于观察不同方法在复杂纹理和结构区域中的恢复差异。如表5所示，UT-DPFC在三种类型区域中均获得了最低的RMSE值，分别为平坦区域0.0402、边缘区域0.1179和纹理丰富区域0.0972。与SwinIR相比，UT-DPFC分别在这三个区域中将RMSE降低了0.0066、0.0213和0.0132。与Restormer相比，相应的降低幅度分别为0.0023、0.0104和0.0043；与KBNet相比，RMSE进一步降低了0.0016、0.0048和0.0017。在重噪声下的较低RMSE表明，预融合校准有效抑制了边缘和纹理区域的噪声干扰，从而实现了更稳健的恢复。这些结果表明，所提出的解码器端预融合校准不仅有助于在纹理丰富区域保留细节，还改善了边缘区域的结构重建，同时在平坦区域保持了稳定的去噪能力。图12中的典型示例进一步显示，UT-DPFC在密集立面纹理和结构边界周围产生了更弱的误差响应，并且误差分布更集中，尤其是在纹理丰富和边缘区域。这一观察结果与上述关于该方法在高噪声和复杂纹理条件下恢复优势的分析一致。

4.5 模型运行时间分析
在本小节中，通过比较不同方法的运行时间进一步评估了模型复杂性。比较的模型包括BM3D[12]、MCWNNM[66]、IRCNN[67]、DnCNN-B[14]、FFDNet[15]、ADNet[68]、SADNet[69]、CycleISP[59]和AINDNet[58]、AirNet[70]以及DRANet[64]。其中，BM3D和MCWNNM是在MATLAB（R2020a）中实现的，而其余的去噪模型是在PyTorch环境中实现的。表6报告了运行时间结果。具体来说，随机选择了两个具有不同通道数和空间分辨率的合成噪声图像（分别为 和 ），并在噪声水平为 下评估了推理速度。表6中的运行时间是通过每个去噪模型20次重复运行后平均得到的。需要注意的是，测量中未包括CPU和GPU之间的内存传输时间。如表6所示，所提出的方法（我们的方法）在两种输入分辨率下都能在GPU推理中展现出明显的效率优势。对于 输入，其运行速度超过了DRANet、AINDNet和AirNet；对于 输入，其运行时间显著低于DRANet、AINDNet和AirNet。尽管所提出的方法比一些基于CNN的轻量级去噪网络（如IRCNN、DnCNN-B、FFDNet、ADNet和SADNet）稍慢，但考虑到其在PSNR和SSIM方面的提升，它提供了更好的整体性能-效率权衡。

4.6 效率分析
表7中的效率比较结果定量验证了所提出的UT-DPFC框架在计算效率和性能-计算权衡方面的卓越性。对于 输入图像，UT-DPFC仅有50.7 M参数和92.3 G MACs，这证明设计的SDCA校准机制几乎没有增加额外的计算开销，也没有导致过高的计算复杂性。与Uformer相比，UT-DPFC在参数规模上相当，同时将推理时间从0.059秒缩短到了0.048秒。此外，与SwinIR和Restormer相比，UT-DPFC的计算成本大幅降低，推理速度也更快：它将MACs从759 G（SwinIR）和141 G（Restormer）降低到了92.3 G，并将推理时间从0.233秒和0.087秒缩短到了0.048秒。

4.7 消融实验
4.7.1 SDCA模块有效性的消融研究
为了直观验证SDCA的有效性，我们在相同的训练和测试设置下进行了对照实验，比较了没有SDCA的骨干网络与完整的UT-DPFC模型及其视觉结果。如图13所示，展示了三个具有重噪声和复杂纹理的代表性局部区域。从左到右，这些图像分别对应于含噪声的输入图像、未使用SDCA的骨干网络的输出结果、UT-DPFC的输出结果，以及相应的干净参考图像。可以观察到，尽管没有SDCA的骨干网络有效抑制了噪声，但细节部分更容易出现过平滑处理和结构退化。例如，在第一组图像中，“56”数字周围的细微纹理被平滑掉了；在第二组图像中，细线结构变得不连续；在第三组图像中，一些栏杆细节丢失了。移除SDCA会失去预融合校准能力，使得模型容易受到噪声干扰，在重噪声环境下性能会下降。相比之下，引入SDCA后，恢复的细节和结构更接近参考图像，同时保持良好的噪声抑制效果。图13展示了所提出的UT-DPFC方法对关键组件的消融研究结果。

4.7.2 SDCA模块插入位置的消融研究
为了进一步探讨SDCA在不同分辨率水平上的效果，我们在SIDD数据集上对其插入位置进行了消融研究。具体来说，在保持骨干架构和训练配置不变的前提下，我们比较了以下几种设置：不使用SDCA、在单一尺度插入SDCA、在两个尺度组合插入SDCA、在三个尺度插入SDCA，以及在所有四个尺度插入SDCA。表8报告了每种设置的PSNR/SSIM结果，以及相应的MAC值和参数数量，其中复杂度统计是在输入大小为...的情况下进行的。表8显示了SDCA模块不同插入尺度下的消融结果。结果表明，单一尺度插入带来的性能提升在各个分辨率水平上差异显著。与不使用SDCA的基线相比，仅在...尺度插入SDCA时，PSNR提高了0.18 dB，SSIM提高了0.001。当SDCA仅在...和...尺度插入时，PSNR分别提高了0.11 dB和0.06 dB。此外，双尺度插入进一步提升了整体性能。在双尺度设置中，...和...的组合性能优于...和...的组合。当SDCA在三个尺度插入时，模型在整个PSNR上比最佳的双尺度设置提高了0.09 dB。我们进一步研究了是否有必要将SDCA扩展到最高分辨率的...尺度。结果显示，基于原始UT-DPFC，仅在...尺度上额外插入SDCA仅带来了0.02 dB的PSNR提升，且SSIM没有改善，同时显著增加了计算成本和参数数量。考虑到上述性能与效率的权衡，我们最终选择了在...、...和...这三个尺度上逐步进行解码器端预融合校准，以在保持计算开销可控的同时实现更好的整体性能。

4.7.3 UT-DPFC主要组件的消融研究
为了系统验证UT-DPFC中主要组件的有效性，我们在相同的训练和测试设置下进行了逐个组件的消融研究。评估的变体包括移除SDCA、移除MSRC、移除MRPC、用普通卷积结构替换MRPC，以及用标准FFN替换LeFF。相应的PSNR、SSIM、MAC值和参数数量记录在表9中。表9显示了UT-DPFC中主要组件（包括SDCA、MSRC、MRPC和LeFF）的消融结果。对于不包含SDCA的变体，解码器端的预融合校准模块被移除，解码器特征直接用于后续的编码器-解码器融合。对于不包含MSRC的变体，多尺度区域候选信息被移除，同时尽可能保持其余候选信息的构建以评估区域级结构线索的贡献。对于不包含MRPC的变体，多接收场像素候选信息被移除，并替换为直接平坦化的投影特征。由于直接移除MRPC也会减少卷积计算量，我们进一步构建了一个计算对齐的变体，其中多接收场设计被替换为普通卷积结构，同时保持MAC值和参数数量与完整模型一致。此外，为了评估Transformer模块中局部增强的贡献，我们用标准的前馈网络（FFN）替换了LeFF。

表9显示，完整的UT-DPFC取得了最佳性能，PSNR为... dB，SSIM为...。移除SDCA导致最明显的性能下降，PSNR从... dB降至... dB。这一结果表明，解码器端的预融合校准在编码器-解码器融合之前提高解码器表示的可靠性方面起着关键作用。当移除MSRC时，PSNR降至... dB，表明多尺度区域候选信息为稳定特征检索和聚合提供了有用的结构参考。移除MRPC导致更大的性能下降，PSNR降至... dB，这表明多接收场像素候选信息对于恢复边缘和纹理等细粒度细节的重要性。此外，在相同MAC值和参数数量的情况下，...变体的PSNR达到了... dB，这排除了仅通过增加计算量来提升性能的可能性。这一比较进一步证实了MRPC中的多接收场设计比简单的卷积替代方案在构建对细节敏感的像素候选信息方面更有效。用标准FFN替换LeFF也将PSNR从... dB降至... dB，表明局部增强的前馈设计有助于局部细节建模。总体而言，这些消融结果表明SDCA是性能提升的主要贡献者，而MSRC、MRPC和LeFF分别增强了结构的鲁棒性、细粒度细节的恢复和局部特征表示。

4.7.4 超参数分析
为了进一步研究关键超参数设置的影响，我们进行了一系列受控实验，结果分别记录在表10、表11、表12和表13中。首先，表10显示了不同Transformer模块配置的效果。当模块配置从...增加到...时，PSNR从39.86 dB提升到40.03 dB，表明适度增加模型深度可以提高网络的表示能力。然而，进一步将配置增加到...时，参数数量和MAC值分别增加到60.74 M和109.198 G，而PSNR略微下降到39.98 dB。这表明过深的模型可能会引入多余的计算，但不一定能带来更好的去噪性能。因此，最终选择了...作为Transformer模块的配置。表10展示了Transformer模块数量的超参数分析。表11分析了通道缩减率的影响。表12比较了不同MSRC尺度组合对模型复杂度和去噪性能的影响。表13展示了不同MRPC多接收场分支设计对模型复杂度和去噪性能的影响。表11分析显示，与...相比，设置...将计算成本从123.208 G降低到92.308 G，同时将PSNR从39.92 dB提高到40.03 dB。当...进一步增加到4时，MAC值减少到79.168 G，但PSNR降至39.87 dB，表明过于激进的通道缩减会削弱特征表示能力。因此，...在计算效率和恢复精度之间提供了更好的平衡。表12进一步比较了不同的MSRC尺度组合。设置...获得了最高的PSNR，为40.03 dB，优于...和...。这一结果表明，结合相邻且适度放大的池化尺度可以为去噪提供更有效的多尺度区域背景。最后，表13评估了不同的MRPC多接收场分支设计。结果表明，级联分支设计比简单的并行设计表现更好。特别是级联配置...获得了最高的PSNR，为40.03 dB，同时保持了适度的计算成本（92.308 G MACs）。这表明逐步扩展接收场可以提供比直接并行卷积分支更互补的像素级细节响应。总体而言，这些超参数研究验证了所采用设置的合理性，并证明了最终配置在参数数量、计算成本和去噪性能之间取得了良好的平衡。

5. 结论与未来工作
为了解决现有U型Transformer去噪模型缺乏预融合校准的局限性，我们提出了具有解码器端预融合校准的UT-DPFC，这是一种基于U型Transformer的图像恢复的新设计。该网络在U型Transformer骨干基础上，在三个解码层级之前引入了SDCA来进行校准。具体来说，SDCA从解码器特征生成查询，并在两个互补的候选池（即用于结构线索的MSRC和用于细节线索的MRPC）上执行内容自适应检索和聚合，从而提高了融合基础的可靠性并支持更稳定的细节重建。广泛的实验从多个维度验证了UT-DPFC的有效性。首先，在真实世界的去噪基准测试（SIDD、DND）和合成AWGN去噪任务中，定量结果表明，与主流现有方法相比，我们的方法在PSNR和SSIM方面实现了持续的性能提升。其次，细粒度区域误差分析确认了我们的方法在具有重噪声和丰富纹理的具有挑战性的区域中表现出更强的细节恢复能力，这解释了整体性能的提升。第三，效率分析表明，性能提升是在不增加过多计算成本的情况下实现的，保持了适度且可承受的计算负担。最后，包括UT-DPFC核心组件和SDCA模块的消融研究以及超参数分析在内的全面消融研究验证了每个设计的必要性，并证明了所提出框架对关键超参数的鲁棒性。总之，UT-DPFC作为一种可靠、高效且稳定的图像去噪解决方案。在未来的工作中，我们将探索将所提出的解码器端预融合校准策略扩展到其他图像恢复任务，如去水、去雾和去模糊，以进一步验证其通用性和可迁移性。