MTUDNet：基于互教的目标域无监督真实世界图像去噪

《Knowledge-Based Systems》：MTUDNet: Target-domain unsupervised real-world image denoising via mutual teaching

　　

**摘要**

在现实世界中对成对的干净-含噪图像非常稀缺，这对有监督去噪构成了显著瓶颈。虽然无监督方法绕过了这一需求，但面临独特的挑战：生成方法通常还需要额外的干净数据或复杂的噪声建模，而自监督方法则依赖于关于目标真实噪声的具有限制性的先验假设（例如零均值、对称），从而限制了它们的泛化能力。为了克服这些双重约束，我们提出了MTUDNet，一个目标域无监督去噪网络，它不依赖于目标真实数据集的任何真实干净图像。我们的核心创新在于策略性的解耦：我们将可操作的噪声模型的需求从目标真实数据转移到了容易获取的辅助自然图像上，在这些辅助图像上应用简单的、可控的合成退化（如泊松-高斯噪声）。一个在线互蒸馏框架，包含一个学生网络和一个指数移动平均（EMA）教师网络，弥合了从合成噪声到真实噪声的域差距。学生从辅助数据中学习一般的去噪原则，而教师则对真实含噪数据提供稳定的指导，从而实现对噪声不施加假设的自适应精炼。为了确保高保真重建，我们整合了互补的多尺度聚合注意力（MSAA）和多尺度线性交叉注意力（MLCA）模块，以同时保留精细细节和全局语义。在SIDD和DND基准上的大量实验表明，MTUDNet达到了具有竞争力的性能，甚至能与某些有监督方法相媲美，验证了其在实际真实去噪中的有效性。

**引言**

图像去噪是图像处理和计算机视觉中一项基本且重要的任务。更广泛的图像修复与增强领域在各种底层视觉任务上已见证了大量的研究[1, 2, 3, 4]。基于深度学习的图像去噪[5, 6, 7, 8]虽然在高斯-白噪声（AWGN）等合成噪声上非常有效，但由于简化噪声模型与复杂、机内噪声模式之间存在巨大的域差异，其在真实图像上的效果往往较差。依赖成对真实数据的有监督方法[9, 10, 11, 12, 13, 14]因获取此类数据集在规模上极为困难且不切实际而受到阻碍。这双重挑战使得无需成对真实图像的无监督去噪成为至关重要的研究方向。

最近的无监督去噪方法主要分为两类：基于生成的方法和自监督方法。基于生成的方法[15, 16, 17]采用生成对抗网络（GAN）等框架从无配对数据中学习噪声分布。然而，它们通常仍然依赖于一套单独的干净图像来指导或初始化生成器的训练，从而未能完全摆脱对干净数据的依赖。相比之下，自监督方法仅需含噪图像。诸如NAC[18]、R2R[19]、CVF-SID[20]和Positive2Negative[21]等技术利用图像的内部统计特性或特定的噪声假设来创建训练信号。尽管这些方法在概念上具有吸引力，但它们往往会引入新的限制：其性能受限于底层统计假设（如零均值、对称）的有效性，而这些假设在真实场景中可能并不普遍成立。值得注意的是，像NAC和R2R这样通过对真实含噪图像添加合成噪声来构建训练对的方法，无意中重新引入了它们试图避免的从合成到真实的域差异，从而限制了泛化能力。

图1在一个由三个关键且实际期望条件定义的三维空间中，对现有的去噪范式进行了概念分析：
- **训练期间数据吞吐量**衡量了训练期间利用的数据量和多样性。较高的吞吐量表明对可用数据源的有效利用，使模型能够学习更丰富和稳健的表示。具有高数据吞吐量的方法可以利用丰富的辅助或未标记数据，减少了对稀缺、难以收集的配对样本的依赖。
- **是否无需真实世界干净图像**表示一种方法在训练过程中是否需要来自真实场景的真实干净图像。实现这一特性的方法消除了真实世界去噪中最大的数据瓶颈，因为收集干净图像需要受控环境、专门设备和繁重的后期处理。
- **训练集上放宽噪声假设**反映了一种方法在多大程度上依赖其真实训练数据中噪声的预定义统计或结构假设。假设放宽的方法对噪声特性施加的限制最小，增强了其灵活性和泛化潜力。相反，依赖强先验（如对称、零均值、逐像素独立）的方法在这些假设在真实场景中被违反时可能会失效。

在这个空间中，有监督方法聚集在受制于依赖稀缺真实世界成对含噪-干净数据的区域。生成式无监督方法可以利用更大量的无配对数据，从而在数据吞吐量上占据优势。然而，这往往以未能真正摆脱干净图像依赖为代价，因为它们通常需要一套单独的干净图像来训练生成器，并且在噪声建模上可能引入复杂性。我们完全承认，直接对真实噪声分布建模是一种原则性且有效的策略，正如SCPGabNet[22]和RSC2GAN[23]所证明的那样。与其在这一方向上竞争，我们的工作探索了一种替代假设：一个轻量级、无GAN的互教学框架能否在不显式进行噪声建模的情况下达到具有竞争力的性能？我们的实验表明这是可行的，为优先考虑训练稳定性和简单性的实践者提供了在性能-复杂度空间中的另一种权衡。最引人注目的是，自监督方法通过完全消除对任何真实世界干净图像的需求，实现了重大突破。然而，为了实现这一点，它们必须仅从含噪数据中构建训练信号，这本质上依赖于对噪声或图像引入特定的统计或结构先验，如对称、零均值、逐像素独立。因此，如图可视化所示，它们在该空间中的位置反映了权衡：以将学习目标与这些关于目标真实噪声数据的特定假设耦合为代价，换取了从干净图像中的自由。

我们提出的MTUDNet在这个空间的有利区域中占据独特位置：它通过利用辅助图像实现了高数据吞吐量，保持了对真实世界干净图像的完全自由，并执行了关键解耦操作——将简单、可控的噪声假设转移到了辅助数据上，从而将学习目标从关于目标真实噪声的限制性假设中解放出来。这种策略性的重新定位直接解决了已识别的核心限制（见图2）。与NAC[18]和R2R[19]将合成噪声添加到真实含噪图像上（从而将假设嵌入目标域）不同，我们的方法仅将合成噪声添加到辅助图像上——而不是添加到目标域。这将噪声假设与目标真实数据解耦了。在本文中，“无监督”是相对于目标域定义的。具体而言，我们的方法在训练过程中不使用来自目标真实数据集（如SIDD、DND）的任何真实干净图像。辅助自然图像仅作为通用图像先验的来源，并结合合成生成的伪噪声作为引导信号。这与依赖人工策划的真实世界干净图像的有监督方法有着根本区别。我们的术语遵循先前无监督去噪工作中确立的惯例[15, 16, 17]。

当前自监督学习的核心限制因此是模型的学习目标与特定、往往未被放宽的噪声假设之间存在紧密耦合。这种耦合限制了泛化能力。我们认为一条更有希望的路径是将归纳偏置的来源与目标数据解耦。我们不主张将刚性假设直接嵌入真实噪声的学习目标中，而是提出在容易获取的辅助数据上放置一种放宽的、可控的假设形式，然后设计一种学习机制，能够将在没有此类假设的情况下获取的知识转移并精炼以处理真实世界噪声。

在本文中，我们提出了互教学无监督去噪网络（MTUDNet）。我们的关键见解是，利用应用于辅助自然图像的简单合成噪声（如泊松-高斯模型）来建立初始的、通用的去噪技能集。关键在于，我们并不假设这种合成噪声能完美地模拟现实。相反，我们引入了一个在线互蒸馏框架，在学生网络和教师网络（通过指数移动平均更新）之间进行，以弥合由此产生的域差距。学生从辅助数据上的合成退化中学习，而处理真实含噪图像的教师提供稳定的目标来正则化学生。这创造了一个协作循环，教师引导学生向真实噪声分布靠拢，而学生的进步则不断被整合到教师中。因此，模型的去噪能力并非直接从关于真实世界噪声的限制性假设中学习，而是从一个可操作的合成起点通过互适应演化而来。这种协作和循环的过程实现了知识转移并防止模型过拟合于简化的合成噪声，从而有效地缓解了域差异。

此外，为了解决图像细节和全局结构保存不佳的常见问题，MTUDNet引入了两个互补模块：多尺度聚合注意力（MSAA）模块和多尺度线性交叉注意力（MLCA）模块。MSAA模块增强了模型跨不同尺度捕获和整合局部上下文特征的能力。MLCA模块高效地建模长程依赖关系，以恢复连贯的语义信息。两者协同工作，确保去噪输出中既能重建细粒度纹理，又能保持整体结构完整性。

我们的主要贡献总结如下：
- 我们提出了MTUDNet，一个新的无监督去噪框架。它仅利用未配对的真实世界含噪图像和辅助图像，从而消除了对真实世界干净数据的需求，并将噪声假设的需求从真实数据转移到了辅助数据。
- 我们引入了一种在线互蒸馏方案，促进了教师网络和学生网络之间的持续知识转移，实现了从合成噪声到复杂真实世界噪声的有效适应，并缓解了域差异。
- 我们设计了互补的MSAA和MLCA模块，以捕获和重建局部细节和全局语义信息，显著提高了去噪图像的感知质量和保真度。

本文其余部分组织如下。第2节介绍相关工作。第3节详细介绍方法论，包括整体架构、我们框架中提出的模块以及损失函数。第4节讨论实验设置、与最先进方法的比较以及消融研究。最后，第5节对全文进行了总结。

**相关工作**

许多传统图像去噪器已基于对干净图像上某些预定义的图像先验被提出[24, 25, 26, 27, 28]。这些方法不需要训练数据，因为它们对含噪图像建模图像先验，因此可用于解决未知噪声的去噪问题。最近，深度学习在图像去噪方面已显示出令人印象深刻的性能。我们仅关注最相关的部分。

**MTUDNet概述**

图3比较了我们提出的互教学机制与密切相关的均值教师范式，我们的设计基于此范式构建并为其针对无监督图像去噪任务进行了扩展。

图3(a)展示了均值教师框架[55]，一种在半监督学习中有效的知识蒸馏范式。其核心在于维护一个教师模型，其权重是学生模型权重在训练步骤上的指数移动平均（EMA）。该教师在不从数据集……

**数据集**

在这项工作中，训练数据由辅助数据和真实世界含噪数据组成。我们使用BSD500[58]中的78张图像和MIT-Adobe FiveK数据集[59]中的1400张图像作为辅助数据。真实世界含噪数据来自SIDD（智能手机图像去噪数据集）-中型数据集[35]。相应的干净图像仅用于计算定量结果。SIDD验证数据用于验证。在测试阶段，我们采用两个基准来验证我们的……

**结论与未来工作**

提出的MTUDNet通过策略性地将噪声建模需求从目标真实数据解耦到容易获取的辅助自然图像上，为目标域无监督真实世界图像去噪建立了一种新范式。通过在辅助数据上应用简单的合成退化（如泊松-高斯），我们的互教学去噪框架——包含一个学生网络（从合成损坏的辅助图像中学习通用的去噪原则）和一个……

**CRediT作者贡献声明**

Heng Xiao：写作-审阅与编辑，写作-原稿，可视化，验证，软件，资源，方法论，调查，形式分析，数据整理，概念化。Meilin Fan：写作-审阅与编辑，写作-原稿，可视化，验证，软件，资源，方法论，调查，形式分析，数据整理，概念化。Wanru Wang：写作-审阅与编辑，可视化，验证，监督，资源，调查，……

**利益冲突声明**

作者声明他们没有已知的竞争性财务利益或个人关系，这些关系可能已影响到本文报告的工作。

Heng Xiao | Meilin Fan | Wanru Wang | Meng Zhang | He Tang