DBDenoiser：一种适用于现实场景的双分支自监督图像去噪方法

《Pattern Recognition》：DBDenoiser: A dual-branch self-supervised image denoising method for real-world scenarios

　　

• •
  通过结合频率域与空间域的双分支结构实现去噪。
• •
  自适应的软硬小波阈值处理可在降低噪声的同时保留图像边缘。
• •
  多尺度空间掩蔽技术可有效处理具有空间相关性的噪声。
• •
  基于动态打乱的自我监督学习方法可打破噪声模式。
• •
  在多个基准测试任务上表现出优异性能，且具备较强鲁棒性。

引言

图像去噪本质上属于典型的逆问题，其目标是从受噪声污染的图像中尽可能恢复出接近真实信号的清晰图像。这项任务不仅直接影响图像的视觉质量，还在物体检测[1]和图像分割[2]等后续任务中起着关键作用。去噪方法已从手工设计的先验模型发展到监督学习和自我监督网络。传统先验模型难以应对混合类型的实际噪声，而监督模型则需要大量含噪声与干净图像的对。自我监督方法虽减少了对此类数据的依赖，但仍面临三大挑战：空间噪声相关性可能使盲点或掩蔽策略出现偏差[3]；噪声与高频结构之间的重叠可能在SIDD和FMDD等数据集中导致伪影或纹理丢失[4]；有限的噪声建模能力也会降低模型在非均匀或严重噪声环境下的鲁棒性[5]。因此，本研究旨在探索如何在没有干净真实图像作为参考的情况下，抑制非高斯分布且具有空间相关性的实际噪声，同时保留精细结构。为此我们提出了DBDenoiser，这是一种双分支自我监督框架，它将频率域的自适应小波阈值处理与空间域的多尺度掩蔽技术相结合。

近期在模式识别和低级视觉领域的研究从不同角度进一步推动了实际场景下的图像去噪技术发展。DuINet[6]通过具有信息交互与感知监督功能的双分支架构提升了去噪效果。相比之下，MADNet[7]则专门学习多尺度空间频率特征以用于图像去噪。SSFDT[8]将空间-频谱频率建模技术扩展到高光谱图像去噪领域，而STAR-Net[9]则为遥感图像去噪引入了可解释的模型辅助先验。CM-UNet[10]针对复杂的领域特定噪声设计模型，Pixel2Noise[11]则提供了一种轻量级的自我监督去噪方法。MGID-Net[12]结合图像与文本先验用于工业GPR图像去噪，FSE-Net[13]则将边缘引导与频率-空间处理相结合。更近期的研究还探索了基于退化提示的扩散模型用于实际图像去噪[14]，这类方法虽然展现了生成式退化先验的潜力，但也带来了更高的采样成本。本研究要解决的核心问题是开发一种自我监督框架，能够在无需干净真实图像的情况下，有效分离非高斯分布且具有空间相关性的实际噪声与高保真图像纹理。

DBDenoiser通过明确的“问题到组件”的映射机制来克服上述限制。首先，它采用动态随机打乱技术打破空间噪声相关性，减少自我监督学习中的偏差。其次，基于Haar小波的频率分支通过自适应阈值处理将高频噪声与结构细节分开。最后，空间域分支则通过多尺度特征提取和动态掩蔽生成技术，对非均匀的局部噪声进行建模，从而提升模型在各种实际场景中的泛化能力。

本研究的主要目标是实现无需依赖干净真实图像的高保真自我监督去噪。除此之外，DBDenoiser还被设计为能够在复杂噪声条件下提升鲁棒性，通过单次推理保持计算效率，并增强在不同相机及生物成像领域的跨数据集泛化能力。

综上所述，本文的主要贡献如下：

• 1.
  我们提出了DBDenoiser，这是一种结合频率域与空间域处理的双分支自我监督框架。通过将自适应小波阈值处理与多尺度空间掩蔽技术相结合，该网络能够在去噪的同时保留精细的结构细节。
• 2.
  我们设计了一种融合动态随机打乱与多尺度掩蔽的学习策略。基于滑动标准差的纹理感知掩蔽机制使得网络能够在去除噪声的同时，在纹理丰富的区域保留结构细节。这种结合方式在以往基于打乱的方法中尚未被探索过。
• 3.
  在多个公开基准测试数据集（SIDD、FMDD、PolyU、CC）以及我们收集的实际噪声图像数据集上的实验表明，DBDenoiser的性能显著优于现有的先进方法，尤其是在恢复细粒度纹理方面表现突出。

本文的其余部分结构如下：第2节回顾相关研究工作；第3节详细介绍所提出的DBDenoiser框架，包括其频率域与空间域分支、特征融合以及自我监督训练机制；第4节阐述实验设置、结果分析及与其他方法的比较；第5节探讨该方法的更广泛应用意义及存在的局限性；第6节对全文进行总结，并指出未来研究的方向。

各章节要点

小波阈值去噪

小波阈值处理是一种有效的工具，可用于将高频噪声与图像的结构成分分离。传统的阈值处理方法为基于小波的去噪技术奠定了理论基础，但由于其阈值往往是固定的或手工设定的，因此在面对复杂的实际噪声时容易产生伪影，还可能过度抑制精细纹理。关于小波变换和传统阈值处理的详细背景内容可见补充材料附录A.1。与传统方法相比

整体架构

本小节将对DBDenoiser的总体架构进行概述，重点介绍其各主要组件的数据流及功能作用。每个组件的数学公式及实现细节将在后续小节中分别阐述。

图1展示了DBDenoiser的处理流程。首先通过自我监督打乱策略，从含噪声的输入图像中生成伪干净目标图像。随后，含噪声图像会由频率域模块进行处理

数据集。

为评估DBDenoiser的性能，我们在多种类型的公开实际噪声数据集上进行了实验，这些数据集包括SIDD、FMDD[34]、PolyU和CC，此外还有我们自行收集的实际噪声图像数据集。SIDD数据集包含用智能手机拍摄的普通sRGB格式图像。我们在评估时使用了SIDD数据集的验证集和基准测试数据集，这两组数据各包含1280个分辨率为256×256的图像块。PolyU和CC数据集则

讨论

总体而言，DBDenoiser具备四大互补优势：双域频率-空间建模能力、基于纹理感知的动态掩蔽技术、通过动态随机打乱生成的自我监督伪干净目标图像，以及单次推理机制。具体而言，频率域分支能够抑制高频噪声，而空间域分支则通过多尺度特征建模来保留局部结构与纹理。这些组件共同作用，可有效抑制复杂的实际噪声，同时保留图像的结构信息

结论与未来工作

在本文中，我们提出了DBDenoiser，这是一种双分支自我监督图像去噪框架，它将频率域的小波阈值处理与空间域的多尺度动态掩蔽及特征融合技术有机结合。DBDenoiser的优势在于无需依赖干净的真实图像即可实现高质量去噪，同时还能通过动态掩蔽有效保留局部细节，从而避免传统盲点法中常见的信息丢失问题

CRediT作者贡献说明

孙静静：论文撰写——审阅与编辑、论文撰写——初稿撰写、可视化处理、结果验证、项目管理、方法设计、研究实施、正式分析、数据整理、概念构思。吴霍：论文撰写——审阅与编辑、研究指导、方法设计。程飞：论文撰写——审阅与编辑、软件工具使用、资源协调、资金申请。钱明静：研究实施、数据整理。傅刚：论文撰写——审阅与编辑、研究指导、资金申请。魏菲菲：论文撰写——审阅与编辑，

财务披露

本研究得到了国家自然科学基金（编号：62402324）、安徽省教育厅高校人才计划（编号：gxbjZD2022094）、芜湖市计划内自筹项目（编号：2025kj038）以及安徽信息技术学院智能制造研究团队（编号：23KYTDLJ001）的支持。这些资助方仅提供资金支持，不参与研究的设计、数据收集与分析、论文发表决策等环节

利益冲突声明

所有作者声明不存在任何可能影响本文研究结果的已知财务利益冲突或个人关系。

孙静静|吴霍|程飞|钱明静|傅刚|魏菲菲|鲍忠云