SinDiff-denoise:基于对比扩散模型的单图像去噪方法

《Neurocomputing》:SinDiff-denoise: Single image denoising based on contrastive diffusion model

【字体: 大 中 小 】 时间:2026年05月08日 来源:Neurocomputing 6.5

编辑推荐:

  陈龙|曹锡贤|徐华福|江建辉|潘永华|朱小峰 广西科学院,南宁,530007,中国 摘要 单图像去噪在计算机视觉中是一个基本但难以解决的挑战,特别是在无法获得干净-噪声图像对的情况下。虽然现有的自我监督方法试图从输入本身中提取监督信息,但它们通常依赖于像素掩蔽或下采样技术,这不

  陈龙|曹锡贤|徐华福|江建辉|潘永华|朱小峰
广西科学院,南宁,530007,中国

摘要
单图像去噪在计算机视觉中是一个基本但难以解决的挑战,特别是在无法获得干净-噪声图像对的情况下。虽然现有的自我监督方法试图从输入本身中提取监督信息,但它们通常依赖于像素掩蔽或下采样技术,这不可避免地会导致不可逆的信息丢失和高频伪影。为了克服这些限制,本文提出了SinDiff-Denoise,这是一种为零样本单图像去噪量身定制的稳健的一步扩散框架。我们的方法基于四个核心创新:
(1) 自毁与自去噪:我们不是直接估计复杂的噪声分布,而是通过逐渐向观察到的图像中注入高斯噪声来构建一个“噪声到更噪声”的扩散过程。模型被训练来预测这种辅助噪声,从而隐式地学会抑制原始噪声。
(2) 对比扩散训练:为了解决单样本训练导致的过拟合问题,我们引入了对比学习目标。通过将输入的增强视图视为正样本对,模型被迫学习对噪声不变的语义表示,同时保留细粒度纹理并丢弃随机扰动。
(3) 轨迹一致性正则化:为了确保确定的恢复效果,我们对相邻扩散时间步的去噪输出施加了一致性约束,增强了反向轨迹的稳定性。
(4) 一步推断:利用学习到的生成先验,我们提出了一种高效的推断策略,通过识别最佳噪声匹配时间步在单一步中恢复干净图像。

在合成和真实世界基准测试上的广泛实验表明,SinDiff-Denoise取得了先进的性能,在PSNR、SSIM和感知保真度方面超过了传统先验和深度学习基线。

引言
作为计算机视觉和医学图像处理等领域的一个基本问题,图像去噪的核心挑战在于干净-噪声图像对的稀缺性。在大多数实际场景中(例如天文观测、低光摄影或医学成像),只能获得单个噪声图像,而没有相应的无噪声参考图像,这使得依赖配对数据的传统监督学习方法难以直接应用。因此,单图像去噪成为一个紧迫且关键的问题,其核心目标是从单个噪声观测中恢复高质量的无噪声图像[13]、[14]、[26]。

单图像去噪是一个在低级计算机视觉中具有约束性的去噪任务,通过两种主要的技术范式得到了发展:传统的基于统计先验的方法和自我监督的深度学习方法[16]。传统方法基于统计先验,避免端到端的深度神经网络训练。相反,它们将去噪问题视为一个由自然图像的内在统计属性(包括非局部自相似性、变换域稀疏性和块级低秩性)规范的优化任务,并通过迭代数值算法获得解决方案[7]、[8]、[28]。它们的核心前提是噪声破坏了自然图像的固有统计结构;因此,去噪归结为恢复这些被破坏的规律性。这类方法适用于无法获取足够配对(干净-噪声)训练数据的场景。代表性工作包括BM3D(利用非局部自相似性进行协作过滤)[6]、NCSR(非局部集中稀疏表示,利用冗余变换域中的稀疏性)[9]和WNNM(加权核范数最小化,利用图像块组的低秩属性)[10]。相比之下,自我监督的深度学习方法利用单个噪声图像内在的冗余性,通过随机数据变换合成伪训练对,从而适应不依赖于外部干净参考图像的训练范式,如Noise2Noise[20]、[34]。这些方法的核心在于利用局部信息重建作为隐式的监督信号,迫使模型从单个输入中推断噪声统计信息和学习去噪先验。这一方向的显著进展包括:Noise2Void,它通过掩盖随机像素并从周围上下文信息中预测它们的强度来从单个图像中合成伪噪声-干净对[19];Self2Self,它利用随机dropout诱导的随机性从同一噪声图像生成多个不同的预测,这些预测作为相互的伪标签来指导去噪,通过一致性正则化[27](图1)。

尽管现有的单图像去噪方法在没有干净参考的情况下取得了进展,但它们仍然面临限制,阻碍了它们在现实世界场景中的应用。传统方法严重依赖于预定义的图像先验,如非局部相似性和稀疏表示。这些假设往往无法适应实践中遇到的多样化纹理和复杂的、非高斯的或混合噪声分布,使得在噪声抑制和细节保留之间难以平衡。对于基于Noise2Noise框架的自我监督方法,一个核心缺点是在构建噪声图像对的过程中使用下采样技术引入了不可逆的信息丢失。这种噪声模拟机制破坏了高频细节的语义一致性,导致重建结果中出现伪影和边缘模糊,尤其是在纹理丰富的区域更为明显[22]。

鉴于这些固有的限制,最近的研究转向探索更具表现力和灵活性的单图像去噪先验。在这种情况下,扩散模型作为一种特别有前途的途径出现[12]、[23]。扩散模型以其捕捉复杂高维数据分布的能力而闻名,提供了一个强大的生成先验,理论上能够模拟自然干净图像的复杂流形。这种内在优势表明它们有可能超越手工制作的先验和基于下采样的自我监督中固有的信息丢失,为从单个噪声观测中进行更稳健的恢复铺平了道路。然而,将这种强大的生成框架适应于单图像去噪面临着几个非平凡的挑战。首先,扩散模型的核心训练通常依赖于大型、干净的数据集来学习数据分布。为了有效地利用或适应这种预学习的先验来恢复单个噪声测试图像,而无需特定于任务的配对数据,需要新的推断时间策略。其次,扩散模型的标准采样是迭代的且计算密集的。对于实际的去噪任务,以可行的采样步数实现确定性和高质量的结果仍然是一个重要的工程和算法障碍[17]。

为了解决上述挑战,我们提出了SinDiff-Denoise,这是一个专为单噪声图像去噪量身定制的一步扩散框架。该框架旨在充分释放扩散模型的生成先验潜力,同时克服单样本场景的固有限制。首先,为了避免难以处理的原始复杂噪声估计,我们引入了一种自毁与自去噪机制。该机制对观察到的图像进行受控的逐步破坏,以建立确定性的前向扩散链,引导模型预测额外注入的噪声,从而在反向生成过程中同时抑制原始噪声和扩散噪声。在此基础上,为了减轻单样本训练引起的严重过拟合,我们采用了对比训练策略。通过数据增强动态生成语义一致但视觉上多样的正样本对,并结合对比损失,我们迫使模型关注语义内容的一致性,从而更好地保留高频细节并抑制伪影。为了进一步提高恢复的可靠性,我们引入了一致性正则化,强制不同点的去噪估计收敛到相同的结果。这种设计增强了过程对噪声变化的鲁棒性,并确保了输出的稳定性。最后,为了解决传统扩散模型的计算效率问题,我们开发了一种高效的一步去噪方案。通过理论分析前向和反向过程,我们根据输入噪声水平计算最佳的反向步骤,使训练有素的模型能够在单一步中进行高保真度去噪。

我们的贡献如下:
1. 我们提出了SinDiff-Denoise,这是一种自我监督框架,它解锁了扩散模型的生成潜力,用于单图像去噪。它通过直接从噪声观测中学习稳健的恢复先验,消除了对干净参考数据的依赖。
2. 引入了自毁与自去噪策略来构建确定性的扩散链。通过训练模型预测逐步注入的高斯噪声,我们实现了对未知复杂噪声的隐式抑制。
3. 我们将对比学习与轨迹一致性正则化相结合。这种双重约束设计使增强视图之间的语义特征对齐,防止过拟合并沿反向扩散路径强制结构稳定性。
4. 我们开发了一种最优步骤匹配策略来校准反向过程,允许在单一步中实现高保真度图像恢复,有效解决了扩散生成质量和计算效率之间的权衡。

实验
在本节中,我们首先详细介绍了我们的实验设置,包括数据集、指标和实现细节。然后,我们提供了与最先进方法的全面的定量和定性比较。最后,我们进行了解析研究和敏感性分析以验证我们框架的设计选择。

结论
在这项研究中,我们引入了SinDiff-Denoise,这是一种新颖的自我监督框架,旨在解锁扩散模型在单图像去噪中的生成潜力。通过实施自毁与自去噪策略,我们的方法构建了一个确定性的扩散链,有效抑制了未知的复杂噪声,而无需任何干净参考数据。为了解决单样本训练中的过拟合挑战,我们将对比学习与...

CRediT作者贡献声明
陈龙:撰写——原始草案,方法论,数据策展。
曹锡贤:可视化,数据策展。
徐华福:项目管理,数据策展。
江建辉:验证,调查。
潘永华:撰写——审阅与编辑,验证。
朱小峰:验证,监督,资金获取。

利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢
本工作得到了南宁重大专项项目(20231030)的支持,这是广西在公开征集系统下的科技项目(JB2502850005)。

陈龙于2016年获得了安徽科技大学的学士学位,2020年获得了南宁师范大学的硕士学位。他目前正在电子科技大学攻读博士学位。他的研究兴趣包括机器学习、计算机视觉和图学习。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号