编辑推荐:
提出TANet多域注意力图像去噪网络,通过噪声估计块捕获全局噪声,三重注意力机制协调通道、空间和频率特征,星形块高效构建判别性表示,在合成高斯噪声和真实数据集上PSNR/SSIM表现优异且参数效率高。
Jia Zheng|Tao Hong|Yafei Yang|Yuanxi Sun
重庆邮电大学人工智能学院,中国重庆400065
摘要
近年来,深度卷积神经网络在图像去噪方面表现出了强大的性能。然而,当噪声在通道、空间和频率表示上表现出异质特性时,在抑制噪声的同时保留结构细节仍然具有挑战性。在复杂的噪声条件下,简单地对多域特征进行聚合往往会导致噪声与结构分离效率低下。为了解决这个问题,本文提出了TANet,这是一个基于多域注意力的图像去噪网络,它联合利用通道、空间和频率表示来增强对复杂噪声模式的鲁棒性。TANet采用了一种结构化的三重注意力机制,在协调各域特征响应的同时减轻了跨域干扰。具体来说,三域注意力块(TAB)能够自适应地强调每个域中的信息特征,而噪声估计块(NEB)能够在有限的计算开销下捕获全局噪声特性。此外,星形块(STB)能够在紧凑的参数预算下构建高维的判别表示。TANet可以被解释为一个联合优化框架,它在保持图像结构信息的同时稳定地实现多域噪声抑制。在合成高斯噪声基准和真实世界噪声图像数据集上的定量实验表明,TANet在PSNR和SSIM方面具有持续的竞争力,并且实现了良好的准确性与效率之间的平衡。参数-性能分析显示,使用较少的参数就可以获得有竞争力的去噪性能,而过度堆叠注意力块则会导致收益递减。代码可从
https://github.com/188754/TANet获取。
引言
众所周知,数码相机设备在图像采集或传输过程中容易受到各种形式的退化影响,这会显著损害后续的计算机视觉任务[1]、[2]、[3]、[4]、[5]、[6]。图像去噪是低级视觉中的一个基本逆问题,其目标是从噪声观测中恢复原始图像。大多数去噪方法依赖于来构建去噪器,其中表示给定的噪声图像,表示噪声,通常被建模为具有指定方差的加性高斯白噪声(AWGN),用于表示清晰图像。
在过去的几十年中,已经开发出了许多图像去噪技术,这些技术可以大致分为传统方法和基于学习的方法。传统去噪方法通常依赖于先验知识和手动设计的特征来消除图像中的噪声。例如,块匹配和3D滤波(BM3D)[7]以及加权核范数最小化(WNNM)[8]。尽管这些图像去噪技术具有坚实的数学基础和精心设计,但它们存在一些局限性。首先,这些方法严重依赖于复杂的优化算法和手动参数调整;从业者必须调整参数以确定最优值,使用复杂的优化程序来提高去噪图像的质量。然而,不同的图像特性或噪声强度需要不同的参数配置,这导致了大量的计算开销。其次,当面对多级或复杂噪声场景时,它们的性能往往会下降。
为了克服传统去噪技术固有的局限性,引入了许多基于卷积神经网络(CNN)的方法,这些方法的特点是减少了对超参数的依赖并增强了学习能力。在这个领域的一个开创性贡献是Zhang等人提出的DNCNN模型,该模型采用深度残差学习框架有效地消除了图像中的高斯噪声[9]。基于此,后续研究集中在提高基于CNN的去噪方法的准确性和计算效率上。主流方法是将注意力机制集成到网络架构中,从而进一步增强特征提取。这主要包括通道注意力、空间注意力和频域注意力。
随着信号处理和深度学习的进步,频域建模已成为图像去噪的重要补充策略,因为自然图像大致遵循幂律谱衰减。具体公式可以表示为:其中表示空间频率,表示图像功率谱的衰减指数。然而,仅靠频域处理在复杂的退化条件下不足以实现稳健的去噪。有效的恢复还取决于通道级的特征选择性和空间局部化的结构恢复。现有方法通常关注单个域或以松散耦合的方式结合两个域,这限制了它们充分利用通道、空间和频率表示之间互补信息的能力。因此,当噪声特性在特征组和空间区域之间变化时,噪声与结构的分离仍然不理想。
为了解决这些局限性,我们提出了TANet,这是一个用于图像去噪的噪声引导的三域注意力网络。TANet在统一的架构中联合建模了通道、空间和频域信息,并引入了一个显式的噪声估计分支来指导恢复过程。与依赖简单的多分支聚合不同,所提出的设计实现了协调的跨域特征调制,使网络能够在抑制特定域的噪声响应的同时强调信息结构。这种公式在合成高斯噪声和真实世界噪声条件下都提高了鲁棒性,同时保持了模型的紧凑性。
本文的主要贡献如下:
- (1)
我们提出了一个噪声引导的三域去噪框架,该框架明确协调了通道级、空间级和频域表示。
- (2)
我们设计了一个三域注意力块,它结合了通道-空间交互和双频融合,实现了互补但受限制的跨域特征调制。
本文的其余部分组织如下:相关工作部分回顾了相关的图像去噪方法;方法部分详细介绍了TANet的架构和组件;实验部分展示了实验结果及其分析;结论部分总结了本文。
章节片段
用于图像去噪的深度CNN
深度学习技术,特别是卷积神经网络(CNN),已被广泛用于图像去噪,因为它们实现了端到端的恢复并减少了对手工制作的先验的依赖。早期的基于CNN的去噪器主要关注从噪声输入到清晰目标的直接映射或残差噪声的学习,从而证明了数据驱动的判别学习可以作为传统基于优化的去噪框架的有效替代方案[10]。
方法
TANet被设计为一个用于图像去噪的噪声引导的三域框架。其核心目标是通过结构化的跨域协调来解决噪声在通道、空间和频率表示上的异质行为。与主要依赖于单域增强或松散耦合的多域融合的现有去噪方法不同,TANet在统一的架构中明确集成了全局噪声估计和三域特征调制。
数据集和实验设置
训练数据集分为两部分:合成噪声图像的训练数据集和真实噪声图像的训练数据集。根据参考文献[35],我们选择了DIV2K(包含800张自然图像[36])、Flickr 2K(包含2,650张自然图像[37])和Waterloo Exploration Database(WED)(包含4,744张自然图像[38]),并形成了一个包含8,194张自然图像的合成噪声训练数据集。为了丰富训练数据集,每张图像被随机分为30
结论
在本文中,我们提出了TANet,这是一个用于图像去噪的噪声引导的三域注意力网络。该框架明确协调了通道级、空间级和频域表示,以在异质退化条件下改善噪声与结构的分离。在这个框架中,噪声估计块(NEB)模拟全局噪声特性并提供恢复导向的指导,星形块(STB)通过
CRediT作者贡献声明
Yuanxi Sun:写作 – 审稿与编辑。Jia Zheng:写作 – 原始草案、方法论、概念化。Tao Hong:方法论、调查。Yafei Yang:验证、方法论、形式分析。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
致谢
本工作得到了中国自然科学基金的支持,资助编号为[CSTB2025NSCQ-JM009]。
Jia Zheng分别于2011年、2014年和2019年在西安西北工业大学获得了机械工程的学士学位、硕士学位和博士学位。她目前在中国重庆邮电大学人工智能学院工作。她的研究兴趣包括神经网络、算法设计和信号处理。