基于多尺度深度特征空间中可学习自相似性的熵非局部TV方法用于图像去噪

《Applied Mathematical Modelling》：Entropic nonlocal TV with learnable self-similarity in multi-scale deep feature space for image denoising

　　孟俊英|刘军 中国山西省太原市山西大学复杂系统研究中心，邮编030006

摘要：非局部变分模型能够有效利用图像空间域中的非局部自相似性，在图像去噪方面取得了良好效果。然而，现有研究较少探索基于可学习非局部自相似性的高维深度图像特征空间变分框架。本文提出了一种在深度特征空间中的变分模型，该模型结合了熵正则化与非局部总变分正则化。由此产生的解自然形成了一个自注意力机制，本质上对应于Transformer中的自注意力机制，从而从变分角度阐述了自注意力机制。基于这一视角，Transformer中注意力机制所用的权重函数实际上相当于对经过熵正则化的K均值型聚类能量进行优化。通过多网格算法高效求解所提出的变分模型，并展开优化过程，我们构建了MG-NLNet——一种集成非局部变分先验的多尺度图像去噪网络，能够全面提取多尺度特征。具体而言，所推导出的自注意力机制被融入MG-NLNet中的可学习注意力模块，从而有效捕捉高维深度特征空间中的非局部自相似性。该方法为构建部分可解释的多尺度图像去噪网络提供了新框架。实验结果表明，与现有去噪方法相比，该方法具有更优异的性能。

引言：图像去噪是图像处理领域中的一个基本逆问题，其目标是从含噪观测值f中恢复出原始清晰图像u，同时尽可能保留更多细节。常用的噪声模型假设为加性高斯噪声，可数学表示为f(x)=u(x)+n(x)，x∈Ω，其中n表示需要去除的噪声。基于模型的方法是图像去噪中最重要的一类方法，这类方法通常通过将逆问题转化为变分优化任务来解决。图像变分去噪模型的一般形式为u*=argminuF(u;f)+λR(u)，其中F(u;f)是数据保真项，用于确保结果与含噪观测值f一致；R(u)是正则化项，用于纳入关于原始清晰图像u的先验知识。正则化参数λ>0用于调节这两者之间的平衡。基于模型的去噪方法的有效性与正则化项的设计密切相关。总变分正则化[1]是图像处理中一种著名的局部先验，擅长保持边缘特征，但它往往难以区分噪声与纹理，导致重建图像中出现分段常数区域以及细节丢失的问题。为解决这一问题，许多研究采用了非局部自相似性先验。诸如非局部均值法[2]和非局部总变分法[3]等方法表明，引入非局部先验可以有效保留纹理等重复结构。不过，用于衡量像素相似度的非局部加权函数通常是通过经验确定的，并在去噪过程中固定不变，因此很难找到最优的加权函数，尤其是在高噪声水平下。为克服这一局限，块非局部总变分正则化[4]在非局部正则化框架中引入了自适应加权函数，相较于NLTV方法[3]，它能更好地保留纹理特征。此外，块匹配与3D协同过滤算法[5]通过将对相似块进行分组并在变换域应用协同过滤，展现了出色的去噪性能。低秩建模技术，包括加权核范数最小化方法[6]，则利用相似块组的内在低秩结构来提升去噪质量。尽管这些非局部方法在图像层面捕捉自相似性方面效果显著，但它们无法利用高维深度特征空间中的自相似性。近年来，数据驱动的深度学习方法在各种图像处理任务中取得了卓越性能。尤其是多种卷积神经网络[7],[8],[9],[10],[11],[12],[13]被用于图像去噪，并取得了优异成果。与传统基于模型的方法相比，后者依赖手工设计的先验且在图像空间域中运作，而基于学习的方法则能通过优化目标函数从大规模数据集中自动学习隐含先验，同时还能利用包含更丰富语义信息的高维深度图像特征，从而提升去噪性能。不过，基于CNN的方法受限于有限的感受野，这阻碍了它们有效捕捉非局部自相似性的能力，因此往往无法像传统基于模型的方法那样充分利用非局部自相似性先验。为解决这一问题，一些方法开始在其网络架构中利用从深度图像特征中提取的非局部信息。例如，N3Net[14]提出了连续确定性松弛方法来构建非局部层；Valsesia等人[15]提出了图卷积去噪网络GCDN，通过扩展感受野利用图卷积操作捕捉非局部上下文信息。此外，非局部自注意力机制越来越受欢迎，被广泛应用于网络架构中，以有效建模图像特征中的长距离依赖关系。例如，Wang等人[16]提出了用于视频分类的非局部神经网络；Zhang等人[17]提出了用于图像恢复的残差非局部注意力网络RNAN。这些方法利用非局部注意力机制对所有像素进行逐对比较，以捕捉全局依赖关系。虽然非局部自注意力机制有助于提升上下文建模能力，但由于其二次复杂度，会带来较大的计算负担。此外，许多比较涉及的是彼此无关的像素，对改善图像去噪效果贡献甚微[18]。因此，区域自注意力机制作为一种高效替代方案出现，用于图像恢复任务，它在保持相近性能的同时大幅降低了计算复杂度。例如，Liu等人[19]将非局部注意力模块引入循环神经网络，提出了用于图像恢复的NLRN；Liu等人[20]提出了Swin Transformer，它将自注意力计算限制在离散且不重叠的窗口内，同时允许在这些窗口之间进行交互，从而提升了计算效率；Liang等人[21]基于Swin Transformer提出了SwinIR网络，在图像恢复任务中展现了出色性能。此外，还有一些方法，如Swin-Conv-UNet[22]和COLA-Net[23]，将局部与非局部先验都整合到网络架构中，进一步提升了图像恢复性能。大多数基于学习的网络都是通过经验设计的，往往缺乏数学上的解释性。为解决这一问题，人们开发了展开技术，将迭代优化算法展开为网络架构，从而连接起传统的基于模型的方法与具有坚实数学基础的深度网络。例如，Chen等人[24]通过用可训练的卷积核替代梯度和散度算子，基于非线性反应-扩散方程构建了TNRD网络；Kobler等人[25]通过将变分逆问题公式与深度学习相结合，提出了数据驱动的总深度变分正则化器TDV；Zheng等人[26]基于字典学习图像去噪方法，提出了名为深度卷积字典学习DCDicL的新框架。尽管有些网络[14],[15],[17],[19],[21],[27],[28]已经引入非局部自注意力机制来捕捉图像特征中的长距离依赖关系，但这些架构通常仍是基于经验设计的，缺乏清晰的数学解释。为此，Meng等人[29]在展开框架的基础上，提出了一种用于图像去噪的可学习非局部自相似性深度特征网络，为现有网络中广泛使用的非局部自注意力机制提供了统计和变分层面的解释。传统的非局部正则化变分方法通过利用像素或图像块的非局部自相似性，在图像去噪方面取得了显著效果。然而，这些方法并未利用高维深度图像特征中固有的非局部自相似性。此外，用于衡量像素或图像块之间相似度的非局部加权函数要么是手工设计的，要么是从变分模型中衍生出来的，因此是固定的，难以有效捕捉高维深度图像特征之间复杂的关联关系。对于数据驱动的去噪方法，现有的大多数图像去噪网络依赖于单尺度特征提取框架，未能充分利用多尺度图像特征。虽然有一些方法[22]采用了多尺度特征提取并取得了不错的去噪效果，但其架构往往也是基于经验设计的，缺乏清晰的数学可解释性。在本工作中，我们从变分角度探讨了自注意力机制，并提出了一个在高维深度图像特征空间中结合了熵正则化与非局部正则化的变分模型。为高效求解该模型，我们采用多网格算法，并通过展开技术构建了一个多尺度图像去噪网络。具体而言，由变分模型衍生的非局部自注意力计算被可学习注意力机制所替代，从而使非局部加权函数能够有效捕捉深度图像特征之间的长距离依赖关系。所提出的方法将变分模型中得到的非局部自相似性先验直接融入网络结构中。此外，我们还提出了一种构建多尺度网络的新方法，该方法明确纳入了非局部自相似性。这样的设计通过明确网络各组件的功能并将其与相应的数学模型联系起来，提升了去噪网络的可解释性。实验结果证明了所提方法相较于现有去噪方法的优越性。

本工作的主要贡献包括：
•我们从熵正则化与非局部正则化的角度，为自注意力机制提供了变分层面的解释，从而建立了经典数学变分公式与现代深度学习架构之间的桥梁。
•我们在高维深度特征空间中提出了一种结合了熵正则化与非局部总变分正则化的变分模型，其中的非局部加权函数是自适应学习的，这使得模型能够更有效地捕捉深度图像特征之间复杂的長距离依赖关系。
•我们通过多网格算法求解变分模型并展开最优迭代过程，构建了一个融入非局部自相似性先验的多尺度图像去噪网络。该网络不仅能够有效利用多尺度特征提升去噪性能，还能清晰地展现网络组件与其背后的数学基础之间的关联。

本文的其余结构如下：第2节回顾了相关领域的最重要研究成果；第3节在高维特征空间中建立了非局部正则化变分模型；第4节分析了求解该模型的算法；第5节介绍了基于所提变分模型的去噪网络架构MG-NLNet的构建方法；第6节给出了数值实验结果；第7节对全文进行总结。

相关工作：本节回顾了与我们方法相关的核心概念和技术，包括Transformer模型中的自注意力机制、图像去噪中的经典非局部均值方法以及基于多网格的数值求解方法。这些工作为我们提出的方法奠定了基础。

所提出的方法：为在高维深度特征空间中捕捉非局部自相似性，首先通过由运算符E表示的特征提取层对原始图像进行变换：F→F^，其中F和F^分别代表原始图像空间及其对应的高维深度特征空间。对于某幅图像u，其特征嵌入表示为u=E(u)。接下来，我们在高维深度特征空间中提出了一种结合了熵正则化与非局部正则化的变分模型。

分割算法：我们采用增广拉格朗日方法[47],[48],[49]来高效求解所提出的变分模型。原有的最小化问题如下：
(ut+1,wt+1)=argminu,w∈W{λ2∫Ω∥u(x)?f(x)∥2dx+h∫Ω∫Ωw(x,y)lnw(x,y)dydx?∫Ω∫Ωw(x,y)〈WQ(ut)(x),WK(ut)(y)〉dxdy+∫Ω∥?wtu(x)∥2dx}。
通过引入函数q=?wtu，该问题可等价转化为一个带约束的最优化问题：
(ut+1,wt+1,qt+1)=argminu,w∈W,q=?wtu{λ2∫Ω∥u(x)?f(x)∥2dx+h∫Ω∫Ωw(x,y)lnw(x,y)dydx?∫Ω∫Ωw(x,y)〈WQ(ut)(x),WK(ut)(y)〉dxd

MG-NLNet：基于算法1，我们设计了一种能够融入可学习非局部自相似性先验的去噪网络。在输入层，我们使用卷积层作为特征提取器，将输入图像转换为高维特征，即f=E(f)∈RH×W×I，其中I为特征通道数，H和W分别表示特征图的高度和宽度。随后，我们将u1,0和d1,0输入网络的中间层，从而得到更新后的uT。

训练数据集：为训练用于去除加性高斯白噪声的MG-NLNet，我们使用了由Flickr2K[50]、DIV2K[51]、Waterloo Exploration Database（WED）[52]和BSD500[53]组成的混合数据集。而对于现实场景中的噪声去除训练，我们则使用了SIDD数据集[54]和RENOIR数据集[55]中的图像。

实现细节：MG-NLNet的窗口大小和通道数分别设置为8和180。我们以128×128的块大小随机裁剪这些训练图像。在本文中，我们提出了一种新的熵与非局部正则化变分模型，该模型构建于高维深度图像特征空间之中。通过从变分模型中衍生出的非局部自注意力计算机制，并以可学习的方式实现，从而有效捕捉深度特征之间的长距离依赖关系。结合多网格优化与算法展开技术，我们构建了一个多尺度去噪网络，能够分层处理不同层面的特征。

CRediT作者贡献声明：孟俊英：撰写——初稿、验证、方法论、资金获取、正式分析；刘军：撰写——审阅与编辑、指导、项目管理、方法论、资金获取、正式分析。

利益冲突声明：作者声明不存在任何可能影响本文所述工作的已知财务利益或个人关系。