基于学习到的非局部特征匹配与滤波的RAW图像去噪

《Neural Networks》：Learned Nonlocal Feature Matching and Filtering for RAW Image Denoising

　　

数字图像中噪声的存在源于成像过程本身的机理，相机传感器以及更复杂的图像采集系统易受多种来源的测量误差影响，包括光子计数随机性、传感器电子电路热波动以及向数字信号的转换等。尽管传感器技术的进步已在物理层面降低了噪声幅度，其仍是图像采集后必须处理的基本问题。噪声遮蔽细节与纹理，损害信号信息，既影响手机相机用户的日常画质，也妨碍诊断类图像的判读并削弱下游计算机视觉任务性能。既有研究多集中于加性白高斯噪声（AWGN），而现代数字摄影需应对与AWGN模型显著不同的噪声特性：传感器层面散粒噪声与读出噪声的叠加服从复合泊松-高斯分布，常以信号相关方差的异方差高斯模型近似，且噪声参数随设备与拍摄设置显著变化，因而需要利用先验噪声水平信息以适应传感器特性的噪声感知RAW去噪器。去噪算法可分为基于模型与数据驱动两类。经典基于模型方法依赖精心设计的手工先验，其中利用非局部自相似性的块匹配方法影响最为深远，代表性BM3D确立了匹配相似块、变换域滤波、聚合回原位的三步流程；此类方法通常假设高斯噪声并以方差调节滤波强度，可通过方差稳定变换或局部方差估计扩展至RAW域传感器特定分布。深度学习方法自DnCNN及后续Transformer出现后性能优异，FFDNet、DRUNet等以噪声水平图为输入实现一定滤波强度控制，但端到端学习表征使网络难以解释；卷积网络受局部感受野限制无法利用非局部自相似性，Transformer的注意力机制虽实现数据相关加权平均，却需大量像素比较并依赖深度堆叠，限制可解释性并妨碍在算力与内存受限设备上的部署。已有将非局部先验嵌入去噪网络的尝试多将经典先验嵌入通用架构，而非围绕其构建新架构。为此，研究人员提出一种RAW-to-RAW去噪深度神经网络，将经典非局部方法可解释的结构显式转化为端到端可学习框架，核心为新颖的非局部特征匹配与滤波模块，镜像经典协同滤波的三阶段流程，并在多尺度架构中作用于学习到的特征表示而非图像块，同时以噪声水平图为输入以适应空间变化噪声。该内建非局部性与多尺度结构结合，可在无需自注意力计算开销或过度网络深度的情况下高效扩大感受野，从而在保留经典方法理论根基的同时发挥深度学习的表征能力。研究贡献包括：提出在适配特征域执行非局部块匹配、协同滤波与聚合的全可学习神经模块，为黑箱去噪架构提供替代方案；对多种相机传感器噪声分布建模，构建含真实干净RAW数据与按需合成噪声的数据集，用于训练传感器无关的RAW-to-RAW去噪网络；证明将该模块集成于三尺度UNet可在显著更少参数与推理时间下取得与深度堆叠通用层现代方法相当或更优的高质量结果；在未见传感器上测试，于DND RAW基准取得当前最优定量结果，并在真实手机拍摄图像上展现良好定性性能。

研究背景方面，数字图像噪声源于成像过程本身，传感器及图像采集系统受光子计数随机性、电子电路热波动与模数转换等多源测量误差影响；传感器技术进步虽在物理层面降低噪声幅度，其仍是采集后必须处理的基本问题。噪声遮蔽细节纹理、损害信号信息，影响手机相机日常画质，妨碍诊断类图像判读，并削弱下游计算机视觉任务性能。既有工作大量集中于加性白高斯噪声（AWGN），其简洁性使其成为去噪方法的理想试验平台；但现代数字摄影须处理与AWGN显著不同的噪声特性：传感器层面散粒噪声与读出噪声叠加服从复合泊松-高斯分布，常以信号相关方差的异方差高斯模型近似，低光场景另有更复杂建模；噪声参数随设备与拍摄设置显著变化，故需利用先验噪声水平信息以适应传感器特性的噪声感知RAW去噪器。去噪算法分为基于模型与数据驱动两类。经典基于模型方法依赖刻画自然图像统计的手工先验，其中利用非局部自相似性的块匹配方法影响最深远，Nonlocal Means提出不强调空间邻近而通过匹配与平均块去噪，BM3D以固定正交基下的协同维纳滤波成为参考算法并普及匹配、滤波、聚合三步架构，后续PLOW、NL-Bayes、WNNM分别采用不同协同滤波策略利用联合稀疏与低秩等先验；此类方法通常假设高斯噪声并以方差调节滤波强度，可经方差稳定变换或局部方差估计扩展至RAW域传感器特定分布，其强理论基础与显式结构仍具启示意义，但受手工相似度度量与滤波器限制。数据驱动方法自DnCNN起表明顺序卷积层加ReLU与批归一化的前馈网络端到端学习干净与噪声图像残差即可显著超越经典方法；IRCNN以空洞卷积扩大感受野但边缘易生伪影；FFDNet通过像素去交织获得下采样子图并拼接噪声图以泛化多噪声水平；多尺度处理随后广泛采用，SADNet在编码解码架构中用基于可变形卷积的空间自适应块，CLEARER经神经架构搜索学习跨尺度特征提取融合，DeamNet将基于自适应一致性先验的模型去噪器展开为多尺度网络，MSANet用非对称编码解码与逐尺度子网及调制可变形卷积融合粗细节，DRUNet以无偏四尺度UNet取得最优并用于即插即用框架。然而局部性仍是纯卷积架构的根本局限，无法如经典方法利用图像自相似性。注意到非局部均值与自注意力相似，Wang等提出按远距离位置关系加权特征的通用前馈块，成为非局部注意力网络与视觉Transformer的基石，Transformer此后成为图像复原最优方案但计算代价高，SwinIR起基于移位窗口的方案限制自注意力于局部区域以降成本，Restormer提出带深度卷积头的全局转置注意力块并嵌入UNet，后续最优去噪器多基于此两类基础配置。除Transformer外，亦有工作设计其他显式非局部机制：Liu等构建含非局部操作与特征软匹配的循环网络，Lefkimmiatis对噪声图像块做块匹配后送入CNN，Qiao等以块匹配将非局部自相似先验嵌入TNRD，Pl?tz与Roth设计基于K近邻选择可微松弛的可学习块并与DnCNN模块交替，Meng等将移位窗口内相关匹配与变分展开结合。但Transformer仍因在最新基准中的主导地位成为高质量去噪首选，其他非局部范式近年探索不足。RAW图像去噪方面，RAW数据的马赛克结构由彩色滤波阵列（CFA）造成，空间与色度信息交织，经典方法通过将同色像素打包为独立通道并使用颜色去相关变换，或联合去噪与去马赛克加以适配；高斯去噪器可在方差稳定后去除传感器噪声，但变换后噪声分布常呈比真高斯更重的尾部，低光下复原不准。深度学习将问题从算法适配转为数据获取，Chen等、Prabhakar等与Wei等提出由低光场景与长曝光干净图像构成的数据集，Brummer与Vleeschouwer提供多相机型号与CFA模式的配对RAW图像集合，DND与SIDD提供噪声图像及留出真值评测平台，视频场景有CRVD及其后继ReCRVD。真实数据常不足以有效训练，需合成逼真噪声图像：Brooks等反转图像处理管线在未处理数据上训练CNN，CycleISP同时学习由RGB生成合成RAW并以双分支网络去噪处理，PseudoISP免除RAW-RGB配对需求生成伪RAW，DualDn引入可微处理链在RAW与sRGB双域去噪以适应传感器噪声与ISP变化；本研究同样合成训练数据，但仅合成噪声并叠加于真实干净RAW图像，以避免反处理引起的域偏移误差。

研究人员开展的研究：设计面向Bayer CFA拍摄图像的RAW-to-RAW去噪网络，为保留马赛克结构将RAW打包为四个RGrBGb通道，去除黑电平偏移并除以饱和值归一化至[0,1]，与同尺寸噪声图沿通道维拼接输入，噪声图由传感器散粒与读出系数按关于强度值的仿射方差模型估计各像素噪声标准差，因打包图像每通道对应不同位置该图亦为四通道，形成八通道输入，网络输出四通道去噪打包RAW可随后解包。整体架构受经典非局部块去噪器启发，采用三尺度UNet在不同分辨率层级鼓励非局部处理：单个卷积层先从拼接图像与噪声图提取32个浅层特征，送入UNet核心，各尺度以相同三个顺序组件处理特征，即所提非局部特征匹配与滤波块（NLFeMF）及其前后各一个无归一化的ConvNeXt块，构成NL块；ConvNeXt块的7×7深度卷积提供每像素周围必要的局部上下文提取与特征细化，补充非局部处理。下采样用步长2的2×2卷积并加倍特征数，上采样用其转置等价并减半特征，跳跃连接在对应尺度连接下采样与上采样块，解码时逐步加回残差，最后单个卷积层将细化高分辨率特征解码为与输入噪声图像同尺寸同通道的去噪图像。NLFeMF块为核心组件，在学习特征表示而非图像块上实现经典块匹配与协同滤波范式的可学习变体，分三步：特征匹配、协同滤波、聚合，每步由特定卷积与变形层配置构成以模仿经典对应组件功能。特征匹配为每像素在周围搜索窗内基于局部特征确定K个最优邻域位置，不以手工相似度度量而直接学习匹配过程：一个类似Liang等在视频帧特征对齐引导可变形注意力模块中所用偏移估计机制的CNN，由六个3×3卷积层及其间负斜率0.1的Leaky ReLU组成，为每像素预测K个二维偏移向量，并以缩放双曲正切激活将其限制在定义搜索窗内；若u:Ω→R^C为当前尺度特征图、x=(x,y)∈Ω为图像域像素，偏移按式(1)计算，即o(x)=s·tanh(C6(u;Θo)(x))，展开为(o1^x(x), o1^y(x), …, oK^x(x), oK^y(x))，其中s为搜索窗半宽。研究结论为：所提网络将经典非局部方法可解释结构显式转化为端到端可学习框架，在学习特征域执行非局部块匹配、协同滤波与聚合，为黑箱去噪架构提供替代；通过建模多种相机传感器噪声分布并构建含真实干净RAW与按需合成噪声的数据集，实现传感器无关的RAW-to-RAW去噪训练；将NLFeMF块集成于三尺度UNet，在显著更少参数与推理时间下取得与现代深度堆叠通用层方法相当或更优的高质量结果；在未见传感器的DND RAW基准上取得当前最优定量结果，并在真实手机拍摄图像上展现强定性性能。其重要意义在于弥合经典方法与现代深度学习，既保留前者的理论根基又发挥后者的表征能力，内建非局部性与多尺度结构结合可在无需自注意力计算开销或过度网络深度下高效扩大感受野，适配算力与内存受限的RAW去噪部署场景。

关键技术方法方面：以Bayer CFA的RAW图像四通道打包归一化并拼接噪声图构成八通道输入；构建三尺度UNet，每尺度以无归一化ConvNeXt块包围NLFeMF块；以六层3×3卷积加Leaky ReLU的偏移CNN预测K个二维偏移并经缩放双曲正切约束于搜索窗；在学习特征域执行非局部特征匹配、协同滤波与聚合三阶段流程，下采样用步长2的2×2卷积、上采样用转置等价并配合跳跃连接；对多种相机传感器噪声分布建模，在真实干净RAW图像上叠加按需合成噪声训练传感器无关网络；在DND RAW基准与真实手机拍摄图像上评测。

研究结果方面：特征匹配部分，研究人员不以手工相似度度量而直接学习匹配过程，由含六个3×3卷积层与Leaky ReLU的CNN为每像素预测K个二维偏移向量，并以缩放双曲正切激活将其限制在定义搜索窗内，从而为后续协同滤波确定每像素在搜索窗内的K个最优邻域位置。整体网络架构部分，研究人员采用三尺度UNet在不同分辨率层级鼓励非局部处理，由单卷积层提取32个浅层特征后送入UNet核心，各尺度依次经ConvNeXt块、NLFeMF块与ConvNeXt块处理，下采样与上采样分别用步长2的2×2卷积及其转置等价并配合跳跃连接逐步加回残差，最终由单卷积层解码为与原图同尺寸同通道的去噪图像，ConvNeXt块的7×7深度卷积提供局部上下文与特征细化以补充非局部处理。NLFeMF块部分，研究人员在学习特征表示而非图像块上实现经典块匹配与协同滤波范式的可学习变体，按特征匹配、协同滤波、聚合三步顺序组织，每步由特定卷积与变形层配置模仿经典对应组件功能，构成网络核心组件。实验与评测部分，研究人员将NLFeMF块集成于三尺度UNet，结果表明其在显著更少参数与推理时间下取得与现代深度堆叠通用层方法相当或更优的高质量去噪结果，并在未见传感器的DND RAW基准上取得当前最优定量结果，在真实手机拍摄图像上亦展现强定性性能，验证了传感器无关训练对手机相机的良好泛化。

讨论部分总结：经典非局部块匹配方法虽被神经网络掩盖，但其强理论基础与显式结构仍具价值，可揭示不同图像特征的处理方式；现代去噪器多沿用缺乏深度学习普及前积累领域知识的结构选择，卷积网络因层局部运作无法利用非局部自相似性，Transformer虽以注意力实现类似经典非局部自适应滤波的数据相关加权平均，却需大量像素比较且相当部分贡献甚微，并依赖堆叠多层与规模，限制可解释性且妨碍在算力与内存受限设备上的RAW去噪部署；已有将非局部自相似引入去噪网络的努力多把经典先验嵌入通用架构而非围绕其构建新架构。本工作据此提出在学习特征域执行非局部块匹配、协同滤波与聚合的全可学习模块，作为黑箱架构的替代，并在多尺度架构中兼顾语义信息与非局部自相似原则，以噪声水平图适应空间变化噪声而适配真实相机噪声模型，内建非局部性与多尺度结构结合可高效扩大感受野而无需自注意力开销或过度深度；同时通过建模多种传感器噪声分布、在真实干净RAW上叠加按需合成噪声以避免反处理域偏移，实现传感器无关训练。研究结论为：所提网络将经典非局部方法的可解释结构显式转化为端到端可学习框架，为黑箱图像去噪架构提供替代方案；通过建模多种相机传感器噪声分布并构建含真实干净RAW数据与按需合成噪声的数据集，实现传感器无关的RAW-to-RAW图像去噪训练；将所提模块集成于三尺度UNet，可在显著更少参数与推理时间下取得与现代深度堆叠通用层方法相当或更优的高质量结果；在未见传感器的DND RAW基准上取得当前最优定量结果，并在真实手机拍摄图像上展现强定性性能。