抑制超高清原始低光照图像增强中的块状伪影

《Neurocomputing》：Suppressing block artifacts in ultra-high-definition raw low-light image enhancement

　　

• •
  提出了一种两阶段网络（LRNet）用于超高清原始图像的低光增强。
• •
  提出了一种照度引导的自注意力模块，确保全局亮度一致性。
• •
  LRNet在保持纹理细节的同时，有效减轻了块效应。
• •
  实验表明，该方法在SID和MCR数据集上取得了最先进的性能。

引言

随着数字成像技术的发展，低光图像增强（LLIE）已成为计算机视觉领域的一个关键研究方向。早期的研究主要集中在sRGB域图像上[1]、[2]、[3]、[4]、[5]、[6]、[7]、[8]、[9]、[10]、[11]、[12]、[13]、[14]。近年来，原始数据因其能够保留未经处理的传感器信息，提供更宽的动态范围和更丰富的细节，在低光增强中变得越来越受关注[15]、[16]、[17]。另一方面，超高清（UHD）[18]、[19]、[20]、[21]、[22]成像已成为现代视觉系统的基础，高像素密度的设备能够捕捉精细的细节，显著提升用户的视觉体验。然而，将现有的增强方法应用于超高清原始图像面临着严峻的计算挑战。随着神经网络越来越复杂，采用更深的架构和更先进的注意力机制，处理高分辨率特征时的内存消耗急剧增加，常常超出图形处理单元（GPU）的内存容量。因此，在计算资源受限的情况下高效处理超高清原始图像是低光图像增强领域的一个关键研究挑战。

为了解决计算资源受限下的超高清低光图像增强问题，研究人员提出了三种策略，每种策略各有其优势和局限性：全局-全局策略、局部-全局策略和局部-局部策略，如图1所示。全局-全局策略[23]、[24]在训练和推理阶段均保持对全分辨率图像的端到端处理。它们首先将输入图像下采样至固定分辨率进行增强，然后上采样回原始分辨率。尽管这种策略效率高，但额外的采样操作不可避免地会模糊内容并导致纹理信息的丢失。其次，局部-全局策略[21]、[25]通常采用轻量级架构，允许使用图像块进行训练，而在推理阶段采用完整图像作为输入以提高方法的效率。然而，轻量级网络有限的特征建模能力导致其在保持高频细节方面表现不佳。第三，局部-局部策略[26]、[27]、[28]提供了一种克服前两种策略局限性的有前景的替代方案。在该方案中，超高清图像被划分为多个图像块，每个图像块独立处理，然后重新组合成完整图像。虽然这种策略在保持高频细节和支持复杂网络模型方面效果良好，但它往往会在增强图像的块边界处引入明显的伪影，称为块效应。如图1(c)所示，这些块效应具体表现为亮度的不连续性，显著降低了增强图像的亮度一致性和视觉质量。

尽管上述三种策略各有其优势和局限性，局部-局部策略因其保持高频细节的能力而成为超高清低光图像增强的一个有前景的方向。我们分析认为，块效应主要源于低光图像中不同区域之间照度分布的差异。在局部-局部处理模式下，由于每个图像块独立处理，模型难以捕捉相邻区域之间的照度相关性，导致相邻区域之间的照度增强效果不一致，从而产生可见的块效应。值得注意的是，对于基于Transformer的方法，块效应更为明显。Transformer的自注意力机制能够在单个块内捕捉长程依赖关系，从而改善局部区域的增强效果。当相邻块遇到不同的光照条件时，独立优化的输出块会产生更明显的照度不连续性，导致图像亮度过渡不自然，降低增强图像的整体感知质量。

为了在模型性能和效率之间取得平衡，同时减轻块效应，我们提出了一种创新的两阶段训练网络，称为全局提亮与局部细化网络（LRNet），该网络巧妙地融合了现有策略的优势并克服了各自的局限性。LRNet由Lighten-Net和Refine-Net组成，分别在第一阶段和第二阶段执行图像处理。具体而言，第一阶段（即Lighten-Net）采用全局-全局策略，处理完整的输入图像并生成具有全局一致照度的sRGB图像。尽管这一阶段可能无法保留所有精细纹理，但它成功地捕捉了整体照度分布，为后续处理提供了关键的全局上下文信息。第二阶段（即Refine-Net）采用局部-局部策略，利用照度引导的Transformer来整合第一阶段的全局先验。这种跨阶段引导协调了相邻图像块，确保空间连贯性。这种双阶段架构有效地解决了传统基于块处理中的块效应问题，同时保持了高频细节，最终实现了超高清原始低光图像在视觉上连贯且细节丰富的增强效果。

本文的主要贡献如下：

• •
  我们提出了LRNet，一种用于超高清原始低光图像增强的新型两阶段训练网络。它在保持纹理细节的同时有效减轻了块效应。
• •
  我们设计了一个全局感知照度引导模块，使其能够对局部区域的照度变化进行自适应注意力，从而促进推理过程中相邻图像块之间的一致性照度分布。
• •
  在SID和MCR数据集上的实验结果表明，我们的方法显著提高了视觉质量，并在PSNR、SSIM、LPIPS和PSNR-B指标上优于其他方法。

章节摘要

原始域中的低光图像增强

原始图像保留了更丰富的原始信息和更宽的动态范围，使其在低光图像增强方面具有固有的优势[29]、[30]、[31]、[32]、[33]、[34]、[35]、[36]、[37]、[38]。因此，在原始域中运行的低光图像增强技术[39]、[40]、[41]、[42]、[43]引起了研究社区的极大关注。Chen等人[44]首次开发了一个极低光原始图像数据集，其中每张低光图像都与对应的

所提方法

为了克服超高清原始图像增强中空间细节保持与块间亮度一致性之间的矛盾，我们提出了LRNet，一个结构解耦但功能协作的框架。LRNet通过两个串联的阶段——Lighten-Net和Refine-Net，明确地将全局照度引导与细粒度细节重建分离开来。在给出具体网络公式之前，我们首先介绍表1中的统一数学符号，以便于

实验细节

数据集。在实验评估中，我们使用了三个数据集来评估所提方法的性能：(1) See-in-the-Dark（SID）[44]、(2) Mono-Colored Raw Paired（MCR）[69]，以及(3) 一个新采集的实景低光RAW数据集（SelfData）。

SID[44]数据集包含室内和室外场景中拍摄的图像对。通过在相同场景下调整相机的曝光时间，可以获得多个不同亮度水平的低光图像，而

结论

为了解决超高清原始低光图像增强中基于块的策略所产生的块效应问题，我们提出了一种名为LRNet的两阶段训练网络。在第一阶段，Lighten-Net对整幅超高清低光图像执行端到端增强，学习全局照度分布信息。在第一阶段全局先验的引导下，Refine-Net有效地减轻了块效应，并在基于块的推理过程中保持了空间一致性。大量实验验证了其有效性

作者贡献声明

张华（Hua Zhang）：验证、软件、资源、方法论、形式分析、数据整理、概念化。黄崇浩（Chonghao Huang）：撰写——初稿、验证、软件、方法论、形式分析、数据整理。陈泉（Quan Chen）：撰写——审阅与编辑、验证、监督、方法论。郑伏镇（Fuzhen Zheng）：撰写——审阅与编辑、可视化、验证、数据整理。张涛（Tao Zhang）：验证、方法论。文红发（Hongfa Wen）：验证、方法论。蔡卓军（Zhuojun Cai）：撰写——审阅与编辑，

利益冲突声明

作者声明，他们没有已知的可能影响本文报告工作的经济利益或个人关系。

张华（Hua Zhang）于2003年和2009年分别获得浙江大学生物医学工程与仪器专业的学士学位和博士学位。她目前是杭州电子科技大学计算机学院的副教授。她的研究方向包括三维视频编/解码、图像质量评估和嵌入式系统设计。

张华 | 黄崇浩 | 陈泉 | 郑伏镇 | 张涛 | 文红发 | 蔡卓军 | 郑博伦