通过曲线估计和多尺度特征融合（利用FPN技术），实现低光照环境下的图像增强

《Journal of Visual Communication and Image Representation》：Low light image enhancement with curve estimation and multi-scale feature fusion via FPN

提出无监督轻量级低光图像增强框架MPyACE，通过CurveMFPN网络协同优化自适应光照曲线和多尺度特征金字塔，引入自适应常数K解决零像素值问题，并融合多尺度边缘损失提升结构清晰度，实验表明其参数量仅0.114M且PSNR/SSIM表现优异。

　　

王海晨|吴旭祥|李志龙

华南理工大学，中国广东省广州市五山路381号，510641

摘要

本文提出了一种多尺度金字塔自适应曲线估计（MPyACE）方法，这是一种用于低光照图像增强的无监督轻量级框架，通过基于曲线的多尺度特征金字塔网络（CurveMFPN）实现。该网络无需依赖成对训练数据，即可通过协同优化自适应光照感知曲线和多尺度特征金字塔来有效增强图像。自下而上的处理路径通过三阶段下采样提取层次特征，并整合来自特征金字塔网络（FPN）的横向连接以实现跨尺度特征融合，从而平衡全局光照调整和局部细节恢复。通过在增强曲线中加入一个自适应常数$K$，网络能够确保对零值像素的可调效果，显著提高在极暗区域中的调节能力。此外，还引入了多尺度边缘损失到非参考损失函数中，以优化边缘信息，使图像结构和细节更加清晰完整。在公共数据集上的实验结果表明，MPyACE仅使用0.114M个参数，即可获得优异的PSNR（18.21/16.94）和SSIM（0.552/0.451）成绩。

引言

在数字图像处理领域，低光照图像增强已成为一个关键的研究前沿。其算法广泛应用于各个领域，从需要在大光线不足的环境中捕捉清晰图像的消费电子产品（如手机摄像头），到工厂中的夜视监控系统等工业应用。在低光照条件下拍摄的图像通常会遇到一系列问题：由于光照不足，图像中会出现大量噪声，导致图像显得颗粒感强；同时，精细纹理和小物体等细节会丢失，图像颜色也会失真，可能使真实世界的颜色被错误呈现。

这些问题不仅降低了图像的视觉质量，还给后续的图像处理任务带来了障碍。例如，在机器视觉应用中，实时识别系统依赖于准确的图像信息来识别物体。在低光照情况下，图像质量的下降可能导致识别错误。在检测任务中，如在黑暗场景中寻找特定目标，也会受到影响，因为丢失的细节使得准确检测物体变得困难。需要精确图像数据来计算尺寸或距离的测量任务也会受到低光照的不准确性影响。因此，迫切需要有效的低光照图像增强算法。

传统的解决方案提供了具有可调参数的增强框架。例如，一些传统方法允许用户调整图像的亮度、对比度和饱和度。然而，这些方法从根本上受到手动调整的限制，这意味着用户需要具备一定的专业知识，并花费大量时间根据不同场景调整参数。在光照条件可能变化剧烈且突然的复杂现实世界场景中，这些传统方法无法快速有效地适应。

深度学习的出现带来了数据驱动的方法。这些方法可以自动学习输入和输出之间的映射关系。例如，神经网络可以分析大量低光照图像和对应正常光照图像对，以找到增强模式。然而，随着数据驱动模型追求更好的结果，它们越来越依赖于大量参数，这导致内存使用量增加，对于内存有限的设备（如一些旧款手机或嵌入式系统）来说可能成为问题。此外，较长的推理时间也使得这些模型不太适合需要实时处理的应用，如在低光照环境下的实时视频流。因此，设计一种轻量级且可靠的算法来准确高效地解决这一问题至关重要。然而，如果网络过于简化，增强效果将远不如预期，违背了提高效率的初衷。

在低光照图像增强领域，基于深度学习的方法在复杂场景中表现出了出色的性能。卷积神经网络（CNN）方法，如LLCNN [1]，采用了深度架构。虽然这些架构能够捕捉低光照图像中的一些特征，但计算成本较高。此外，在低光照条件下，图像中的信息不足，这使得基于CNN的方法难以充分处理高度复杂和多样的低光照图像，导致性能受限。受Retinex理论启发的方法，如RetinexNet [2]，基于分离光照和反射率的假设。但在复杂的现实世界场景中，这种层次分解假设过于简单化，往往无法获得满意的增强效果。此外，基于生成对抗网络（GAN）的模型，如Enlighten GAN [3]，可以通过对抗训练生成高质量图像，但它们需要大量的训练数据集，收集和准备这些数据需要大量时间和资源。它们复杂的网络架构和大量参数也使得训练和部署变得困难。Zero-DCE [4]在轻量级网络架构的开发方面取得了显著进展，在低光照图像增强方面表现出色，为轻量级模型的优化和应用奠定了重要基础。然而，它仍面临挑战，例如在增强后的低光照图像中，颜色恢复不足，噪声过多，降低了增强图像的实际价值。

基于这些考虑，本文提出了一种低光照图像增强方法，该方法通过基于曲线的多尺度特征金字塔网络（CurveMFPN）协同调整曲线和FPN [5]：多尺度金字塔自适应曲线估计（MPyACE），其框架如图1所示。该网络旨在在将图像转换为正常光照的同时，有效恢复原始颜色和细节。本文的贡献如下：

（1）通过结合自适应光照感知曲线和多尺度特征金字塔，提出了一种无监督的轻量级低光照增强框架，证明了其在多种场景（LOL和LSRW数据集）中的优越泛化能力。

（2）引入了一个自适应常数$K$，以确保即使对于零值输入像素也能调整效果，增强了极暗区域的增强效果，并提高了处理不同光照条件的灵活性。

（3）将多尺度边缘损失整合到非参考损失函数中，以评估多分辨率空间中的边缘一致性，保留细粒度边缘并确保低光照区域中的自然颜色恢复。

相关工作

相关工作

近年来，低光照增强研究取得了显著进展，主要方法分为传统方法和基于深度学习的方法。以下总结了这两个方向的相关研究。

符号统一

为了确保符号的严谨性和一致性，我们在整篇论文中采用了一致的符号系统来表示曲线参数。

论文使用粗体大写字母$A$表示曲线估计（CE）块输出的24通道参数映射张量。在迭代过程中，这逻辑上被划分为$N=8$组3通道参数映射，$A_n$。为了描述通道和空间依赖性，我们使用$A_n^c\left(x\right)$表示颜色通道$c\in \{R,G,B$

实现细节

在本研究中，使用SICE [22]数据集作为网络模型的主要训练数据源。从SICE的Part1子数据集中精心选择了2000张具有不同曝光水平的图像，以全面展示动态范围增强的效果。所有训练图像统一调整为512 × 512 × 3像素的尺寸，以保证一致性。网络实现和评估是在一块NVIDIA GeForce RTX 4060Ti GPU上进行的。

结论

在这项研究中，我们提出了一个专为低光照图像增强设计的无监督轻量级网络。通过引入一个自适应常数$K$到光照增强曲线中，该方法有效解决了以往方法中存在的极暗区域增强难题。我们还设计了一种新的多尺度边缘损失，增强了颜色保真度并使图像细节更加清晰。在LOL和LSRW等数据集上的实验表明，我们的方法

CRediT作者贡献声明

王海晨：撰写——原始草稿、方法论、数据整理。吴旭祥：监督。李志龙：数据整理。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。