基于引导源与图像融合的鲁棒各向异性扩散技术用于不均匀及弱光条件下的图像增强

《Digital Signal Processing》：Uneven and low-light image enhancement via robust anisotropic diffusion with guidance source and image fusion

　　王浩然|何川江 中国重庆大学数学与统计学院，重庆401331 摘要 不均匀且光照不足的条件下，图像的视觉质量会严重下降，导致可见度降低和细节丢失。现有的增强方法虽然能够有效提升曝光不足的区域，但往往会使原本光照充足的区域出现过曝现象。本文提出了一种基于Retinex扩散方程和图像融合的曝光校正算法，用于改善此类图像的质量。首先，我们提出了一种具有引导源的稳健各向异性扩散方程，用以从输入的灰度图像中估计照明成分。该扩散项旨在在抑制噪声和纹理的同时保持图像的主要结构。具体而言，我们引入了一种基于高斯差分算子的新型结构检测器，以及一种基于图像结构张量的新局部相干性度量方法。此外，扩散系数由稳健统计学中的Huber函数定义，其尺度参数则通过结构检测器的中位数绝对偏差来估算。引导源的作用是引导照明成分的更新朝着预期的照明状态发展，从而帮助从输入图像中获取结构信息，同时避免过度平滑照明成分。根据Retinex分解理论，反射率可通过将输入图像除以估算出的照明值来得到。最终，经过处理的图像则是估算出的反射率与照明值经过伽马变换后的乘积。对于彩色图像的增强，所提出的扩散模型仅作用于YCbCr颜色空间中的亮度通道。随后，通过多曝光融合方法将原始图像及其反色图像的增强版本进行融合，从而得到整体曝光良好的图像。在多个常用数据集上的实验表明，与现有的13种先进增强方法相比，所提出的方法在处理不均匀且光照不足的图像时具有更优异的性能。引言 在不均匀或光照不足的条件下拍摄的图像，往往会出现可见度下降、细节丢失、严重噪声以及色彩失真等问题。这类缺陷不仅会影响人类观察者的感知质量，还会削弱后续计算机视觉任务的性能，包括检测[1]、识别[2]以及分割[3]等任务。因此，开发可靠的图像增强算法以应对此类图像问题，已成为图像处理和计算摄影领域的研究重点之一。众所周知，提升在不良光照条件下拍摄的图像质量是一项具有挑战性的任务，因为这需要同时实现暗区的提亮和亮区过曝的避免，同时还需提升对比度、抑制噪声并保持自然的视觉效果。图1展示了一个不均匀且光照不足的图像增强示例。由于增强任务具有多重目标，目前普遍认为没有单一技术能够有效处理所有类型的此类图像。因此，过去几十年来人们开发出了多种增强技术，这些技术可归纳为基于直方图均衡化的方法（如[4]）、基于学习的方法（如[5]、[6]、[7]、[8]）以及基于Retinex的方法（如[9]、[10]、[11]、[12]）。基于直方图均衡化的方法试图通过拉伸对比度或重新分配亮度值来提升图像质量。例如，Lee等人[4]利用基于二维直方图的分层差异表示方法提升了低光图像的视觉质量。尽管概念简单，但这类方法在处理复杂的不均匀低光图像时效果不佳。基于学习的方法在低光图像增强领域也展现了出色的性能。例如，Chen等人[5]提出了一种受Retinex启发的神经网络架构，该架构首先将图像分解为照明成分和反射率成分，然后再对照明成分进行优化处理。Zhang等人[14]提出了一种类似Retinex的低光增强网络，它将图像分解为用于调整亮度的照明成分和用于去除缺陷的反射率成分，从而实现图像的提亮和去噪。在[6]中，Wu等人进一步提出了一个基于梯度先验的框架，该框架包含梯度恢复模块和梯度引导校准模块，用于恢复受损的梯度信息。Wang等人[15]提出了一种专为高级机器视觉设计的轻量级照明增强模型，该模型借鉴了相机响应函数的思想，旨在提升低光条件下的图像处理性能。在[8]中，Wang等人提出了一种零参考低光增强框架，该框架仅基于正常光照条件下的图像进行训练，通过利用与光照无关的先验以及预训练的扩散模型来实现低光场景的增强。此外，Xu等人[7]提出了UPT-Flow，这是一种基于Transformer的条件归一化流模型，它利用不平衡点先验来更精确地建模照明情况，从而提升低光图像的质量。这些数据驱动的方法虽能提升低光图像的细节和可见度，但由于训练数据的多样性有限，其在面对复杂的实际光照条件时性能往往会下降。基于Retinex的建模方法是另一种有效的图像增强手段。根据图像Retinex理论[16]、[17]，首先将观测到的图像S分解为照明成分和反射率成分，随后通过估算出的照明值与其经过伽马变换后的值相乘，即可得到增强后的图像。基于这一理论，已有许多相关方法被提出。在[9]中，Kimmel等人提出了第一个变分Retinex框架，他们假设图像中的照明成分是平滑变化的。Ng和Wang[10]则在总变分模型的基础上，进一步加入了照明成分的空间规则性以及反射率成分的分段连续性约束。Guo等人[11]通过各通道的最大值来估算照明成分，并结合结构先验对其进一步优化。Cai等人[18]提出了一种受内在和外在先验共同引导的Retinex模型，该模型能够在线性域内实现反射率成分和照明成分的分解。在[19]中，Gu等人通过引入分数阶微分算子，进一步强化了Retinex正则化机制。[13]则通过一种兼顾结构和纹理特性的Retinex模型，试图更精准地分离反射率成分和照明成分。在[20]中，Zhang和He设计了一种更为稳健的结构/纹理映射方法，以便更可靠地分离照明成分和反射率成分。Cai和Chen[21]提出了一种受生物学原理启发的Retinex分解模型，该模型利用来自视网膜和大脑皮层机制的轮廓及纹理特征，分别编码照明成分的不连续变化和反射率的变化。Zhou等人[12]提出了一种基于Retinex的低光增强方法，该方法利用变异系数提取结构信息，构建出能够有效保持结构特征且具备良好曝光控制的权重映射。Zhang和Wang[22]提出了一种Retinex变分模型，该模型充分利用了照明成分和反射率成分之间的相互作用。在[23]中，Li和He提出了一种变分Retinex框架，该框架将照明成分的更新过程视为两个相互关联的优化问题。在[24]中，Ma等人提出了一种替代性的增强策略，该方法通过调整亮度和饱和度来提升低光图像的质量。Fu等人[25]提出了一种基于Retinex的低光增强方法，该方法通过噪声变换提升图像的抗噪能力，同时通过自适应照明校正来解决图像增强不足的问题。另一方面，Wang和He[26]首次提出将Retinex分解纳入非线性扩散方程的框架中，并提出了一种分数整数阶扩散系统用于低光图像增强。实际上，非线性扩散方程在图像处理领域已被广泛研究，应用范围包括图像平滑处理[27]、[28]、图像修复[29]、[30]以及图像增强[31]、[32]。尽管上述基于Retinex的方法在许多应用场景中表现良好，但它们仍存在一些局限性：不准确的照明成分估算可能导致亮区过曝，过度平滑处理则可能使重要特征模糊，而且未处理过的颜色通道中的噪声也可能传递到最终增强的图像中。为了解决这些问题，我们提出了一种基于Retinex扩散方程和多曝光融合机制的曝光校正算法，用于改善不均匀且光照不足的图像质量。在本文中，我们首先介绍了一种具有引导源的稳健各向异性扩散模型，该模型可用于从输入的灰度图像中估算照明成分。与传统的扩散模型（其扩散系数仅依赖于梯度信息）不同，我们引入了一种基于高斯差分算子的新型结构检测器，以及一种基于图像结构张量的新局部相干性度量方法。此外，扩散系数由稳健统计学中的Huber函数定义，其尺度参数则通过结构检测器的中位数绝对偏差来动态估算。因此，这种扩散项既能抑制噪声和纹理，又能保持图像的结构清晰度，非常适合用于不均匀且光照不足的图像增强。此外，我们并未让照明成分的更新完全依赖于局部的扩散过程，而是引入了一种照明先验，该先验是通过输入图像中RGB值的最大局部值来确定的，之后再通过高斯高通滤波处理对图像进行优化[33]。通过将扩散过程与这种引导机制相结合，估算出的照明成分能够有效保留输入图像的清晰结构，同时避免过度平滑。对于彩色图像的增强，所提出的扩散模型仅作用于YCbCr颜色空间中的亮度通道，而色度通道则保持不变，以此确保颜色的一致性。最后，我们还利用了原始图像与其反色图像之间的互补曝光关系，通过多曝光融合方法将原始图像、其反色图像的增强结果以及原始图像本身进行融合，从而得到整体曝光良好的图像。所提出的算法已在多个常用数据集上进行了全面测试，并与现有的先进低光增强技术进行了比较。本研究的主要贡献可总结如下：•我们提出了一种基于高斯差分算子及结构张量衍生的新局部相干性度量方法的新型结构检测器，替代了传统基于梯度的检测器。•我们提出了一种具有引导源的稳健各向异性扩散方程，可用于从输入的灰度图像中估算照明成分。•我们引入了一种多曝光融合机制，用于纠正图像的曝光不均问题，进而提升不均匀且光照不足的图像质量，最终获得整体曝光良好的图像。本文的其余部分结构如下：第2节介绍了所提出的具有引导源的稳健各向异性扩散模型；第3节详细描述了用于处理不均匀且光照不足图像的完整增强框架；第4节汇报了实验测试结果；第5节则总结了研究成果并提出了未来的研究方向。模型描述 设定S(x, y)为定义在矩形区域Ω上的输入灰度图像函数，L(x, y, t)则表示在时间t>0时S(x, y)的照明成分（属于Retinex分解理论范畴）。所提出的模型即为具有引导源的各向异性扩散方程，其表达式如下：?L?t(x,y,t)=αdiv(g(D(L)κ(x,y))?L)+β(L^(x,y)?L)，该方程的初始条件及Neumann边界条件分别为：L(x,y,0)=S(x,y)以及?L?τ→|?Ω=0，其中τ→表示?Ω（即图像边界）的外法线方向。在上述方程中，α、β>0为常数。针对不均匀/低光图像的增强算法 本节首先讨论输入图像的颜色空间选择问题，随后介绍我们提出的用于增强不均匀/低光彩色图像的算法。由于我们的扩散模型[1]仅适用于灰度图像，因此在处理RGB图像时必须选择合适的颜色空间。以往的研究中，常见的做法是将图像转换为HSV（色调、饱和度、明度）颜色空间，然后仅对V通道进行增强处理。然而，H通道以及...实验结果 硬件配置：所有对比实验均在配备Intel Core i7-11800H处理器和16GB内存的MATLAB R2020a系统中完成。对于基于学习的方法，所有实验均在NVIDIA Tesla V100（32GB显存）GPU上执行。测试数据：共采用了五个常用的低光图像数据集进行评估，分别为LLI[26]、DICM[4]、NPIE-MLLS[40]、MEF[41]、VV[42]以及LOL[5]。LLI数据集包含了30幅在不同光照条件下拍摄的、具有较高挑战性的不均匀低光图像。结论 本文提出了一种基于Retinex的曝光校正算法，该算法结合了稳健各向异性扩散、照明引导机制以及多曝光处理技术，可用于提升不均匀且光照不足的图像质量。所提出的稳健各向异性扩散项采用了基于高斯差分算子的结构检测器以及基于结构特性的新局部相干性度量方法，这使得该算法能够准确区分结构信息与纹理特征。此外，扩散系数由Huber函数来确定...未标注引用 缺少相关引用。图A.1C RediT作者贡献说明 王浩然：概念设计、方法论研究、软件开发、验证分析、实验设计、数据整理、初稿撰写、可视化处理。何川江：资源提供、项目指导、论文审阅与编辑、项目管理工作。利益冲突声明 作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。