《Optics & Laser Technology》:RNE Net: Regional noise excitation network for low-light image enhancement
编辑推荐:
摘要在低光照条件下,传感器接收到的光子数量大幅减少,导致图像质量退化。此类图像通常受到噪声和信号不确定性的影响,进而损害模型在训练过程中的鲁棒性。大多数现有方法聚焦于学习从低光照图像到正常光照图像的确定性映射。然而,这种范式往往导致模型过拟合特定的输入分布,阻碍其捕获增强过程
摘要
在低光照条件下,传感器接收到的光子数量大幅减少,导致图像质量退化。此类图像通常受到噪声和信号不确定性的影响,进而损害模型在训练过程中的鲁棒性。大多数现有方法聚焦于学习从低光照图像到正常光照图像的确定性映射。然而,这种范式往往导致模型过拟合特定的输入分布,阻碍其捕获增强过程的内在不确定性,最终限制其在真实场景中的泛化能力。为了解决这一局限性,我们提出了一种用于低光照图像增强的区域噪声激励网络。其核心思想是注入特定噪声以扩展不确定性空间。这一过程引导网络在优化过程中识别并保留有益的信号扰动,从而将不确定性转变为提升泛化性能的内在驱动力。具体而言,引入了一种区域噪声注入模块,以可控的方式向低光照图像的低照明区域注入噪声。此外,我们提出了一种最优响应优化方法,通过选择最优先验知识来引导网络学习。该方法首先从各种噪声输入的推理结果中选择最优输出,增强网络对多样噪声模式的适应性。然后,利用这些高质量响应进行最优响应自蒸馏,引导网络趋向更干净的特征表示。这迫使网络获取更鲁棒的先验,使其在去噪过程中更好地恢复低信息区域的细节。大量实验表明,所提方法显著提升了增强性能,并达到了当前最优水平。
引言
在低光照环境中,传感器曝光不足不可避免地导致空间细节的严重丢失和显著的色彩失真。此类退化不仅损害视觉质量,还对下游视觉任务的性能提出了严峻挑战[1],包括目标检测、语义分割和人脸修复[2]。随着弥合底层图像恢复与高层语义理解之间鸿沟的需求日益迫切,低光照图像增强(LLIE)已成为近年来备受关注的研究焦点[3],旨在抑制噪声、恢复结构完整性并提升亮度,从而为在复杂条件下运行的视觉系统提供可靠的输入。
低光照图像增强旨在从欠曝光输入中恢复曝光正常的图像,这本质上是一个经典的病态逆问题[4]、[5]。早期基于CNN的方法擅长恢复欠曝光区域的局部细节[6],但其有限的感受野限制了建模全局照明的能力。为缓解这一问题,一些研究引入多尺度特征融合以捕获更广泛的上下文信息[7],但这些方法仍受到卷积操作固有局部性的制约。最近,基于Transformer的方法利用自注意力建模长距离依赖关系,实现了全局照明和色彩的更好恢复,但在细粒度局部结构的表示方面较弱。为解决这些局限性,多种方法采用先验引导的融合策略[8],结合CNN和Transformer特征,在亮度、细节和纹理方面实现平衡恢复。此外,为增强可解释性,一些方法引入Retinex理论将图像分解为照明和反射率分量[9],另一些方法则采用频域分解来分离幅度和相位[10]。这些分解策略为联合建模全局照明和局部纹理提供了互补的归纳偏置。
尽管有监督的深度学习方法取得了重大进展,但大多数现有方法[9]、[11]学习的是从低光照图像到正常光照图像的确定性映射。然而,这种范式存在一个根本性局限:它迫使本质上不确定的输入对应于单一的确定性预测。在实践中,低光照图像受到严重的噪声和信号模糊的破坏,使增强过程本质上成为病态问题。因此,确定性映射不足以建模和传播这种不确定性。结果,模型倾向于过拟合特定的训练分布,这大大限制了其在复杂多样的真实场景中的泛化能力。
为了解决上述挑战,我们引入了一种用于低光照图像增强的区域噪声激励网络。具体而言,我们的方法包含三个组成部分。首先,考虑到低光照图像本身包含丰富的噪声统计信息,我们推导出一个动态可学习的阈值,以自适应地刻画不同区域的噪声。该阈值随后被用于识别噪声注入区域,这些区域作为结构化噪声模式被重新注入输入中,以多样化输入空间。最后,通过使用最优网络输出作为指导,鼓励模型学习更鲁棒的图像增强表示。大量实验表明,所提方法显著提升了增强性能,建立了新的最优(SOTA)结果。主要贡献总结如下:
- •
我们提出利用可控的低照明区域噪声作为探测工具,评估网络在多样输入状态下的性能。与大多数将噪声视为纯粹有害成分的增强方法不同,我们将噪声视为生成高质量伪监督信号的关键工具。
- •
我们引入最优响应优化,利用最优网络输出引导网络学习。而非学习静态的一对一映射,这一过程使网络能够在多样扰动下反思其性能,并从自身的行为变化中提炼出更鲁棒的映射关系。
- •
大量实验证明了其有效性,持续提供最优(SOTA)性能。
章节摘要
低光照图像增强
在低光照条件下拍摄的图像通常遭受各种形式的退化,如曝光不足和复杂的环境干扰,导致细节模糊、锐度降低、对比度低和色彩饱和度差。这些退化严重阻碍了下游视觉任务[1]、[12],包括目标检测、变化检测和语义分割。为此,LLIE旨在学习从低光照条件到正常光照条件的映射,从而提高
方法论
在本工作中,我们提出了一种用于低光照图像增强的区域噪声激励网络,以下简称RNE Net,如图1所示。它由三个主要部分组成:共享特征提取器、区域噪声注入模块(RNIM)和最优响应优化(ORO)。特征提取器用于将低光照输入映射为正常光照输出。为了更好地捕获图像中的长距离依赖关系,我们采用U型Transformer网络进行特征
实验结果
在本节中,我们通过大量实验验证所提方法的有效性。在此之前,我们描述实验设置,包括数据集、评估指标和实现细节。
结论
本文介绍了一种用于低光照图像增强的区域噪声激励网络。提出了一种区域噪声注入模块,以可控的方式向低光照图像的低照明区域注入噪声。为进一步增强学习,提出了一种最优响应优化方法,从多个噪声输入中识别网络最准确的输出,使其能够专注于这些信息丰富的案例。提出最优响应自蒸馏,利用这些高质量
CRediT作者贡献声明
程凤娜:撰写——审阅与编辑,撰写——初稿,软件,方法论,形式化分析,概念化。陈伟龙:撰写——初稿,软件,方法论,形式化分析,概念化。秦阳:撰写——初稿,软件,形式化分析。蒋胜勤:撰写——审阅与编辑,形式化分析。周洪平:撰写——审阅与编辑,监督指导。
利益冲突声明
作者声明不存在任何已知的竞争性经济利益或个人关系,这些关系可能会影响本文所报告的工作。
程凤娜|陈伟龙|秦阳|蒋胜勤|周洪平