感知拉伸与多特征融合技术在增强夜间图像质量中的应用

《The Knee》：Perceptual Stretch and Multi-feature Fusion for Enhancing Nighttime Images

针对低光照图像的亮度低、对比度不足、细节模糊及色偏问题，提出基于感知拉伸与多特征融合的PSMF框架。通过多尺度卷积引导滤波提取分层频域特征，自适应感知直方图均衡化结合频率裁剪技术增强对比度，金字塔变换优化细节，多权重约束融合整合特征并校正色偏，实验表明该方法在公开数据集上显著优于现有方法，有效提升图像质量及后续计算机视觉任务性能。

　　

摘要

在次优照明条件下获取的图像通常具有较低的亮度、对比度，细节模糊以及颜色失真。为了解决这些问题，我们提出了一种基于感知拉伸和多特征融合的图像增强框架，称为PSMF。具体来说，我们开发了一种多尺度卷积引导滤波器，以充分探索不同尺度和层次上的频率信息。同时，我们提出了一种自适应感知直方图均衡化方法，该方法利用频率裁剪技术和视觉感知来进行对比度拉伸；此外，还采用了金字塔变换来增强图像细节。随后，我们采用了一种多权重图约束融合策略来整合这些不同的特征图，并通过线性颜色校正模型根据图像的特点进一步消除颜色偏差。在多个公开基准测试上的广泛实验表明，我们的PSMF在生成无伪影、全局对比度高、色彩鲜艳且细节清晰的图像方面优于现有的先进方法。实验还表明，我们的方法在高级计算机视觉任务（如特征点匹配和人脸检测）中显著提高了性能。

引言

智能设备在次优照明条件下拍摄的图像存在细节模糊、亮度低和颜色偏差的问题，这给用户带来了不良的视觉体验，并限制了其在图像分类、图像分割等任务中的应用[1]、[2]、[3]。图像增强技术可以有效恢复图像质量，使其接近原始的退化状态，这对于医学图像处理[4]、[5]、去雾[6]、水下图像处理[8]等领域非常有用。

为了解决这个问题，从不同角度提出了许多低光图像增强（LLIE）方法，包括基于直方图均衡化的方法[10]、[11]、基于物理模型的方法[12]、[13]、[14]、图像融合方法[15]以及基于学习的方法[16]、[17]、[18]。前三种方法可以从相应的低光照图像中重建出视觉上令人满意的图像，适用于资源有限的环境。然而，基于物理模型的方法（如大气散射模型、Retinex理论和去雾模型）在颜色校正和细节增强方面存在不足[19]、[20]。基于直方图均衡化的方法包括全局直方图均衡化（GLE）和局部直方图均衡化（LHE），它们可以通过传递函数在全局或局部范围内拉伸图像像素，但可能会导致局部过度增强和不自然的视觉效果。图像融合[21]可以将多张图像的不同特征以特定方式整合到一张图像中，从而全面利用这些图像的互补性和相关性。基于学习的方法[22]、[23]具有强大的端到端学习能力，可以从原始数据中学习特征表示，而无需手动设计特征。然而，深度神经网络的训练需要大量的计算资源和时间，这使得它们在资源受限的环境中不如传统方法有效。

在本文中，我们提出了一种基于感知拉伸和多特征融合的PSMF方法，用于改善低光图像的质量。该方法从三个方面处理低光图像：对比度拉伸、细节增强和颜色校正，以生成视觉上令人满意的图像。具体而言，我们首先使用多尺度卷积滤波器以迭代分解的方式探索输入图像在不同尺度和层次上的频率信息。然后，我们引入了基于频率裁剪技术和视觉感知的自适应感知直方图均衡化方法，以及金字塔变换来提高图像的对比度和细节。最后，我们采用多权重图约束融合策略来整合这些不同的特征图，从而生成细节更清晰、对比度更高的图像。此外，我们还提出了一种自适应线性颜色校正模型来处理颜色偏差。图1展示了从多个公开基准测试中随机选取的我们方法处理后的图像结果。直观地说，经过处理的图像始终具有高质量和令人满意的视觉效果，这得益于我们巧妙的设计。

总结来说，我们的贡献如下：

1. 我们提出了一种多尺度卷积引导滤波器，通过迭代分解的方式探索输入图像在不同尺度和层次上的频率信息，与现有方法相比，我们的方法在多尺度特征提取和表示方面表现出更强的能力。

2. 我们提出了一种基于视觉感知和频率裁剪的自适应感知直方图均衡化方法，用于对比度调整。与传统直方图均衡化方法相比，我们的方法能够有效解决高频像素的过度增强和低频像素的合并问题。

3. 我们提出了一种多权重图约束融合策略，结合了拉普拉斯对比度、局部显著性、曝光度和梯度信息来重建视觉上令人愉悦的图像。此外，我们还提出了一种自适应线性颜色校正模型来消除融合图像的颜色偏差。

相关研究

相关工作

低光图像增强技术已经经过了多年的研究，这些方法大致可以分为传统方法和基于学习的方法。在本节中，我们将简要回顾这些LLIE方法。

方法论

在本节中，我们提出了一种新颖的方法来处理低光图像的亮度低、对比度低、细节模糊和颜色偏差的问题。如图2所示，所提出的PSMF包括五个部分：迭代分解（ID）、对比度拉伸（CS）、细节增强（DE）、采用多权重图约束融合策略的多图像融合（MWMF）和颜色校正（CC）。具体来说，我们首先在基于ID的方法中探索多尺度层次频率特征

实验结果与分析

在本节中，我们首先分析了PSMF的实验设置和参数敏感性。然后，我们在公开基准测试中对我们的方法进行了定性和定量评估。最后，我们还进行了消融研究、计算复杂度分析和应用测试。此外，我们还讨论了PSMF的泛化能力和鲁棒性及其局限性。

结论

我们提出了一种低光图像增强方法，该方法能够通过细节增强、对比度拉伸和颜色校正来处理低光图像。我们引入了一种多尺度卷积引导滤波器来探索不同尺度空间上的多尺度层次频率特征，并使用多权重融合策略来整合多个特征图。在各种公开基准测试上的广泛实验表明，我们的方法在低光图像增强方面表现出了令人满意的性能

CRediT作者贡献声明

卢浩翔：撰写——原始草案、方法论、概念化。方天乐：撰写——原始草案、方法论、数据整理。刘振兵：撰写——审阅与编辑、撰写——原始草案、方法论。张卫东：方法论、形式分析。兰如诗：撰写——审阅与编辑、验证。

利益冲突声明

作者声明他们没有已知的财务利益冲突或个人关系可能影响本文报告的工作。

致谢

本工作部分得到了国家自然科学基金（82272075, 62462017）、广西自然科学基金（2025GXNSFBA069390）和广西中青年教师基础能力提升项目（2025KY0252）的支持。