HVIFormer：一种基于HVI（Horizontal/Vertical-Intensity）表示的双阶段低照度图像增强方法

《Applied Sciences》：HVIFormer: A Dual-Stage Low-Light Image Enhancement Method Based on HVI Representation Yimei Li, Liuhong Luo and Hongjun Li

　　

低照度图像增强旨在提升视频监控与图像分析的视觉质量，长期以来一直是图像处理领域的热点课题。然而，当前该方向的研究面临一个严峻挑战：如何在提升亮度与维持色彩一致性的同时有效抑制噪声。这一问题在极暗场景下尤为突出，暗区噪声放大、曝光不均与色彩偏移往往相互交织，导致细节丢失与色彩失真。为解决上述难题，研究人员提出了一种基于HVI（Horizontal/Vertical-Intensity）颜色空间的双阶段低照度增强框架。首先，将低照度图像映射至HVI空间，提取强度分量I作为强度先验，并获取基于HVI的特征图。随后，引入基于Transformer的预恢复模块进行全局依赖建模，通过强度条件块（ICB）以强度先验I为指导进行条件特征交互。继而，采用双分支增强网络，利用轻量级的互补交叉注意力（CCA）块进行亮度精修与色彩去噪。最终，将增强后的图像重新映射回sRGB颜色空间。该框架将全局亮度恢复与特征预处理，同细节增强与色彩精修进行解耦，显著提升了模型在极暗与高噪场景下的稳定性。通过在多个低照度数据集上进行18项定量与定性实验，研究人员证实所提方法在暗噪声抑制与色彩还原方面均展现出卓越性能。

论文解读

研究背景与意义

低照度图像常见于光照不足的环境，受环境光微弱、传感器噪声及曝光不均等因素影响，常表现为暗区细节缺失、噪声放大及色彩失真。此类图像广泛存在于夜间监控、自动驾驶、机器人技术、移动摄影及医学成像等领域，其可见度的降低严重阻碍了视觉质量与下游视觉任务的执行。因此，低照度图像增强（LLIE）旨在通过改善亮度与对比度、恢复隐藏细节、校正色彩并抑制噪声，从而输出感知愉悦的图像，且需避免过曝或色彩偏移。现有LLIE方法主要面临两大挑战：一是颜色空间的适应性局限，传统空间（如HSV）在低光下鲁棒性不足，色相轴不连续及低强度噪声易诱发色彩伪影与明显色偏；二是特征建模中性能与效率的平衡难题，卷积神经网络（CNN）虽擅长局部细节但难以建模长距离依赖，而Transformer虽能改善全局一致性但计算开销巨大。为此，发表在《Applied Sciences》的这篇论文提出HVIFormer框架，通过引入可训练的HVI表示与双阶段协同设计，致力于解决极暗场景下的增强难题。

关键技术方法

研究人员构建了HVIFormer双阶段增强框架。第一阶段为强度条件Transformer预恢复，核心在于将输入的sRGB图像通过HVI变换（HVIT）分解为全局强度图I与HVI特征图，利用多尺度U型结构中堆叠的强度条件块（ICB）与强度条件多头自注意力（IC-MHSA），实现内容与强度的双向交互更新。第二阶段为双分支精修增强，接收第一阶段的输出，利用包含六个轻量级互补交叉注意力（CCA）块的U-Net架构，分别处理强度分支（I分支）与色彩结构分支（HV分支），并通过跨注意力块（CAB）、强度增强层（IEL）与色彩去噪层（CDL）实现两分支的信息交互与协同优化。最终，通过感知逆HVI变换（PHVIT）将增强后的HVI特征稳定映射回sRGB空间。研究在LOLv1、LOLv2、DICM、LIME、MEF、NPE、VV、SICE及Sony-Total-Dark等多个基准数据集上对模型进行了训练与评估。

研究结果

数据集与实验设置

研究人员在包含配对真实图像的LOL系列数据集、无配对图像的DICM等五个数据集、极端低光的SICE与Sony-Total-Dark数据集上进行了全面测试。实验采用PyTorch框架，使用Adam优化器与余弦退火策略调整学习率，并在NVIDIA RTX 4090或3090 GPU上完成训练与推理。

定量比较结果

在LOL数据集上，HVIFormer在所有三个基准测试中均取得了最优的峰值信噪比（PSNR）与结构相似性（SSIM）值，且学习感知图像块相似度（LPIPS）值最低。在无配对数据集上，该方法取得了3.395的最优平均自然图像质量评估器（NIQE）得分。在极端低光数据集上，SICE数据集的PSNR达到21.079 dB，Sony-Total-Dark数据集的PSNR达到24.234 dB，均实现了显著提升。

定性比较结果

视觉对比表明，相较于传统基于Retinex的方法，HVIFormer具备更优的全局曝光控制能力，在显著提升暗区亮度的同时，有效规避了过增强、光晕及局部亮度不连续引发的视觉伪影。在面对无配对数据集的真实挑战时，该方法较常见的端到端sRGB空间增强网络更能有效抑制暗区噪声与纹理畸变，成功消除了增强过程中常见的黄绿等异常色偏。

消融实验

消融实验证实了各核心组件的必要性。单独保留第二阶段会导致过增强，单独保留第一阶段则纹理色彩恢复受限。移除强度条件块（ICB）会削弱光照基线并引发色偏，移除强度条件多头自注意力（IC-MHSA）会导致暗区噪声与局部过曝，移除互补交叉注意力（CCA）则会损害细节与色彩恢复能力。这验证了双阶段解耦设计与跨模块交互的协同增效作用。

讨论与结论

研究人员在讨论中指出，尽管HVIFormer取得了良好的增强效果，但模型参数量较大且计算成本高，在处理高分辨率图像时耗时较长。此外，图像在颜色空间转换间可能导致信息丢失，缺乏对此问题的深入理论分析是本文的局限性之一。尽管如此，该框架展现出良好的可扩展性，未来可探索应用于视频增强任务，并利用时间信息进行跨帧增强，以进一步提升单帧视觉质量并有效降低运动模糊与光照变化的影响。除了低照度增强，该框架还可能惠及不良光照下的下游视觉应用，如基于无人机的建筑工地钢筋计数检查与建筑立面分析。

综上所述，为提高低照度图像增强质量，研究人员提出了一种基于图像HVI颜色空间的新型双阶段深度学习框架。该方法为追求高质量增强且兼顾适中模型参数的用户提供了替代方案。消融实验表明，所提方法的各个模块对低照度图像增强均有显著效果。对比实验结果证实，根据视觉效果与10项量化指标，HVIFormer优于10种现有的先进方法；特别是在暗区噪声抑制与色彩还原方面展现出极高的稳定性，有效避免了过曝、色偏与细节丢失等常见问题。