基于混合显式-隐式语义引导的低光照图像增强

《Sensors》：Low-Light Image Enhancement Guided by Hybrid Explicit-Implicit Semantics

　　

低光照图像增强（Low-Light Image Enhancement, LLIE）本质上是一个恢复问题而非亮度调整任务，其目标是从低信噪比条件下捕获的图像中恢复底层场景信息。然而，现有大多数方法采用全局统一的增强方案，忽略了不同语义区域之间的退化差异，限制了整体性能。最近的语义引导LLIE方法常常忽视了低光照退化如何损害语义先验的保真度，从而阻碍了它们利用语义信息。为了解决这些问题，研究人员提出了一种隐式语义引导分支，该分支采用光照增强模块（Light-up Module, LM）和特征对齐模块（Feature Alignment Module, FAM）来获取准确的语义特征并将其自适应地集成到特征表示空间中。此外，研究人员引入了一个显式语义引导分支，利用SAM 3获得的精确语义图构建语义引导像素一致性损失（Semantic-Guided Pixel Consistency Loss），以缓解跨数据集标签空间差异导致的分割误差。同时，研究人员精心设计了一个低光照退化模型来合成训练数据，并采用了预训练策略，使网络能够学习细粒度的语义感知亮度映射。基于这些组件，研究人员开发了一个混合显式-隐式语义引导框架。大量实验表明，该方法在图像质量、噪声抑制和结构保持方面优于现有最先进的方法。

论文解读：基于混合显式-隐式语义引导的低光照图像增强

1. 研究背景与现存问题

低光照图像增强（Low-Light Image Enhancement, LLIE）旨在从低信噪比条件下拍摄的图像中恢复潜在的场景信息，这本质上是一个图像恢复问题，而非简单的亮度调整。然而，现有的大多数深度学习方法倾向于采用全局统一的增强方案，忽略了不同语义区域（如天空、植被、人脸等）在退化程度上的显著差异，从而限制了模型的性能上限。尽管已有研究尝试引入语义信息来引导增强过程，但这些方法普遍面临两大挑战：其一，直接将预训练的语义分割模型应用于严重退化的低光照图像，会得到不可靠的语义特征或语义图，因为高级视觉模型本身难以从低质量输入中提取准确信息；其二，即使使用干净图像推断语义图，由于分割数据集与LLIE数据集的标签空间不匹配，也会引入分割错误，削弱语义监督的有效性。因此，如何获得鲁棒且准确的语义先验，并有效利用它们指导图像恢复，成为提升LLIE性能的关键。

2. 研究方法概述

为解决上述问题，研究人员提出了一个混合显式-隐式语义引导框架。主要关键技术方法包括：

• •
  隐式语义引导分支：采用对比语言-图像预训练（Contrastive Language-Image Pre-Training, CLIP）的图像编码器作为鲁棒的语义特征提取器，并设计了光照增强模块（Light-up Module, LM）对低光照图像进行预处理以提高特征可靠性，以及特征对齐模块（Feature Alignment Module, FAM）将语义特征与恢复网络的特征空间对齐。
• •
  显式语义引导分支：利用SAM 3（Segment Anything Model 3）从干净图像生成精确的语义图，并据此设计了语义引导像素一致性损失（Semantic-Guided Pixel Consistency Loss）。该损失结合线性权重策略，对不同语义区域提供差异化监督。
• •
  物理驱动的退化模型与预训练策略：基于物理成像原理和噪声建模，设计了一个在RAW域模拟低光照退化的管道，使用RGB500数据集中的500张干净室外图像合成配对数据，并结合语义损失进行预训练，使网络学习语义感知的亮度映射。

3. 研究结果

• •
  定量评估（Quantitative Evaluation）：在LOLv1、LOLv2-real和LOLv2-synthetic三个基准数据集上，所提方法在峰值信噪比（Peak Signal-to-Noise Ratio, PSNR）、结构相似性指数（Structural Similarity Index Measure, SSIM）和学习感知图像块相似度（Learned Perceptual Image Patch Similarity, LPIPS）指标上均全面超越了Zero-DCE、RUAS、MIRNet、SNRNet、PairLIE、LLFormer、Retinexformer和CIDNet等八种现有最先进方法。例如，在LOLv1数据集上，PSNR提升了0.3 dB，SSIM提升了0.0139，LPIPS降低了0.0212。在无参考数据集MEF和LIME上，该方法在盲/无参考图像空间质量评估器（Blind/Referenceless Image Spatial Quality Evaluator, BRISQUE）和多维度注意力网络图像质量评估（Multi-dimension Attention Network for Image Quality Assessment, MANIQA）指标上也取得了最佳表现。
• •
  定性评估（Qualitative Evaluation）：可视化结果显示，该方法在有效提升可见度和对比度的同时，能更好地抑制噪声、校正颜色失真，并在不同语义区域实现自适应的去噪效果，避免了全局均匀增强导致的过平滑或欠平滑问题。
• •
  消融研究（Ablation Study）：
  • •
    隐式引导消融：在LOLv1上，单独加入CLIP编码器使PSNR提升0.19 dB；进一步加入LM，PSNR提升至0.33 dB；联合使用LM和FAM后，PSNR提升达0.84 dB，验证了各组件逐步提升语义特征可靠性与对齐效果的作用。
  • •
    显式引导消融：仅使用退化模型进行预训练，PSNR提升0.85 dB；结合隐式引导分支后，PSNR提升0.9 dB；最终完整框架（含显式和隐式分支）取得0.99 dB的PSNR增益，证明了两个分支的互补性。同时，消融实验证实了语义标签权重w_c在语义引导像素一致性损失中的关键作用。
  • •
    框架通用性验证：将该框架应用于NAFNet和Restormer两种基线模型，均观察到一致的性能提升，例如在Restormer上PSNR提升0.31 dB，在NAFNet上PSNR提升0.99 dB，表明该混合语义引导范式具有良好的泛化能力。

4. 讨论与结论

研究人员在讨论部分指出，当前工作仍存在若干局限性：语义引导像素一致性损失中的权重策略较为简单，未考虑区域间的恢复难度或重要性差异；仅依赖RGB500数据集进行合成预训练可能引入场景分布偏差，限制了对未见场景的泛化能力；在极端欠曝光或噪声污染下，隐式分支的效果受限于预训练编码器的鲁棒性，原始信息的不可逆损失可能导致语义特征提取失败。

研究结论总结如下：本工作从语义角度研究了低光照图像增强问题，并证明有效的语义引导不仅取决于语义先验的可用性，还取决于其在严重退化条件下的可靠性。为此，研究人员提出了一个混合显式-隐式语义引导框架，通过互补形式利用语义信息。隐式分支通过光照增强模块和特征对齐模块提高了语义特征的可靠性和兼容性，而显式分支则基于精确分割图和合成低光照数据引入了语义区域感知的监督。这些设计使网络能够超越全局统一增强，学习更适应不同语义区域的恢复行为。大量实验表明，该方法在多个数据集上的图像质量、噪声抑制和结构保持方面均取得了持续改进。