LumiSpec：用于保结构低光图像增强的保相位频率调制

《Neurocomputing》：LumiSpec: Phase-preserving frequency modulation for structure-preserving low-light image enhancement

　　

摘要
低光照图像增强不仅需要提高可见性，还需要可靠地保留下游机器视觉任务所需的结构线索。一个核心挑战是，现有的增强方法通常在严重光照退化下无法有效平衡结构恢复和噪声抑制，导致信息边界模糊或高频响应不稳定。为解决这一问题，本文提出了 LumiSpec，一种用于结构保持低光照图像增强的亮度引导网络。首先，设计了一个非对称亮度引导骨干网络，将大部分表示能力分配给结构恢复，同时保留轻量级色度通路以进行高效的颜色恢复。其次，在亮度分支中引入了频域幅度调制器，以执行保相位频谱调制，在不破坏空间一致性的同时重新校准退化的特征响应。最后，联合使用了低分辨率跨分支交互模块和基于补丁的自注意力模块，以在重建前对齐亮度和色度特征并细化局部结构细节。在低光照静态和真实夜间动态场景数据集上的大量实验表明，LumiSpec 始终优于来自光照调整、基于 Retinex、基于 Transformer 和基于扩散范式的竞争性最先进方法。特别是，该方法在保持低模型复杂度和快速推理的同时提高了下游检测精度，支持其作为图像识别系统的预处理组件进行实际部署。

引言
低光照图像增强对机器视觉系统至关重要，因为照明不足会严重退化后续视觉分析所需的结构线索。在自动驾驶、监控和工业检查等实际场景中，增强不仅被期望提高视觉可见性，还被期望保留支持下游识别和定位的稳定物体边界、局部结构和特征模式 [16]。然而，这两个目标并不总是一致的。现有研究表明，视觉上令人愉悦的增强不一定能转化为更好的下游检测或识别，因为激进的光度提升或感知恢复可能会扭曲机器视觉模型所依赖的局部线索 [30], [74]。因此，现代视觉系统的低光照图像增强不应仅仅被视为亮度恢复过程，而应被视为一个结构敏感的恢复问题，必须在提高可见性与可靠保留任务相关表示之间取得平衡。

一个关键挑战源于低光照退化的频率依赖性 [7]。在昏暗光照下，信噪比受到光子散粒噪声和读出噪声的强烈约束 [45], [49]，而光传输衰减进一步削弱了高空间频率 [66]。因此，随着光照减弱，变换域响应变得越来越集中，信息结构更容易与不稳定波动纠缠在一起。这种效果在视觉组件之间并不均匀 [67]。亮度携带大部分几何和边界信息，而色度主要贡献于颜色一致性，通常对结构恢复的信息量较少 [24], [71]。这些特征表明，低光照增强不应依赖于均匀的特征处理。相反，它需要一个神经网络架构，能够选择性重新校准退化的亮度表示，同时保持高效稳定的色度恢复。

现有的低光照增强方法主要分为几个代表性范式，包括光照调整 [48]、基于 Retinex 的建模 [77]、基于 Transformer 的增强 [75] 和基于扩散的恢复 [29]。光照调整和基于 Retinex 的方法通过色调映射、分解、深度展开和可学习正则化来改善非均匀光照校正 [2], [5], [12]。像 Zero-DCE [5] 这样的零参考方法通过学习像素级或区域级调整曲线提供高效增强。基于注意力和基于 Transformer 的方法进一步加强了长程依赖建模 [56]，而最近的生成和基于扩散的方法可以在严重曝光不足的情况下产生视觉上合理的结果 [17]。尽管有这些进展，大多数现有方法仍然以很大程度上均匀的方式处理低光照图像，对具有截然不同的恢复角色和统计特征的视觉组件应用可比的计算处理。这种设计倾向与跨通道和分支的网络复杂度对称分配有关 [18]，这会引入不必要的冗余，并使得在保持颜色稳定性的同时保留结构变得更加困难 [55]。

这一局限性很重要，原因有二。首先，跨所有组件的等容量处理不能反映亮度和色度对低光照恢复的不相等贡献。其次，许多现有方法优先考虑感知外观或整体图像质量，但对下游机器任务所需的结构敏感表示的控制有限。因此，增强后的图像可能看起来更亮或更自然，但不能一致地提高检测器就绪度。对于机器视觉，以特征为导向的增强、局部结构保留和协调的全局 - 局部建模通常比单独的均匀全图增强更有益。

提出的框架建立在三个耦合的设计选择之上。首先，设计了一个非对称亮度引导骨干网络，将大部分表示能力分配给结构恢复，同时保留轻量级色度通路以进行高效的颜色恢复。其次，在亮度分支中引入了保相位频域幅度调制器 (FDAM)，以在不直接干扰由相位编码的空间组织的情况下重新校准特征空间中退化的频谱响应。最后，联合使用了低分辨率跨分支交互模块和基于补丁的自注意力模块，以在重建前对齐亮度和色度特征并细化局部结构细节。通过这种方式，LumiSpec 在全连接端到端学习框架内集成了全局频谱校正、分支特征专门化和局部结构细化。

本文的主要贡献总结如下：
•提出了一种用于低光照图像增强的亮度引导非对称双分支架构，该架构根据亮度和色度的不同恢复角色分配表示能力，而不是依赖于均匀的特征处理。
•引入了保相位 FDAM 以在频谱域重新校准退化的亮度特征，并将其与跨分支特征交互和基于补丁的局部细化相结合，以共同改善全局光照校正和局部结构保真度。
•开发了一种高效的恢复架构，以低模型复杂度和快速推理实现强大的下游检测性能，使其能够作为实际机器视觉流水线中的预处理模块进行实际部署。

在低光照目标检测 (LOD) 数据集、低光照 (LOL-v1) 数据集和 OnePlus 基准测试上的大量实验证明了所提出设计的有效性和实际意义。特别是，LumiSpec 在 LOD 数据集上达到了 dB PSNR 和 UQI，在 PSNR 上比 CIDNet 高出 dB，在 UQI 上高出 ，同时在重建保真度上也比 Diff-Retinex 高出 dB。这些结果，连同改进的下游检测精度和低推理开销，支持 LumiSpec 作为实际低光照视觉系统的预处理组件的实用价值。

本文的其余部分组织如下。第 2 节回顾关于低光照图像增强和频域学习的相关工作。第 3 节提出了动机，分析低光照图像的退化特征和所提出设计的经验基础。第 4 节详细介绍了提出的 LumiSpec 框架。第 5 节报告了实验结果和消融研究。最后，第 6 节总结了全文。

章节片段
相关工作
本节回顾了与本研究最相关的前期工作。它首先总结了低光照图像形成背后的物理原理，包括光照特征、光子统计和频率传输。然后它回顾了与这些成像特征相关的 RAW 和 RGB 域中的主要增强范式。

动机
本节从两个互补的角度提出了 LumiSpec 的动机：低光照下的频率相关退化和真实数据集上的经验分布观察。目的是解释为什么低光照增强受益于执行亮度敏感频谱调制、避免对结构关键相位响应进行不必要的扰动，并协调全局校正与局部特征细化的神经网络架构。这些观察

提出的 LumiSpec 框架
本节介绍了提出的 LumiSpec 框架，一种用于低光照图像增强的端到端神经网络架构。LumiSpec 将恢复过程分解为两个协调的学习流：用于结构的亮度流和用于颜色保留的色度流。基于这种解耦表示，该框架集成了分支特定的容量分配、频域亮度调制、跨分支特征对齐和局部空间细化

实验
本节从恢复质量、颜色一致性、下游效用、计算效率和跨场景泛化等方面评估了提出的 LumiSpec 框架。实验的设计不仅是为了与代表性基准比较增强性能，也是为了验证所提出的架构组件的有效性，包括非对称分支分解、频域亮度调制和跨分支特征

结论
本文提出了 LumiSpec，一种亮度 - 色度解耦的低光照增强框架，将频域调制与空间细化相结合。结果表明，可靠的低光照感知不仅依赖于视觉上令人愉悦的恢复，还依赖于保留亮度主导的结构、边界线索和任务相关细节。频率衰减率 提供了增强过程中频谱迁移的描述性视图。其向配对的移动

CRediT 作者贡献声明
Gangyi Tian: 写作 – 初稿，可视化，方法学，调查，数据管理。Wen Ji: 写作 – 审阅与编辑，监督，资源，资金获取，概念化。Alireza Furutanpey: 写作 – 审阅与编辑，资源，方法学。Mingxuan Li: 写作 – 审阅与编辑，监督，方法学。Meng Gao: 写作 – 审阅与编辑，监督。

竞争利益声明
作者声明他们没有任何已知的竞争财务利益或个人关系，这些关系可能已经影响了本文中报告的工作。

致谢
本研究得到了国家重点研发计划 (编号：2024YFE0212000) 和江苏工业人工智能重点实验室的支持。通讯作者是 Wen Ji。

Gangyi Tian 目前是中国科学院计算技术研究所和中国科学院大学 (北京，中国) 的博士生。她的研究兴趣包括机器视觉编码、图像信号处理和低光照图像增强。

Gangyi Tian|Wen Ji|Alireza Furutanpey|Mingxuan Li|Meng Gao
国家处理器实验室，中国科学院计算技术研究所，北京，中国