AdaptDiff：一种用于低光照图像增强的自适应扩散学习方法

低光图像增强中，AdaptDiff方法通过自适应高阶映射曲线（AHMC）和多尺度结构引导（MSGD）模块解决非均匀光照和泛化能力不足问题，实验表明其性能优于现有方法并具备良好泛化性。

　　

摘要

从低光照图像中恢复被噪声掩盖的细节是一项具有挑战性的任务。最近的扩散模型在低级视觉任务中取得了相对有希望的结果。然而，仍然存在两个问题：（1）在非均匀照明条件下，无法高质量地恢复低光照图像；（2）这些模型的泛化能力有限。为了解决这些问题，本文提出了一种由多尺度结构扩散（AdaptDiff）引导的自适应增强算法。AdaptDiff在扩散过程中使用自适应高阶映射曲线（AHMC）对图像进行逐像素映射，从而调整图像不同区域之间的亮度水平。此外，还提出了一种多尺度结构引导方法（MSGD）作为隐式偏差，向模型的中间层提供有关图像结构特征的信息，有助于更有效地恢复清晰图像。通过结构信息引导扩散方向有助于即使在面对模型之前未遇到的数据时也能保持良好的性能。在流行的基准测试上进行的大量实验表明，AdaptDiff在性能和效率上均表现出色。

引言

在低光照图像增强（LLIE）的早期发展中，常用的方法通常包括直方图均衡化和Retinex理论（Pizer等人，1987年）来增强图像。这些方法依赖于大量的先验信息，导致泛化能力较差。与传统方法相比，基于学习的增强方法通常将卷积神经网络（CNN）纳入其框架中。虽然这些方法表现出更好的泛化能力，但它们难以保持视觉保真度。因此，一些方法尝试使用生成对抗网络（GAN）来获得更好的视觉效果。例如，EnlightenGAN（Jiang等人，2021年）结合了GAN和精心设计的自正则化感知损失进行配对学习。与GAN相比，扩散模型表现出更好的稳定性和可控性。扩散模型可以通过最小化凸回归损失有效地解决鞍点问题，这使得扩散模型在训练过程中更加稳定，并能更好地控制生成图像的质量和多样性。在最近的发展中，扩散模型（Ho等人，2020年）在低级视觉任务（如超分辨率重建、图像去噪和图像恢复）中表现出色。同时，Wang等人提出了LLDiffusion（Wang等人，2023a），将扩散模型引入低光照图像增强领域，并取得了出色的恢复效果。

尽管有多种方法可以增强低光照图像，但目前的方法往往无法在非均匀照明条件下获得令人满意的增强效果。此外，由于数据集可用性的限制，现有模型的泛化能力需要进一步提高。

为了解决这些挑战，我们提出了一种自适应扩散学习解决方案（AdaptDiff）。该方案借鉴了展开的扩散采样策略，将自适应高阶映射曲线嵌入到扩散框架中。调整大动态范围图像的亮度信息被视为扩散生成器的辅助任务，允许以渐进的方式进行交互式调整。我们通过使用并行的空间和通道注意力机制构建了我们的亮度感知模块。该模块编码提取的亮度特征，并将其用作高阶映射曲线的指导。此外，我们还提出了一个有效的模块，将输入图像投影到多尺度结构表示上，以指导扩散过程，从而提高模型的泛化能力。实验结果表明，AdaptDiff在多个低光照图像测试集上始终表现出色，超过了最先进的方法。图1展示了AdaptDiff与最先进方法的定量比较。

总之，本工作的贡献有三个方面：

• •
  我们提出了一种在反向扩散过程中的嵌入式逐步增强方法（AHMC）。我们设计了一种自适应映射曲线，用于逐像素映射图像像素。该曲线作为辅助任务，有效抑制了图像中的高光部分，同时增强了逆向采样的效果。
• •
  我们引入了一个有效的引导模块（MSGD），将输入图像投影到多尺度结构表示上，然后将其作为辅助先验来增强扩散模型的鲁棒性。
• •
  在公开的LOL-v1、LOL-v2和UHD-LL测试数据集上的广泛实验结果表明，所提出的AdaptDiff显著优于现有的低光照图像增强方法。此外，AdaptDiff能够很好地泛化到未见过的噪声和照明分布。

相关工作

相关工作

我们提出的方法适用于低光照图像增强，主要涉及扩散模型和曝光校正。以下部分将详细介绍这些方面。

使用扩散模型的原因

扩散模型展示了出色的生成能力，能够合成高分辨率和细节丰富的图像。它们已被广泛应用于各种低级视觉任务，如超分辨率重建、图像去雾和图像去雨。最近，像DiffLL（Jiang等人，2023年）和PyDiff（Zhou等人，2023年）这样的方法成功地利用扩散模型进行了低光照图像增强（LLIE），取得了有希望的结果。

泛化到未见过的领域

扩散模型通常利用大量

实现细节

本节将介绍训练期间的参数设置以及在不同数据集上的结果。AdaptDiff使用PyTorch框架实现，并在两个NVIDIA GeForce RTX 3090 GPU上进行了训练和测试。在训练之前，采用了热身策略来有效激活网络参数。在训练过程中，AdaptDiff网络的批量大小设置为16。Adam优化器用于可训练参数的迭代更新，初始学习率为

结论

在本文中，我们提出了一种用于低光照条件的图像增强方法AdaptDiff，该方法基于扩散模型。该方法根据图像的亮度特征建立自适应映射曲线，有效增强了非均匀照明条件下的图像。此外，自适应映射曲线模块以嵌入式方式集成到扩散模型过程中。此外，该模型还结合了多尺度结构引导扩散模块

CRediT作者贡献声明

邵晓涛：概念化、方法论。张贵鹏：撰写——原始草稿、软件。沈燕：资金获取、撰写——审阅与编辑。张博宇：验证。王忠利：验证、数据管理。孙彦龙：项目管理、资源。

利益冲突声明

所有作者均未披露任何相关关系。

致谢

本工作部分得到了教育部设备预研联合基金 （8091B022121）和国家科技创新2030（STI2030）重大项目 （2022ZD0205005）的支持。