融合通道对比注意力与双层多尺度扩散的大规模地球观测图像色彩平衡

《Neurocomputing》：Fusion channel contrast attention and dual-layer multi-scale diffusion for color balance of large-scale earth observation imagery

　　

摘要
确保大规模地球观测影像的色彩平衡对于土地利用覆盖监测和变化检测等应用至关重要，但由于大气条件和照明的变化，这仍然具有挑战性。为了解决此类场景下的色偏和纹理退化问题，我们提出了一种双层级多尺度扩散色彩平衡网络（BiSDNet）。该框架采用双层 U 型扩散架构，以逐步恢复色彩平衡图像。一种监督注意力机制引导恢复过程朝向色失真区域，而自适应特征聚合模块则实现了网络两层之间的有效多尺度特征融合，从而改善了结构保持和辐射一致性。在遥感色彩平衡基准 ZHCBI 上的大量实验表明，BiSDNet 在比较方法中实现了 27.20 dB 的最佳 PSNR，同时保持了具有竞争力的 SSIM。在 LOLv1 和 LOLv2-real 低照度数据集上的额外测试进一步展示了其在不同图像恢复场景下的跨域泛化潜力。消融研究和额外的区域级分析进一步验证了所提出组件在提高恢复质量、色彩一致性和视觉稳定性方面的有效性。

引言
卫星技术的进步使得大规模获取地球观测（EO）影像成为可能，这些影像是环境监测 [1], [2] 和地理空间分析 [3] 的基础资源。然而，这些图像的辐射质量通常因照明不一致、大气效应和传感器特性而受损，导致不同场景中出现明显的色偏。这种色彩不一致不仅引入了视觉伪影，还对自动解释系统构成了巨大挑战，不利影响土地利用分类 [4] 和对象检测 [2], [5] 等关键应用的准确性。为了实现可靠的大规模分析，开发能够有效缓解这些图像间差异的高级色彩平衡方法是当务之急。
传统的色彩平衡方法，包括直方图操作 [6], [7] 和 HSV 变换 [8]，依赖于从简单图像统计中得出的预定义规则。尽管计算效率高，但这些方法从根本上忽略了地球观测中辐射失真背后的复杂物理过程。因此，它们无法建模由照明、大气条件和传感器特性变化引起的非线性、空间变化的伪影，限制了其在实际遥感应用中的有效性。
近年来，深度学习技术向色彩平衡领域的迁移展现出前景，从全局调整发展到区域一致的恢复。早期方法利用生成对抗网络（GANs）[9] 学习复杂的、数据驱动的色彩校正映射。例如，Gunawan 等人 [10] 在 GAN 框架内引入了风格迁移模块以增强照片真实感，而 Wu 等人 [11] 将对抗训练与色彩直方图损失相结合，以协同优化色彩和纹理。虽然功能强大，但这些方法通常基于全局或风格迁移运行，这可能忽略了场景的精确语义结构。
为了更好地捕捉长距离依赖关系和全局上下文，随后探索了基于 Transformer 的架构。像 TransGAN [12] 这样的开创性工作展示了纯 Transformer 模型在高分辨率生成方面的潜力。在此基础上，Peng 等人 [13] 专门设计了一种用于色彩保真的 U 型 Transformer，利用多尺度特征融合来提高结构一致性。这些方法标志着在超越局部补丁理解图像内容方面迈出了重要一步。
最近，扩散模型作为一种有效的图像恢复范式出现，显示出通过迭代去噪生成高保真图像的强能力。它们对复杂数据分布的建模能力已应用于低光增强 [14] 和不良天气恢复 [15] 等相关任务，显示出处理复杂辐射失真能力的巨大潜力。其他创新架构，如可逆网络 [16] 和神经预设 [17]，进一步丰富了方法工具箱。
总体而言，这些深度学习进展大大提高了图像色彩平衡方法的性能。然而，一个共同的局限性仍然存在：它们主要优化逐像素保真度或整体风格和谐，通常缺乏提高区域级色彩一致性的明确机制，这是确保大规模遥感场景中相同物体类别（例如，建筑物、水、农田）被校正为一致的彩色外观的重要要求。这种局限性在高分辨率 EO 影像中尤为明显，其中类内色彩方差破坏了分析实用性。为了解决这一挑战，我们的研究做出了两项主要贡献：
•我们提出了一种双层级多尺度扩散色彩平衡网络（BiSDNet），它在细节解码的下层流和上下文引导的上层流之间建立了协作。该架构能够在统一的扩散框架内联合建模局部细节恢复和大区域色彩调整。
•我们引入了一种双向特征交互方案，以连接上下文信息和细粒度结构。它允许下层流特征支持上层流色彩恢复，同时上层流引导改善下层流特征细化，从而增强区域级色彩一致性和结构保持。
除了方法论贡献外，我们的实验结果揭示了几项重要发现。首先，BiSDNet 在 ZHCBI 基准上持续改善辐射保真度的同时保持结构细节，在比较方法中实现了最高的 PSNR。其次，所提出的双向交互机制有效增强了区域级色彩一致性，这已通过区域色彩统计和频带分析得到验证。第三，在 LOLv1 和 LOLv2-real 数据集上的良好表现表明，所提出的框架在 EO 色彩平衡之外具有令人鼓舞的跨域泛化能力。

章节片段
相关工作
我们的研究建立在并扩展了图像色彩平衡领域的先前工作，特别关注大规模 EO 影像带来的挑战。本节沿三个关键主题回顾了文献：色彩平衡方法的演变、扩散模型在图像增强中的兴起，以及语义感知处理的新趋势。
方法
EO 图像色彩失衡通常由全局辐射偏移、大气散射和传感器响应变化引起，这些影响了大的空间区域同时保留了场景的结构布局。传统的编码器 - 解码器架构主要关注局部特征重建，可能难以捕捉遥感影像中的全局统计偏差。基于扩散的恢复框架提供了强大的生成能力，但可能引入结构
实验环境
所有实验均在配备 256 GB RAM 和两张 NVIDIA GeForce RTX 4090 GPU 的 Linux 平台上使用 PyTorch 框架进行。所提出的模型使用 Adam 进行优化，其中 ??1 = 0.9 且 ??2 = 0.999。初始学习率设为 0.001，并使用线性预热策略逐渐增加到 0.02。尽管此学习率高于生成扩散模型中常用的值，但所提出的框架更接近具有基于扩散噪声的恢复网络
结论
本文提出了 BiSDNet，一种用于大规模 EO 影像色彩平衡的双层级多尺度扩散网络。通过在上下文色彩恢复和局部细节细化之间建立双向交互机制，所提出的框架在多样的遥感场景中提高了辐射保真度同时保留了结构信息。ZHCBI 基准上的实验结果表明，BiSDNet 在比较方法中实现了最佳的 PSNR，并保持

CRediT 作者贡献声明
陈子怡（Ziyi Chen）：撰写 – 审阅与编辑，撰写 – 原始草稿，验证，监督，软件，方法论，调查，资金获取，正式分析，概念化。吴敏（Min Wu）：撰写 – 审阅与编辑，撰写 – 原始草稿，可视化，验证，软件，方法论，调查，正式分析。陈晗煌（Hanhuang Chen）：验证，软件，方法论，概念化。李迪龙（Dilong Li）：撰写 – 审阅与编辑，监督，项目管理，资金获取。

利益冲突声明
作者声明他们没有已知的竞争性经济利益或个人关系可能影响本文报道的工作。

致谢
本工作由福建省自然科学基金（编号：2023J01135）、国家自然科学基金委员会（编号：62001175）、华侨大学中央高校基本科研业务费（编号：ZQN-911）、国家自然科学基金委员会（编号：42201475）、福建省自然科学基金（编号：2021J05059）、中国厦门市自然科学基金（编号：3502Z202571033）和华侨大学科研基金支持。

陈子怡（Ziyi Chen） IEEE 高级会员 于 2016 年获得厦门大学信号与信息处理博士学位。他目前是华侨大学计算机科学与技术学院的副教授。他的当前研究兴趣包括计算机视觉、机器学习和遥感图像处理。

陈子怡 | 吴敏 | 陈晗煌 | 李迪龙 | 金购 | 陈凯 | 王诚 | Jonathan Li
华侨大学 计算机科学与技术学院，中国 厦门，邮编：361021