具备复杂性意识的数据利用方法在照明相关图像修复中的应用

《Journal of Visual Communication and Image Representation》：Complexity-aware data utilization for illumination-related image restoration

　　• 一个模型不可知的层使得能够以对复杂性有意识的方式使用恢复数据。
• 结构复杂性和退化复杂性与数据可靠性分开。
• CPPS 改变了补丁的曝光方式；QRCR 重新权衡了裁剪和调整大小的单元。
• PSNR 的提升涵盖了低光照增强、曝光校正和阴影去除。
• 在主要设置中，训练时间增加了 2.1%，而推理过程保持不变。

**引言**
与照明相关的图像恢复旨在从因异常照明、能见度差或曝光错误而退化的输入中恢复可靠的图像。典型的任务包括图像阴影去除、低光照图像增强和曝光校正。尽管这些任务在退化形式上有所不同，但它们有一个共同的目标：从因照明或曝光条件而局部外观扭曲的观测数据中恢复图像内容。在阴影去除中，模型恢复了直接或间接阴影区域中的无阴影外观。在低光照增强中，模型在抑制噪声的同时提高可见度并保持颜色保真度。在曝光校正中，模型从曝光不足、过度曝光或局部混合曝光的区域中恢复合理的亮度和颜色。最近的方法通过特定于任务的架构、先验、监督策略和数据集 [1], [2], [3], [4], [5], [6], [7], [8], [9], [10], [11], [12], [13] 取得了实质性进展。保留结构的 Retinex 增强提供了一个直接使用显式结构先验进行低光照恢复的例子 [14]。最近的去雾、去雨和一体化天气恢复以及遥感去雾研究进一步通过最优传输目标、结构和频率感知的规则化、退化感知的提示以及跨级别特征交互 [15], [16], [17], [18] 改进了恢复效果。这些研究主要集中在重新设计恢复模型、目标或内部表示上。相比之下，本工作保持恢复框架及其原始目标不变，并研究了训练区域或样本的曝光和加权方式。

尽管取得了这些进展，许多恢复模型使用的训练过程仍然将不同的训练区域或样本视为具有相似的信息量。在阴影去除和低光照图像增强中，常见的训练流程使用均匀随机裁剪。在几个曝光校正流程中，成对的图像直接调整到固定的网络输入大小。因此，本文区分了基于裁剪的数据曝光和基于调整大小的样本强调。对于基于裁剪的任务，均匀的补丁采样可以将大量训练资源分配给平滑的、退化轻微的或重复的区域，而结构复杂或照明条件困难的区域可能会被低估。对于基于调整大小的曝光校正，相关的问题是每对调整大小的图像应如何为优化做出贡献。

一个直接的解决方案是将训练损失用作难样本信号。这个想法与在线难样本挖掘、焦点重加权、元样本加权、课程学习和鲁棒损失级课程 [19], [20], [21], [22], [23], [24] 有关。然而，损失并不是衡量成对照明恢复中实际难度的可靠指标。高的重建损失可能表明恢复难度大，或者它可能是由于输入-目标对齐不准确、质量低的成对样本、裁剪的参考内容、以噪声为主的观测结果、不准确的掩码或早期预测不稳定造成的。类似地，质量对抗性图像质量评估（IQA）研究也表明，如果在不施加独立保真度约束的情况下使用优化信号，虽然内容保真度会下降，但优化信号可以得到改善 [25]。此外，因果 IQA 研究提醒不要将统计关联解释为因果感知机制 [26]。因此，这里提出的分数并不声称是一个精确或因果的难/容易标签。

本文反而定义了一个数据层面的结构/退化复杂性描述符，用于训练单元的利用。该描述符分离了两个互补的因素：结构复杂性在真实空间中计算，表示干净目标中的空间自由度，如边缘方向多样性和纹理丰富度；特定于任务的退化复杂性描述了与照明相关的退化如何去除或掩盖成对输入中的信息。软成员资格是根据仅来自训练的线索分布用一个共同的 quantile 规则校准的，而频率平衡限制了常见退化情况压倒罕见但有意义的情况。可靠性不在复杂性定义之内，并在一对样本看起来可疑时控制训练权重。因此，一个复杂但不可靠的单元不会被自动强调。该描述符不被解释为模型像素错误的通用预测器。

所得到的分数在两种任务兼容模式下使用：对于使用随机裁剪训练的基线，复杂性比例补丁采样（CPPS）通过更频繁地呈现信息丰富的补丁来改变训练方式；对于通过调整全图像对训练的基线，保留了原始的调整大小到输入大小的协议，没有引入额外的随机裁剪采样器。质量鲁棒性复杂性重加权（QRCR）改变了选定补丁或调整大小样本对优化的影响程度。余弦课程逐渐增加复杂性的影响，降低了早期训练不稳定的风险。

本文做出以下贡献：
1. 定义了一个可解释的数据层面描述符，它区分了干净的结构复杂性、特定于任务的照明退化复杂性和成对样本的可靠性，同时明确避免了对模型错误的确定性或因果解释。
2. 为基于裁剪的训练引入了兼容任务的 CPPS，以及针对裁剪补丁和调整大小后的图像级训练单元的 QRCR，而不改变恢复框架或推理路径。
3. 明确指定了一个仅用于训练的数据集自适应 quantile 校准规则，并评估了校准敏感性、受控的目标损坏、计算开销、双框架低光照诊断以及五种跨任务的全局关联分析，包括全图像自助法和排列控制。
4. 研究了跨两个低光照框架和三个与照明相关的任务的迁移，并讨论了当前公式在成对数据、特定于任务的线索、领域校准、语义感知、流程兼容性、统计单元和度量依赖性方面的局限性。

**部分摘要**
与照明相关的图像恢复已经通过几条特定于任务的研究路线进行了研究。图像阴影去除旨在从被阴影污染的输入中恢复无阴影的图像。早期的深度方法如 DeshadowNet 使用多上下文信息来进行阴影去除 [1]，而 ST-CGAN 同时学习阴影检测和阴影去除 [2]。后来的方法利用了方向感知的空间上下文、非成对的阴影平移、全局阴影/非阴影交互等。

**实验设置**
给定一个与照明相关的恢复任务，设训练集为 ??={(????,????)}????=1，其中 ???? 是退化的输入，???? 是用作训练目标的成对参考图像，?? 是训练对的数量。训练是在基线流程使用的相同输入单元上进行的。对于基于裁剪的阴影去除和低光照增强，训练单元 ?? 表示一个局部裁剪的补丁；对于基于调整大小的曝光校正，?? 表示调整大小后的成对图像。

**实验评估**
实验从互补的角度评估了所提出的数据利用层。在 LoLv2_real 上进行的低光照增强是主要的受控设置，因为 HVI-CIDNet 使用随机裁剪，可以评估 CPPS 和 QRCR [10], [61]。Retinexformer 提供了第二个低光照框架 [62]。使用 CoTF 进行的曝光校正保留了原始的调整大小全图像协议，并仅评估 QRCR [13]。使用 OmniSR 进行的阴影去除测试了跨任务的迁移 [5]。

**结论**
本文提出了一个用于照明恢复中训练数据利用的复杂性感知层。结构复杂性和特定于任务的退化复杂性形成了一个可解释的数据层面描述符，而可靠性仍然是一个独立的判断标准。数据集自适应的成员参数在训练分割的线索 quantiles 中估计一次，并在优化前固定。CPPS 仅改变基于裁剪的流程的局部数据曝光，而 QRCR 改变了对优化的损失贡献。

**作者贡献声明**
王玉杰：撰写——原始草稿、可视化、验证、方法论、概念化。
赵峰山：撰写——审阅和编辑。
刘秦：监督。

**利益冲突声明**
作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。

王玉杰 | 赵峰山 | 刘秦 | 池永茂