用于阴影去除的区域感知频率分治法

《Expert Systems with Applications》：Region-aware Frequency Divide-and-Conquer for Shadow Removal

　　

• •
  RFDC策略以低计算成本实现分治去阴影。
• •
  RDSA自适应地捕获局部和全局线索以实现阴影光照恢复。
• •
  MESA和BHF损失有效抑制阴影边界处的伪影。
• •
  我们的模型以更少的参数和更低的FLOPs超越SOTA方法。

引言

阴影由光线的部分遮挡引起，在各种自然场景中经常出现。阴影不仅会降低图像质量Zhang et al. (2020)，还会阻碍多种视觉和多媒体任务的性能，包括图像分类Zhong, Liu, Zhai, Jiang, & Ji (2022)、目标检测Ciocarlan, Le Hégarat-Mascle, Lefebvre, & Woiselle (2024)以及图像分割Zhang et al. (2019)。因此，有效的阴影去除对于提升视觉质量和减轻这些视觉任务中的性能退化至关重要。

阴影去除旨在恢复阴影区域与非阴影区域之间一致且均匀的光照。许多现有方法Le & Samaras (2019); Qu, Tian, He, Tang, & Lau (2017)利用卷积神经网络直接从含阴影图像学习映射到无阴影图像。然而，这些方法往往忽略了阴影区域与非阴影区域之间的光照交互作用，从而限制了其产生全局一致光照恢复的能力。为缓解这一问题，多项研究引入了局部窗口自注意力机制Guo, Huang, Liu, Cheng, & Wen (2023a)，利用非阴影区域的光照线索来指导阴影区域的恢复。然而，由于计算约束，此类方法通常局限于较小的局部窗口，这阻碍了其建模长程光照依赖关系的能力。这一局限性在大型阴影区域的中心部分尤为突出，因为那里需要全局上下文信息。为扩展感受野，Homoformer Xiao et al. (2024)在局部邻域内应用自注意力之前执行全局令牌 shuffle。虽然该策略增加了上下文交互的多样性，但它破坏了图像固有的空间结构，从而损害了光照一致性，尤其是在阴影边界附近。

此外，阴影边界附近的光照变化非常剧烈，使得这些区域尤其难以处理。大多数现有方法主要关注恢复阴影区域内的光照，而忽视了对阴影边界的处理Guo et al. (2024); Niu, Liu, Wu, & Xing (2022)。因此，其输出在阴影边界附近往往存在明显的伪影，如图1所示。这些伪影不仅降低了视觉质量，还可能对下游视觉任务产生不利影响。为缓解这一问题，BA-ShadowNet Niu et al. (2022)引入了一个专门设计用于阴影边界细化的网络分支。FusionNet Fu et al. (2021)在初始去阴影阶段之后附加了一个辅助网络以细化阴影边界。尽管这些设计部分缓解了边界伪影，但它们不可避免地导致计算成本的显著增加。

图2展示了多个数据集中阴影图像不同区域的低频和高频误差分布，包括自然阴影图像数据集ISTD+ Le & Samaras (2019)和UIUC+ Guo, Dai, & Hoiem (2012)，文档阴影数据集Kligler Kligler, Katz, & Tal (2018)以及人像阴影数据集PSM Zhang et al. (2020)。结果表明，阴影图像在低频和高频分量中表现出显著不同的空间退化模式。具体而言，低频退化分布于整个阴影区域，而高频退化主要集中在阴影边界附近。图3(a)(b)中展示的视觉示例进一步证实了这一观察。这一现象的产生是因为阴影边界区域以光照的急剧过渡为特征，严重扭曲了高频分量。相比之下，阴影中心区域的光照变化主要表现为低频变化，对高频纹理细节的影响有限。此外，先前的研究Frank et al. (2020); Yang, Zhou, Feng, & Wang (2023)表明图像生成网络存在频率偏差。这些网络优先生成低频信号，而往往无法合成自然的高频细节。这种固有偏差进一步加剧了阴影边界处高频处理的挑战。如图3(c)所示，仅恢复低频分量而保留原始高频分量会导致明显的边界伪影。

基于上述观察和分析，我们提出了一种区域感知频率分治（RFDC）策略，该策略同时解决实现一致光照恢复和抑制边界伪影这两个基本挑战，同时减轻传统分治范式通常带来的额外计算开销。具体而言，利用Haar离散小波变换（DWT）将阴影图像分解为低频和高频分量并分别处理。与仅将频率分解用作辅助表示或多尺度特征提取工具的通用频率恢复方法不同，RFDC为阴影去除明确建立了频率-区域-恢复对应关系。低频处理专注于恢复阴影区域内的光照退化，而高频处理则针对阴影边界处的伪影抑制。该方法使网络能够同时恢复低频和高频分量中的退化，同时有针对性地关注特定区域的失真。此外，由于DWT在不损失信息的情况下将空间分辨率减半，它有效地减轻了分别处理带来的计算开销。对于低频光照恢复，阴影的边界区域主要需要其周围区域的光照线索，而中心区域需要全局非阴影光照线索。为此，我们提出了一种区域自适应双尺度自注意力（RDSA）。在该方法中，每个像素令牌自适应地关注来自不同空间尺度的非阴影光照线索，从而在阴影中心和边界区域实现精确的光照恢复。对于高频纹理恢复，我们引入了匹配增强自注意力（MESA），它利用恢复后的低频分量来改进稀疏高频分量的查询-键匹配，从而实现精确的纹理恢复。此外，我们引入了边界高频（BHF）损失，以显式引导网络恢复阴影边界处的细粒度高频细节。我们进行了广泛而全面的实验来验证我们方法的优势。

总之，本工作的主要贡献包括：

• •
  我们提出了一种用于阴影去除的RFDC策略，该策略将阴影图像分解为低频和高频分量进行针对性处理，减少了传统分治方案的计算开销。
• •
  我们设计了一种用于低频分量恢复的RDSA，它使像素令牌能够自适应地捕获局部和全局非阴影光照线索，在整个阴影区域实现精确且一致的光照恢复。
• •
  我们提出了一种MESA和BHF损失用于高频分量恢复。该方法改善了稀疏高频特征的查询-键匹配，并显式引导阴影边界处的纹理重建，从而减少了这些区域的伪影。
• •
  大量实验表明，所提出的方法以更少的参数和FLOPs超越了现有的SOTA方法。

章节摘要

图像阴影去除

传统阴影去除方法通常依赖于手工设计的先验信息，例如图像梯度Gryka, Terry, & Brostow (2015)、基于区域的线索Guo et al. (2012)和光照模式Zhang, Zhang, & Xiao (2015)，以恢复阴影区域内的光照。然而，这些方法往往建立在理想化的假设之上，无法推广到真实场景中，经常导致阴影边界出现明显的伪影。

近年来，基于深度学习的方法

方法

我们观察到阴影引入的退化在频率域中表现出不同的空间分布特征。在阴影的中心区域，光照退化主要影响低频分量。相比之下，阴影边界附近的急剧光照过渡导致高频分量严重退化。这一观察表明，阴影去除不仅仅是一个通用的层次化或多尺度恢复问题，而是一个依赖于频率的

实验设置

数据集：阴影去除模型的性能评估在三个广泛使用的基准数据集上进行：调整后的ISTD（ISTD+）数据集Le & Samaras (2019)、SRD数据集Qu et al. (2017)以及调整后的UIUC（UIUC+）数据集Guo et al. (2012)。由于SRD数据集缺乏真实阴影掩码，我们遵循先前工作Guo et al. (2023b); Li et al. (2023a); Xiao et al. (2024)，使用Cun et al. (2020)提供的真实阴影掩码。为减少

结论

在本工作中，我们解决了阴影去除中光照恢复不一致和边界伪影显著的挑战，同时减轻了传统分治策略带来的过高计算开销。我们提出了一种RFDC策略，将阴影图像分解为低频和高频分量进行针对性恢复。具体而言，所提出的RDSA自适应地捕获局部和全局光照线索以促进光照

CRediT作者贡献声明

Yinan Wang：概念化、方法论、软件、验证、原创初稿撰写、可视化。Yan Huang：概念化、方法论、资源、审阅与编辑、可视化。Yong Xu：监督、资源、资金获取。Patrick Le Callet：概念化、形式分析、可视化。

利益冲突声明

作者声明不存在可能影响本文报告工作的已知竞争性经济利益或个人关系。

Yinan Wang|Yan Huang|Yong Xu|Patrick Le Callet