SPW-Net：一种用于阴影去除的高效软先验引导小波注意力网络

《Neurocomputing》：SPW-net: An efficient soft prior-guided wavelet attention network for shadow removal

　　

• •
  基于物理驱动的SPW-Net实现轻量化高效的阴影去除
• •
  连续软先验确保无需辅助掩码的渐进空间引导
• •
  基于小波的照明分解实现子带自适应恢复
• •
  在视觉保真度与计算效率之间取得精细平衡

引言

阴影去除是消除光照不一致性和增强下游视觉应用图像保真度的关键预处理任务[1]、[2]、[3]、[4]、[5]。尽管高质量恢复始终至关重要，但现代实际部署日益强调计算效率，使得精度与效率之间的权衡成为关键考量因素[6]、[7]、[8]。现有的阴影去除范式可大致分为无掩码设计和掩码引导设计两类。无掩码方法[9]、[10]、[11]、[12]依赖于端到端映射或上下文推理，由于缺乏显式的空间约束，往往遭受顽固阴影残差的困扰[13]。另一方面，如图1(a)所示，传统的硬掩码引导方法利用预训练检测器或人工标注进行阴影定位[14]、[15]、[16]、[17]、[18]。尽管这些方法在缓解残差方面有效，但其固有的离散二元表示局限性往往导致阴影到背景过渡区域中出现不自然的边界伪影。此外，对辅助检测器的依赖引入了额外的推理阶段[19]、[20]，从而阻碍了在资源受限环境下的无缝部署。

为调和残差抑制与边界连贯性之间的矛盾，SoftShadow[21]开创了软掩码范式，将离散的二元边缘近似为连续过渡，从而显著提高恢复保真度。尽管该方法行之有效，但如图1(b)所示，该方法严重依赖语义密集的基础模型，例如Segment Anything Model（SAM）[22]，其高昂的参数规模和计算开销限制了实用价值。这一局限性凸显了对软阴影空间先验进行高效建模的迫切需求，以减少对大规模模型的依赖。一个有前景的替代方案在于利用内在物理特性：通过将阴影刻画为局部化的低频照明退化，可从解耦的照明中推导出轻量级的软先验[13]、[23]。这种物理驱动的方法能够实现梯度感知的表示，在不依赖重型语义的情况下保持恢复的鲁棒性，同时引入最小的开销。

然而，这种物理驱动策略要求在照明解耦过程中具有高效率，以确保架构的轻量化。尽管频域分析与照明的低频特性天然契合[24]、[25]、[26]，但传统的全局频率分析无法捕获阴影退化中固有的空间局部性。为弥合这一差距，小波分解作为一种最优框架应运而生，它能够实现参数高效的多尺度表示，并具备优越的联合空频定位能力[27]、[28]。然而，基于小波的鲁棒阴影去除受到若干内在约束的阻碍。首先，低频子带仍然是纠缠的表示，照明与粗略结构纹理和噪声深度耦合，可能阻碍阴影信号的提取[29]。其次，提取判别性阴影表示需要一种双容量机制，该机制能在不同照明水平下捕获阴影引起的强度衰减，同时抑制非阴影背景干扰以避免过度调整[10]。此外，统一范式无法解决子带异质性问题，导致次优调制和失真的系数相关性，进而在空间域中引发色差不一致[30]、[31]。这些约束共同构成了有效先验提取和鲁棒恢复中的重大技术瓶颈。

为应对这些挑战，我们提出了SPW-Net，一种高效的软先验引导小波注意力网络（Soft Prior-guided Wavelet attention Network），用于实现具有竞争性计算经济性的无伪影阴影去除恢复。SPW-Net通过三个连续阶段运行：照明建模、软先验估计和退化恢复。具体而言，在照明建模阶段，SPW-Net采用小波注意力变换（Wavelet Attention Transform, WAT）对低频照明和高频纹理子带进行多尺度分解和自适应加权。随后，引入软先验估计（Soft Prior Estimation, SPE）模块，通过基于强度的双中心映射策略预测连续置信图，同时捕获阴影位置和强度变化。最后，先验引导调制（Prior-guided Modulation, PGM）模块为多尺度恢复提供子带自适应引导，以应对异质性退化，辅以轻量级空间细化模块（Spatial Refinement Module, SRM）来校正小波到空间逆变换过程中可能出现的颜色失真。如图2所示，所提出的SPW-Net在保持紧凑参数规模的同时，在推理速度（FPS）与恢复质量（LPIPS）之间实现了理想的权衡，为实际应用中的阴影去除提供了高效轻量化的解决方案。

本工作的主要贡献如下：

（1）我们开发了一种物理驱动的阴影去除网络（SPW-Net），将阴影去除建模为基于低频退化的局部照明补偿，以最小的计算开销实现无伪影恢复。

（2）我们提出了一种软先验估计机制，采用双中心映射策略生成连续置信图作为软先验，无需辅助检测器即可为恢复提供鲁棒引导。

（3）我们引入了一种基于小波注意力的照明建模方案，将低频照明与高频纹理解耦。该方案促进了针对异质性子带退化的频率感知恢复，确保结构完整性的保持。

在四个基准测试集（ISTD+、ISTD、SRD和LRSS）上的实验表明，SPW-Net能够有效实现无伪影阴影去除，同时在恢复性能和计算效率之间取得最佳平衡。

章节摘要

相关工作

本节回顾了阴影去除领域的最新进展和主流方法，随后讨论了小波变换及其在有效阴影恢复中的潜力。

方法论

现有方法中的伪影，特别是边界伪影和残余阴影，表明了对软阴影先验的必要性。与此同时，实际应用对计算效率和推理速度提出了精细化的要求。为应对这些挑战，本工作探索了一种低开销、物理启发的先验提取机制，以引导高质量且轻量化的阴影去除。

数据集

我们在四个公开阴影去除基准测试集上评估所提出的方法：ISTD+[57]、ISTD[44]、SRD[58]和LRSS[59]。ISTD+是ISTD的增强版本，对光照进行了调整。每个数据集包含1870个对齐三元组（阴影图像、阴影掩码和无阴影图像），划分为1330个训练样本和540个测试样本，主要特征为具有锐利边界的硬阴影。SRD包含3088对阴影和无阴影图像（2680对用于训练，408对用于测试），既包含

结论

在本文中，我们提出了SPW-Net，一种高效的软先验引导小波注意力网络，用于解决阴影去除中恢复质量与计算效率之间的关键权衡问题。SPW-Net通过三个连续阶段运行：照明建模、软先验估计和退化恢复。具体而言，受阴影主要表现为低频照明退化这一物理特性的启发，采用了小波注意力变换

CRediT作者贡献声明

丁媛：撰写 – 审阅与编辑、指导、方法论、概念化。孟宇倩：撰写 – 原稿、可视化、验证、方法论、调查。万嘉旭：指导、正式分析、数据管理。邓艳艳：验证、资源。张宏：项目管理、资金获取。袁晓晨：撰写 – 审阅与编辑。李溪颖：撰写 – 审阅与编辑。杨一帆：项目管理、资金获取、概念化。

利益冲突声明

作者声明不存在已知的可能影响本文报告工作的竞争性财务利益或个人关系。

致谢

本工作得到了中国国家自然科学基金（62433003、62476017）的支持。

丁媛于2008年获得香港中文大学机械与自动化工程博士学位。现为北京航空航天大学宇航学院图像加工中心副教授，从事计算机视觉领域研究超过15年。她的研究方向包括多视角立体匹配、跟踪、相机运动估计、语义分割。

丁媛|孟宇倩|万嘉旭|邓艳艳|张宏|袁晓晨|李溪颖|杨一帆