RRFormer：一种基于Transformer的新方法，用于去除超高清图像中的反射伪影

《Information Fusion》：RRFormer: A New Transformer-Based Method for Ultra High-Definition Reflection Removal

针对超高清图像单幅反射去除（UHD SIRR）问题，本文构建了UHDRR4K和UHDRR8K两大数据集，系统评估了九种现有方法，并提出基于Transformer的RRFormer模型，显著提升了UHD图像的反射去除效果与可扩展性。

　　

宋振波|张振远|李瑞新|张凯浩|王涛|卢建峰

中国江苏省南京市，南京理工大学，210094

摘要

基于深度学习的方法在单图像反射去除（SIRR）方面取得了显著的成功。然而，这些方法大多关注高清晰度/标准清晰度（HD/SD）图像，而忽略了超高清（UHD）图像等更高分辨率的图像。随着现代设备捕获的UHD图像越来越普遍，我们旨在解决UHD SIRR问题。具体来说，我们首先合成了两个大规模的UHD数据集：UHDRR4K和UHDRR8K。UHDRR4K数据集包含2,999个用于训练的四图像对和168个用于测试的四图像对，UHDRR8K数据集包含1,014个用于训练的四图像对和105个用于测试的四图像对。据我们所知，这两个数据集是迄今为止最大的UHD SIRR数据集。然后，我们使用这些数据集对九种最先进的SIRR方法进行了全面评估。此外，我们提出了一种基于Transformer的架构RRFormer用于反射去除。RRFormer包含三个模块：预处理嵌入模块、自注意力特征提取模块和多尺度空间特征提取模块。这些模块分别提取超列特征、全局和局部注意力特征以及多尺度空间特征。为了确保实际训练效果，我们在损失函数中使用了三个项：像素损失、特征损失和对抗损失。通过实验结果证明，RRFormer在非UHD数据集和我们的UHDRR数据集上都取得了最先进的性能。代码和数据集可在以下链接公开获取：https://github.com/Liar-zzy/Benchmarking-Ultra-High-Definition-Single-Image-Reflection-Removal

引言

单图像反射去除（SIRR）的任务是通过从混合图像中去除反射来恢复清晰的传输图像。这项任务在计算摄影中非常重要，因为它不仅提高了图像质量，还对下游计算机视觉任务（如对象检测[1]、[2]和语义分割[3]、[4]）产生了积极影响。由于反射去除问题是不适定的，早期研究主要集中在多图像方法上[5]。最近，深度学习越来越多地被用于反射去除，从而无需设计多样化的先验。有了适当的训练数据集，深度学习模型已经展示了令人印象深刻的结果[6]。许多图像恢复研究显示，利用深度学习技术可以显著提高恢复图像的质量[7]。这些方法大多在SD或HD分辨率的天然图像或合成图像上进行训练和评估。因此，目前尚不清楚这些方法在UHD图像（例如4K和8K图像）上的表现如何。随着现代消费设备越来越多地支持UHD图像捕获，在这种设置下重新审视SIRR问题变得至关重要。

UHD SIRR引入了新的挑战，这些挑战尚未得到系统研究。首先，处理UHD图像需要较高的计算成本，这对实时应用是一个重大障碍。其次，反射去除和传输层表现出长距离交互和细粒度纹理，现有方法未能很好地捕捉到这些特征。第三，缺乏公开可用的UHD SIRR数据集。

为了解决这些不足，我们首先构建了两个新的大规模数据集：UHDRR4K和UHDRR8K，分别包含2,999/168个和1,014/105个用于训练/测试的四图像对。每个四图像对表示为{T_gt, R_raw, R_blur, I_blend），其中T_gt是真实的传输图像，R_raw是原始的反射图像，R_blur是通过高斯模糊得到的平滑反射层，I_blend是从T_gt和R_blur合成的混合图像。

为了探索当前SIRR方法在UHD图像上的性能，我们在两个合成数据集上评估了十二种最先进的方法。使用标准指标（包括PSNR（峰值信噪比）、SSIM（结构相似性指数测量）[8]、学习感知图像块相似性（LPIPS）[9]和感知质量）来评估这些方法在UHD图像上的表现。

此外，如图1所示，我们提出了一种名为RRFormer的新型基于Transformer的网络，专门为UHD SIRR设计。RRFormer由三个核心模块组成，它们协同工作以应对UHD输入的独特挑战。首先，预处理嵌入模块从预训练的VGG-19网络[10]中提取超列特征，并将其与输入的混合图像连接起来，为后续学习提供丰富的结构先验。接下来，特征提取模块采用一系列残差Swin Transformer块[11]作为骨干，利用注意力机制来建模长距离依赖性，同时保持计算效率。最后，多尺度空间特征提取模块基于金字塔池化[12]在多个感受野大小上捕获上下文信息，使模型能够稳健地处理复杂且空间变化的反射。与之前的基于CNN的SIRR方法相比，RRFormer引入了基于注意力的建模和空间感知特征集成，在UHD数据上实现了更好的性能和更好的可扩展性。

总结来说，我们工作的主要贡献如下。

•

两个大规模的UHDRR数据集。

我们合成了两个大规模的UHD图像数据集用于SIRR。据我们所知，它们是社区中最大的UHD反射去除数据集。每个四图像对包含四张图像，即传输层、反射层、反射掩膜层和混合层。

•

全面的定量和定性基准研究。

我们全面调查了十二种最先进的SIRR方法在两个UHDRR数据集上的性能。研究结果揭示了现有方法的局限性，并为未来的研究提供了启示。

•

RRFormer架构。

我们提出了一个针对UHD SIRR定制的基于Transformer的模型，结合了VGG引导的特征、残差Swin Transformer和金字塔池化，从而在保真度和感知质量方面实现了更好的性能。

小节片段

SIRR数据集

已经提出了几个用于SIRR的数据集，包括SIR² [14]、张等人[15]、Nature [16]、CDR [17]和RRW [13]。

SIR² [14]包括40个受控室内场景和100个野外场景，每个场景都包含一个混合图像、传输图像和反射图像。该数据集探讨了光圈、曝光和玻璃厚度的变化，以模拟不同的条件。张等人[15]通过对Flickr图像对应用高斯模糊来合成反射图像，并使用

基准数据集

为了基准测试当前最先进的SIRR方法，我们提出了两个UHD数据集。在本节中，我们将描述我们的UHDRR数据集的特点以及构建这些数据集的方法。

提出的RRFormer模型

在本节中，我们介绍了一种用于反射去除的基于Transformer的架构RRFormer。如图3所示，提出的RRFormer由预处理嵌入模块、自注意力特征提取模块和多尺度空间特征提取模块组成。

实验与分析

在本节中，我们首先在UHDRR4K和UHDRR8K数据集上对现有的SIRR方法和我们提出的RRFormer进行了基准测试，然后在CDR数据集[17]上评估了提出的RRFormer。

结论

在本文中，我们探讨了UHD分辨率场景下的单图像反射去除领域。我们提出了两个新的大规模UHDRR数据集UHDRR4K和UHDRR8K，这是第一个用于基准测试SIRR方法的UHD图像数据集。我们的数据集包含了由不同相机在室内和室外拍摄的各种场景的图像。每个训练/测试样本都是一个四图像对，包括传输图像、反射图像、反射掩膜图像和混合图像。

CRediT作者贡献声明

宋振波：写作——审稿与编辑、监督、资源管理、项目协调、资金获取、概念构思。张振远：写作——初稿撰写、可视化、方法论、数据整理。李瑞新：写作——审稿与编辑、可视化。张凯浩：写作——审稿与编辑、概念构思。王涛：写作——审稿与编辑、概念构思。卢建峰：写作——审稿与编辑、监督。

利益冲突声明

作者声明以下可能的财务利益/个人关系，这些可能被视为潜在的利益冲突：

宋振波报告称获得了国家自然科学基金的支持。宋振波还报告获得了中央高校基本研究基金的支持。如果还有其他作者，他们声明没有已知的财务利益或个人关系可能影响