MinT：用于图像去雨的多尺度隐式神经变换器

《Pattern Recognition Letters》：MinT: Multi-scale implicit neural transformer for image deraining

　　``

• •
  MinT 将去雨处理定义为跨尺度表示学习。
• •
  特定尺度的 Transformer 分支模型可以处理不同尺度的降雨。
• •
  INR 桥接实现了连续的跨尺度表示。
• •
  AFFM 促进了可靠的双向跨尺度融合。
• •
  MinT 在五个去雨基准测试中取得了有竞争力的结果。

引言

单图像去雨处理旨在从被空间变化雨线降解的图像中恢复干净的背景内容。基于 CNN 的去雨方法通过分层、循环和模型驱动的特征学习取得了显著进展 [1], [2], [3], [4], [5]。然而，卷积的局部性和空间共享特性限制了长距离依赖性和异构雨结构的建模。基于 Transformer 的恢复方法，包括 Restormer、IDT 和 DRSformer [6], [7], [8]，进一步改进了上下文建模，并成为图像去雨处理的重要范式。

雨的退化本质上是多尺度和各向异性的。如图 1 所示，一幅图像中可能同时存在细长、密集且重叠的雨线，这些雨线具有不同的方向。尽管多尺度架构提供了互补的表示，但其有效性取决于每个分支内雨结构的建模方式以及分支之间的信息交换方式。现有的恢复操作符没有明确编码雨线的拉长几何形状，而固定的跨尺度传输可能会传播不匹配的特征和残差误差。

NeRD-Rain [9] 通过结合不等于的 Transformer 分支、隐式神经表示和双向反馈来推进多尺度去雨处理。然而，其特定尺度的分支使用了 Restormer 风格的 QKV 关注机制，而其跨尺度反馈遵循预定义的乘法交互。因此，每个尺度内的雨向令牌混合和跨尺度的内容自适应贡献分配仍然不够充分探索。

为了解决这些问题，我们提出了 MinT，一种用于图像去雨处理的多尺度隐式神经 Transformer。MinT 包含三个不同分辨率的分支，分别运行在四分之一、一半和全分辨率下。每个 Rain-aware Context 块都遵循 Transformer 风格的残差组织，其中 Directional Context Aggregation (DCA) 代替了基于 QKV 的关注机制作为雨向令牌混合器，而 Spatially Enhanced Feed-Forward Network (SEFN) 执行局部细化。在相邻分支之间，共享编码器的 INR 桥接建立了连续的跨尺度对应关系，而 Adaptive Feature Fusion Module (AFFM) 使用空间、通道和像素级的线索选择性地整合邻近尺度的特征。

主要贡献有三个方面：

• 1.
  我们开发了一个基于 Transformer 的雨表示模块，在其中 DCA 用方向性的深度令牌混合替换了 QKV 关注机制，而 SEFN 执行空间增强的前馈细化。
• 2.
  我们提出了 AFFM 来估计内容依赖的融合权重，并选择性地结合邻近尺度的特征，减少了不匹配的跨尺度传输。
• 3.
  我们将这些组件与共享编码器的 INR 桥接集成在一个三尺度框架中。在五个基准测试上的实验表明，其整体性能更强，且 FLOPs 和参数数量都低于最接近的多尺度 INR 基线。

章节片段

图像去雨处理与最近的恢复技术

图像去雨处理是一个典型的病态逆问题。早期方法主要依赖于手动制定的雨线或干净图像结构的先验 [10], [11], [12], [13]。尽管这些方法具有可解释性，但它们的性能往往受到预定义假设的限制。随着深度学习的发展，基于 CNN 的方法，如 DID-MDN [14] 和 RCDNet [4]，通过分层特征建模学习了雨到干净的映射。然而，卷积的局部性和空间共享核心特性

整体架构

如图 2 所示，MinT 包含三个不同分辨率的分支，分别处理四分之一、一半和全分辨率的输入，分别用 S₁, S₂ 和 S₃ 表示。这三个分支分别包含一个、两个和三个级联的 Rain-aware Context Unit (RCU)。每个 RCU 都遵循由 Rain-aware Context Blocks (RCB) 构建的 U-Net 风格架构。这种非对称配置为更细的分辨率分配了更大的表示能力，在这些分辨率下，雨的细节和背景结构需要更多的

实验设置

实验在五个公开可用的去雨基准测试上进行：Rain200L 和 Rain200H [35]、DID-Data [36]、DDN-Data [37] 和 SPA-Data [38]。Rain200L 和 Rain200H 分别包含 1,800 对训练数据和 200 对测试数据。DID-Data 和 DDN-Data 分别包含 12,000 张训练图像和 12,600 张训练图像，以及 1,200 张和 1,400 张测试图像。SPA-Data 包含 638,492 对真实世界的训练数据和 1,000 对测试数据。按照普遍做法，PSNR [39] 和 SSIM [40] 是在 Y

结论

我们提出了 MinT，一种用于图像去雨处理的多尺度隐式神经 Transformer。通过结合雨感知的方向性表示、共享编码器的 INR 桥接和内容自适应的跨尺度融合，MinT 共同建模了不同尺度的雨结构和相邻分辨率之间的互补信息。在五个基准测试上的实验表明，其恢复性能强大且一致，同时所需的计算复杂度低于最接近的多尺度 INR 基线。

CRediT 作者贡献声明

Zhiyong Liu: 写作 – 审阅与编辑，原始草稿撰写，可视化，验证，软件实现，形式分析，数据整理。 Hui Wang: 写作 – 审阅与编辑，监督，资源管理，项目管理工作，方法论，资金筹集。 Zizhu Fan: 资源管理，方法论，概念化。 Kangli Zeng: 方法论，形式分析。 Nan Jiang: 写作 – 审阅与编辑，资源管理，概念化。 Chunhui Zhao: 写作 – 审阅与编辑，形式分析。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文所述的工作。

致谢

本工作得到了国家自然科学基金（项目编号 62462032,62501237）、教育部人文社会科学项目（项目编号 25YJAZH170）、山东省先进计算重点实验室开放项目（项目编号 2025LCJSJ0006）以及北京航空航天大学虚拟现实技术及系统国家重点实验室开放项目（项目编号 VRLAB2025C10）的支持。

Zhiyong Liu|Hui Wang|Zizhu Fan|Kangli Zeng|Nan Jiang|Chunhui Zhao

```