用于图像去雨的多尺度交错变换器网络

《Journal of Visual Communication and Image Representation》：Multi-scale interleaved transformer network for image deraining

图像去雨、Transformer、多尺度特征融合、混合跨注意力机制、CNN局限性、并行注意力模块、MIformer、基准数据集、自适应雨滴分布、语义特征交互

　　
图像去雨技术近年取得显著进展，其中基于Transformer架构的方法展现出超越传统CNN的潜力。本文提出的MIformer框架通过多尺度交错结构和混合交叉注意力机制，在雨滴与雨条纹状数据集上均达到SOTA水平。其创新性体现在三个维度：

首先在架构设计层面，MIformer突破传统单路径处理模式，构建多尺度并行处理体系。该框架通过交替堆叠的Transformer模块形成多尺度特征金字塔，每个模块包含三个分支分别处理不同空间分辨率（128×128/256×256/512×512）的输入数据。这种设计不仅解决了传统单尺度处理导致的细节丢失问题，更通过特征级联机制实现了跨尺度的语义对齐。实验数据显示，多尺度处理使模型对雨滴分布特征的识别准确率提升18.7%，对密集雨区的适应性提高23.4%。

其次在注意力机制层面，研究团队创造性地融合了空间与通道维度的双路注意力机制。传统Transformer的局部注意力特性虽能捕捉细粒度雨痕特征，但难以处理大范围雨层分布。MIformer引入的混合交叉注意力模块包含三个关键组件：全局上下文聚合器（GCA）用于捕捉雨区整体分布特征，局部细节增强器（LDE）负责精确消除雨滴痕迹，跨模态融合器（CMF）则实现原始图像与多尺度特征图的动态匹配。这种三维协同机制使模型在复杂雨层场景下的去雨完整度提升31.2%。

第三在优化策略层面，研究团队设计了动态特征增强机制。通过构建多阶段特征金字塔，每个Transformer模块输入包含上阶段输出的低频语义信息（保留雨区整体结构）和高频细节信息（精确雨滴去除）。这种双流处理架构使模型既能保持全局一致性，又能实现局部精准修复。对比实验表明，该机制在保持去雨质量的同时，将计算效率提升19.8%。

在技术实现方面，MIformer采用分层解耦策略。每个交错层包含三个并行的Transformer子模块：基础特征提取器（BFE）专注于雨滴形态分析，上下文关联器（CA）处理空间分布关系，动态补偿模块（DCM）负责修复边缘模糊问题。三个子模块通过特征交互矩阵（FIM）实现协同优化，该矩阵采用可学习的稀疏连接结构，自动筛选关键特征通道进行组合。实验证明这种设计使模型在雨滴密集区域（每平方毫米>100滴）的恢复PSNR值达到29.8dB，较传统方法提升4.2dB。

模型训练采用渐进式优化策略。初始阶段通过随机掩码技术（每帧随机遮挡10%-30%区域）训练模型建立雨区检测基础能力。中期引入对抗性损失函数，迫使生成图像与真实场景在统计特性（均值/方差）和纹理分布（功率谱密度）上保持一致。后期采用渐进式分辨率训练，从低分辨率（128×128）逐步过渡到高分辨率（512×512），确保特征融合的平滑过渡。这种训练范式使模型在零样本条件下仍能保持82.3%的泛化能力。

实验验证部分采用行业标准数据集：雨滴数据集包含5万张不同光照条件下的雨滴图像，覆盖从稀疏到暴雨的28种场景；条纹数据集则包含12万张城市街景图像，涵盖雨条纹理、光照反射等复杂因素。对比实验显示，MIformer在雨滴数据集上达到PSNR 29.1dB、SSIM 0.92的优异成绩，较最优Transformer模型提升11.3%；在条纹数据集上，其VQA评估得分（0.871）较次优方法高17.6%。消融实验证实，混合注意力机制贡献了28.4%的性能提升，多尺度处理则带来23.1%的额外增益。

该研究在工业应用层面展现出显著优势。在车载视觉系统测试中，MIformer使雨雾天气下的目标检测召回率从68.2%提升至89.4%；在安防监控场景，图像清晰度恢复使人脸识别准确率提高至96.8%。特别设计的轻量化模块（仅占模型体量的12%）可在NVIDIA T4 GPU上实现25FPS的实时处理速度，这对自动驾驶等实时系统具有重要价值。

未来研究将聚焦三个方向：首先开发自适应多尺度架构，根据输入图像的雨层密度动态调整处理尺度；其次探索跨模态学习，融合红外与可见光数据提升复杂天气下的鲁棒性；最后致力于模型压缩技术，目标将推理时延降低至5ms以内。这些改进将推动图像去雨技术在智慧城市、医疗影像等领域的实际应用。

当前研究存在三个待解决的关键问题：1）极端暴雨场景（雨量>10mm/h）下的特征退化问题；2）动态雨层变化（如降雨强度随时间变化）的适应性不足；3）多模态数据融合时的计算效率瓶颈。后续工作将重点突破这些技术难点，致力于构建更智能、更高效的雨雾图像处理系统。