基于特征精修自适应调制Transformer的图像去雨方法研究

针对Transformer在图像去雨任务中高频细节捕捉不足及频域特征利用不充分的问题，华东理工大学团队提出特征精修自适应调制Transformer（FRAMT）。该模型通过细节引导注意力块（DGAB）增强高频敏感度，局部特征精修块（LFRB）实现多尺度内容分解，自适应融合调制块（AFMB）动态加权频域特征，显著提升去雨性能。实验表明FRAMT优于现有先进方法，为复杂雨纹去除提供了新思路。

　　

雨雾天气严重干扰图像质量，给自动驾驶、监控系统等应用带来挑战。传统去雨方法依赖手工设计先验，难以应对复杂多变的雨纹形态；基于卷积神经网络（CNN）的方法虽有所改进，但受限于局部感受野，难以建模长程依赖。Transformer凭借全局建模能力成为新选择，但其对高频细节的捕捉能力弱于CNN，且现有研究多聚焦空域特征，忽视雨纹的频域特性。如何平衡全局与局部信息、融合空域与频域特征，成为提升去雨性能的关键。

华东理工大学研究人员提出特征精修自适应调制Transformer（FRAMT），通过三个核心技术模块解决上述问题：1）细节引导注意力块（DGAB）结合池化与卷积操作，增强对高频成分的敏感性；2）局部特征精修块（LFRB）采用多分支架构分解多尺度内容，扩大感受野；3）自适应融合调制块（AFMB）引入频域选择机制，动态抑制冗余特征。实验在多个基准数据集上验证了FRAMT的优越性。

研究结果

1. 模型架构设计：FRAMT由浅层特征提取、分层特征精修调制组（FRMG）和重建模块构成。FRMG堆叠DGAB、LFRB和AFMB，形成全局-局部特征协同优化框架。
2. 高频细节增强：DGAB通过双分支结构（池化+卷积）引导注意力查询，PSNR（峰值信噪比）指标较基线提升1.2dB，证明其对边缘细节的保护能力。
3. 多尺度特征融合：LFRB通过并行多分支架构提取不同尺度特征，在Rain100H数据集上SSIM（结构相似性）达0.89，显著缓解雨纹模糊效应。
4. 频域动态调制：AFMB的频率选择机制使模型在频域自适应加权，消融实验显示其贡献度超15%，有效抑制无关特征干扰。

结论与意义
FRAMT首次将空域特征精修与频域动态调制结合，解决了Transformer在去雨任务中的高频信息丢失问题。其DGAB模块为注意力机制引入局部归纳偏置，LFRB通过多尺度分解弥补卷积的局限性，AFMB则开创性地将频域权重引入特征融合。实验证明FRAMT在Rain100L、Test1200等数据集上PSNR平均提升2.1dB，且参数量仅为Restormer的76%。该研究为跨域特征融合提供了新范式，相关技术可扩展至图像去噪、超分辨率等任务。论文发表于《Engineering Applications of Artificial Intelligence》，专利已进入申请阶段。