MHS-Net：基于多尺度异构协同网络的单幅图像去雨方法及其在复杂雨纹场景中的应用

针对单幅图像去雨任务中全局-局部特征交互与自适应特征融合的平衡难题，研究人员提出了一种多尺度异构融合网络(MHF-Net)。该研究创新性地整合了异构协同增强模块(HSE)、动态感知自适应融合策略(DPAF)和分层多尺度整合机制(HMIM)，在Rain100L数据集上实现PSNR提升0.42 dB，SSIM达0.991。该成果显著提升了复杂雨纹场景下的去雨效果与细节保持能力，为恶劣天气条件下的计算机视觉任务提供了新解决方案。

　　

在计算机视觉领域，雨天环境下的图像质量退化一直是制约智能系统性能的关键瓶颈。雨纹的复杂分布会导致背景纹理模糊、物体轮廓失真，严重影响目标检测、语义分割等下游任务的准确性。尽管现有基于CNN和Transformer的方法在去雨任务中取得一定进展，但普遍面临三个核心挑战：单尺度特征提取难以平衡雨纹局部细节与全局分布特征；固定阈值融合策略在动态雨纹密度下易产生伪影；传统方法缺乏对雨纹与背景深层耦合关系的有效建模。这些问题导致现有模型在密集雨纹场景中常出现细节丢失或结构扭曲现象。

为突破这些技术瓶颈，国内研究人员开发了多尺度异构融合网络MHF-Net。该研究通过异构协同增强模块(HSE)实现Vision Mamba分支与CNN分支的优势互补：前者通过选择性状态空间扫描建模长程依赖，生成动态调整因子γ；后者利用残差卷积组提取高频细节补偿因子β。动态感知自适应融合(DPAF)策略采用可学习阈值生成雨纹与背景掩膜，有效解决了特征融合中的伪影问题。分层多尺度整合机制(HMIM)则通过金字塔编解码架构实现跨尺度特征优化。实验表明，该方法在Rain100H和Rain100L数据集上分别达到33.68 dB和40.23 dB的PSNR值，显著优于现有技术。相关成果发表在《Array》期刊。

关键技术方法包括：1) 双分支异构架构设计，结合Vision Mamba的状态空间建模与CNN的局部特征提取；2) 基于可学习阈值的动态掩膜生成算法；3) 三尺度金字塔特征融合框架；4) Charbonnier损失与频域损失的联合优化策略。研究使用Rain100标准数据集（1800对训练样本+200对测试样本），在NVIDIA RTX 3090 GPU平台完成模型训练。

研究结果方面：

1. 异构协同增强模块(HSE)
   通过视觉状态空间模块(VSSM)实现四通道特征并行处理，结合深度可分离卷积(DWConv)与层归一化(LN)，使全局调整矩阵γ与局部补偿张量β协同优化瓶颈层特征F_bn
   。消融实验显示移除HSE会导致PSNR下降1.73 dB。

2. 动态感知自适应融合(DPAF)
   构建差分矩阵M_gap
   =I_rain
   -I_cd
   ，通过可学习阶跃函数生成雨纹掩膜M_rain
   与背景掩膜M_bg
   。该模块使模型在Rain100H数据集上SSIM提升至0.930，有效抑制了高频细节过度平滑问题。

3. 分层多尺度整合机制(HMIM)
   三尺度UNet架构通过公式F_dec
   =F_sc
   +F_fusion
   实现跨层特征交互。对比实验证实，三尺度结构比双尺度和四尺度分别提升PSNR 1.39 dB和0.27 dB。

4. 损失函数设计
   采用改进的Charbonnier损失L_char
   =√((I_GT
   -I_pred
   )²
   +ε²
   )结合频域损失L_freq
   （权重α=0.01），在保持结构一致性的同时增强边缘细节恢复。

研究结论与讨论指出，MHF-Net通过异构架构协同、动态融合策略和多尺度优化三个创新点，系统解决了复杂雨纹场景下的三个关键科学问题：1) 突破传统单模态网络在长程依赖与局部细节间的权衡局限；2) 克服固定阈值方法对雨纹密度变化的敏感性；3) 实现跨尺度退化特征的解耦优化。视觉残差分析和DeepLabv3+语义分割实验证实，该方法在保持背景纹理连续性（如羽毛、砖墙等微观结构）方面具有显著优势。未来研究可探索CLIP引导的跨模态去雨框架，进一步解决动态雨纹与背景语义的耦合难题。该工作为恶劣天气条件下的可靠视觉感知提供了重要技术支撑。