Diff-DMamIR:一种基于扩散机制的动态精细引导算法,用于图像修复

《Neurocomputing》:Diff-DMamIR: A diffusion empowered dynamic fine-guided mamba for image restoration

【字体: 大 中 小 】 时间:2026年04月26日 来源:Neurocomputing 6.5

编辑推荐:

  本文提出基于Mamba和扩散模型(DM)的动态精细指导图像修复框架Diff-DMamIR。通过融合全局建模的Mamba与DM的高频先验特征,结合优先引导的选择扫描(PG-SSM)和通道注意力(PG-CA)机制,有效提升局部细节保留与全局语义融合能力。实验表明,该方法在去雾、去雨、去噪及低光增强任务中均达到SOTA性能。

  
吕胜龙|徐淑珍|毕远伟|王硕
中国山东省烟台市莱山区清水路30号,烟台大学计算机与控制工程学院,264005

摘要

利用状态空间模型(SSM)的全球建模能力和计算效率,Mamba在图像恢复任务(如去雨雾和去模糊)中展现了强大的潜力。然而,大多数基于Mamba的方法忽略了自然图像中的局部依赖性和空间连续性,这主要是由于它们将图像 flatten 成一维序列的范式。虽然这种方法在捕捉全局关系方面有效,但在充分利用细粒度空间细节方面存在局限性。最近,扩散模型和Transformer的混合范式的进步表明,通过同时捕捉全局和局部依赖性,可以解决这些局限性。受这些见解的启发,我们提出了Diff-DMamIR,这是一种由扩散模型(DM)支持的动态精细引导Mamba,旨在扩展Mamba和DM的混合框架用于图像恢复。我们在U-Net架构的基础上引入了动态Mamba(DMAM)层,以实现强大的特征提取和融合。DMAM结合了动态精细引导选择性扫描(DFSS)模块,该模块包括先验引导选择性扫描机制(PG-SSM)和先验引导通道注意力(PG-CA)模块。通过利用DM生成的先验特征,DFSS提高了局部细节的保留,并增强了全局语义的整合。具体来说,PG-SSM捕捉长距离依赖性,而PG-CA通过双分支结构重新校准先验嵌入的特征。DMAM层中PG-SSM和PG-CA的交替机制逐步细化了模型。我们在各种图像恢复任务上评估了Diff-DMamIR的性能,包括去雾、去雨雾、去噪和低光照图像增强。实验结果表明,Diff-DMamIR在标准基准测试中达到了最先进的性能,提供了卓越的视觉质量。我们的代码将在https://github.com/lsl-000/Diff-DMamIR/处公开。

引言

图像恢复是一个重要的低级计算机视觉任务,旨在从退化的图像中恢复高质量图像,例如模糊和雨雾图像[8]、[30]。天气引起的退化严重影响了图像在各种应用中的视觉质量和可用性,包括自动驾驶和监控,这使得图像恢复任务近年来受到了广泛关注。最近,深度学习在图像恢复领域取得了巨大进展。相关模型,如卷积神经网络(CNNs)[30]、生成对抗网络(GANs)[19]、视觉Transformer [5]、[7] 和扩散模型(DMs)[11]、[27]、[50],在捕捉2D自然图像的局部性和连续性方面显示出显著潜力。然而,CNNs [77]、[81] 主要关注局部特征,缺乏对全局上下文信息的有效利用。GANs 在控制训练过程和输出方面存在困难。Transformer [10] 在图像恢复领域显示出非凡的潜力。此外,各种注意力[6]、[81] 机制对图像处理的发展做出了巨大贡献。尽管如此,对计算能力的需求很大,训练和推理过程非常耗时。依赖于多层去噪自动编码器的DMs 在图像恢复方面取得了令人印象深刻的结果。然而,DMs的训练过程需要许多迭代步骤和大量的计算资源。
Mamba的最新进展通常是通过选择性扫描操作将2D图像 flatten 成多个一维序列,在图像恢复中取得了有希望的结果。然而,这种范式往往忽略了图像中固有的局部特征和空间连续性[31]。正如Gu和Dao [16] 所揭示的,尽管基于SSM的架构实现了线性复杂度的全球建模,但它们的一维卷积核和选择性扫描机制每步只与少数相邻令牌交互,不可避免地低估了局部纹理和细粒度色彩。因此,开发一种能够有效利用视觉数据中嵌入的多维信息的综合建模机制仍然是一个具有挑战性的任务。此外,我们注意到DM生成的先验可以帮助恢复模型更好地理解局部语义。DMs被明确训练用于去噪高频残差[23]、[52],因此它们的评分函数编码了局部细节应位于的位置的统计分布。受到先前先验引导图像恢复方法[52]、[64]的启发,我们提出了先验引导选择性扫描机制(PG-SSM),将DM与Mamba网络结合用于图像恢复。此外,为了进一步增强模型对局部特征的感知,我们引入了通道注意力机制,将DM生成的先验结合到我们提出的先验引导通道注意力(PG-CA)机制中,使通道注意力能够根据嵌入先验特征的语义信息自适应地生成通道权重。
基于上述内容,我们提出了Diff-DMamIR,它包括一个先验提取模块(PREN)、一个动态精细引导Mamba图像恢复网络(DMamIR)和一个DM。对于DMamIR,我们在U-Net框架[51]中堆叠了动态Mamba(DMAM)层,这些层由动态精细引导选择性扫描(DFSS)块和动态门控前馈网络(DGFN)块组成,参考了[21]、[64]中的堆叠策略。具体来说,我们提出的DFSS模块结合了状态空间模型(SSM)的线性计算复杂性和强大的高频重建能力,以及通道注意力的特征感知增强机制。这种组合显著提高了捕捉局部特征的能力,并进一步细化了图像恢复的细节。我们在多种图像恢复任务上进行了广泛实验,包括图像去雾、去雨雾、去噪和低光照图像增强。实验结果表明,我们提出的Diff-DMamIR在所有图像恢复任务上都取得了优异的结果。我们的贡献可以总结如下:
  • •
    我们提出了Diff-DMamIR,这是一个基于Mamba和DM的综合性模型,用于图像恢复。Diff-DMamIR充分利用了DM在恢复过程中生成的紧凑先验特征,DM和DMamIR的联合训练提高了模型的鲁棒性和效率。
  • •
    为了完全处理多尺度特征,在我们的U-Net恢复架构层中,我们提出了DFSS块,以高效利用先验特征并结合Mamba和通道注意力的优势。Mamba确保了图像中全局特征的完整表达,引入注意力机制使我们的模型能够更多地关注局部特征,从而弥补了Mamba在忽略局部关系方面的不足。
  • •
    在标准基准测试上的广泛实验表明,Diff-DMamIR具有优越性。借助先验特征和多尺度信息融合,Diff-DMamIR即使在复杂场景下也能实现最先进的恢复结果。
  • 相关工作

    图像恢复。

    图像恢复是低级计算机视觉中的一个关键研究领域,旨在从退化的图像中恢复高质量图像。该领域涵盖了各种退化类型,包括由恶劣天气条件(如雨和雾)引起的退化,以及其他常见失真,如噪声、模糊和压缩伪影。在与天气相关的退化中,研究主要集中在图像去雾[29]、[49]、[53]、[69]、图像去雨雾[14]等方面。

    方法

    在本节中,我们介绍了我们设计的Diff-DMamIR中的整体网络流程和模型块结构。如图1所示,Diff-DMamIR主要由一个紧凑的先验提取网络(PREN)、一个动态精细引导Mamba图像恢复网络(DMamIR)和一个扩散模型(DM)组成。DMamIR中的动态Mamba(DMAM)层的动态精细引导选择性扫描(DFSS)块包括一个先验引导通道注意力(PG-CA)模块和一个先验引导选择性扫描

    实验设置

    我们在四个图像恢复任务上测试了我们方法的性能,以确认其有效性:(1)图像去雾,(2)图像去雨雾,(3)图像去噪和(4)低光照图像增强。我们的DMamIR为每个任务采用了三层对称编码器-解码器网络架构。此外,我们加入了一个单层第四组件,设置了最多数量的DFSS块以促进进一步的特征提取。我们设置了每层中的块数以变化

    diff-DMamIR的消融研究

    在本节中,我们评估了所提出的Diff-DMamIR框架中核心组件的有效性。所有模型变体都按照相同的训练协议进行了重新训练,然后在ITS和Rain100H基准数据集上进行了评估。
    联合训练的效果。为了评估第二阶段的联合训练策略的效果,我们首先分别训练DM,然后将其性能与预训练的Diff-DMamIR模型进行比较,我们将其称为“无

    限制和未来工作

    当输入图像受到涉及极暗区域和复杂天气条件(如雾和雨)的复合退化影响时,我们的Diff-DMamIR方法在多个任务的感知指标方面仍有优化潜力。这个问题与生成模型的固有特性密切相关。同时,DM引入的性能开销也表明与一些现有方法相比还有改进的空间。
    为了解决这个问题,

    结论

    在本文中,我们提出了Diff-DMamIR用于图像恢复,它包括先验提取网络(PREN)、动态精细引导Mamba图像恢复网络(DMamIR)和一个扩散模型(DM)。作为估计器,DM从退化的低质量图像中重建先验特征。这些简洁的先验特征提供了关键的结构信息,增强了DMamIR中的后续重建。我们提出的DFSS块中的PG-SSM和PG-CA模块的顺序实现了

    CRediT作者贡献声明

    吕胜龙:撰写 – 原始草稿,验证,方法论,概念化。徐淑珍:撰写 – 审稿与编辑,撰写 – 原始草稿,项目管理,方法论,概念化。毕远伟:撰写 – 审稿与编辑。王硕:验证。

    利益冲突声明

    作者声明他们没有已知的可能会影响本文报告工作的竞争财务利益或个人关系。

    致谢

    本研究得到了山东省自然科学基金(ZR2024MF027, ZR2022QF032)的支持。
    吕胜龙于2023年在中国常州工程技术学院建筑与土木工程学院获得了建筑学士学位。他目前在中国烟台大学计算机与控制工程学院攻读计算机技术硕士学位。他的研究兴趣包括计算机视觉和图像恢复。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号