用于单图像超分辨率的自适应多方向Mamba扩散模型
《Pattern Recognition》:Adaptive multi-directional Mamba diffusion model for single image super-resolution
【字体:
大
中
小
】
时间:2026年09月19日
来源:Pattern Recognition 9.1
编辑推荐:
• 提出MVMDSR,一种用于图像超分辨率的多方向Mamba扩散模型。
• MVMamba模块以线性计算成本捕获全局空间依赖。
• ME-RCS将双路卷积与SSM相结合用于局部特征提取。
• MSSC通过空间和通道门控自适应地过滤跳跃连接中的噪声。
**引言**
单图像超
• 提出MVMDSR,一种用于图像超分辨率的多方向Mamba扩散模型。
• MVMamba模块以线性计算成本捕获全局空间依赖。
• ME-RCS将双路卷积与SSM相结合用于局部特征提取。
• MSSC通过空间和通道门控自适应地过滤跳跃连接中的噪声。
**引言**
单图像超分辨率旨在从单张低分辨率观测图像重建高分辨率图像。该任务出现在成像硬件或传输带宽限制了所获取图像空间分辨率的应用中,包括医学成像[1]、遥感[2]和视觉监控[3]。该重建问题是病态的,因为从低分辨率图像到其高分辨率对应图像的映射不唯一。一张低分辨率图像对应多个与观测测量一致的合理高分辨率图像,而恢复准确的高频细节需要外部先验信息。
基于学习的方法通过训练神经网络来建模从低分辨率到高分辨率图像的映射,从而解决这一病态性问题。Dong等人[4]提出了SRCNN,用单个端到端卷积网络替代了插值和基于字典的重建分离阶段,在低分辨率和高分辨率图像对上训练。SRCNN证明,使用像素级损失训练的卷积网络可以学习有效的超分辨率映射,无需人工特征设计。在此基础上,Kim等人[5]提出了VDSR,通过全局残差学习将网络深度增加到20层,并证明使用残差连接稳定训练时,更深的网络能改善重建精度。Shi等人[6]引入了亚像素卷积作为上采样机制,使网络能够在低分辨率尺度下处理特征,再将其重排为高分辨率输出,从而降低了相对于在整个流程中以全分辨率运行的方法的计算成本。
Lim等人[7]提出了EDSR,从残差块中移除了批归一化并增加了网络的宽度和深度,建立了像素级超分辨率评估的强基线。Zhang等人[8]提出了RCAN,通过挤压-激励操作在残差块中引入了通道注意力,使网络能够重新校准通道响应并专注于与重建相关的高频特征。Zhang等人[9]提出了RDN,将密集块中的每个卷积层连接到所有后续层,允许在整个网络中进行层次化特征复用。这些卷积架构在由核大小和网络深度确定的固定感受野内建模空间特征,这限制了它们捕获空间上相距较远的图像区域之间结构关联的能力。
Vaswani等人[10]提出的Transformer架构通过自注意力将建模范围从局部邻域扩展到全局空间依赖。Liang等人[11]提出了SwinIR,将Swin Transformer[12]适配到图像恢复中,在重叠的局部窗口内计算自注意力,并在常规窗口分区和移位窗口分区之间交替。SwinIR证明,基于窗口的自注意力能够以可管理的计算成本实现有竞争力的重建精度。Chen等人[13]提出了HAT,将通道注意力与重叠跨窗口自注意力相结合,以增加对每个输出预测有贡献的输入像素比例,解决了基于窗口的注意力空间覆盖有限的问题。然而,基于Transformer的超分辨率方法对每个低分辨率输入产生单个确定性估计,这种点估计形式并未表示与观测低分辨率测量一致的高分辨率图像分布。
Ho等人[14]提出了去噪扩散概率模型,通过马尔可夫链定义生成过程,在固定步数中用高斯噪声破坏训练数据,并通过学习到的反向链通过迭代去噪恢复原始数据。该框架表示输出的分布而非单个预测,使其适用于多个解与输入一致的病态逆问题。Saharia等人[15]提出了SR3,将条件扩散应用于超分辨率,在每个去噪步骤中将上采样的低分辨率图像与含噪样本拼接,根据输入的时空内容对反向过程进行条件约束。SR3表明,在这种条件目标下训练的U-Net去噪网络能够比确定性卷积网络在较大放大倍数下生成更锐利的纹理。Li等人[16]提出了SRDiff,将扩散目标重新定义为高分辨率图像与其双三次上采样估计之间的残差,而非完整的高分辨率图像。这种残差预测策略降低了生成目标的方差,并相对于SR3加速了收敛。Rombach等人[17]提出了潜在扩散模型,在预训练自编码器的压缩潜在空间中执行扩散过程,降低了处理数据的空间维度并降低了每步计算成本。Wang等人[18]提出了StableSR,通过引入可控特征包裹模块将潜在扩散框架扩展到真实世界超分辨率中,以平衡感知质量和保真度。Yue等人[19]提出了ResShift,用残差移位转换取代了标准高斯噪声前向过程,直接在低分辨率和高分辨率分布之间移动,相对于SR3和SRDiff减少了所需去噪步数。
然而,上述方法采用U-Net架构,其中残差卷积块处理局部特征提取,自注意力层建模全局空间依赖。自注意力的计算成本随特征图中空间位置数量的平方缩放。当网络处理高分辨率特征图时,这种二次缩放增加了每个去噪步骤的成本,这限制了注意力基去噪网络在有限计算预算下的适用性。
为解决这一问题,我们提出了AMMDSR(自适应多方向Mamba扩散模型),用于SISR,其中去噪U-Net由选择性状态空间模型组件构建。AMMDSR采用了SRDiff的残差预测公式,并通过卷积网络从低分辨率输入中提取的特征对去噪过程进行条件约束。去噪U-Net内引入了三个模块。增强残差补偿结构(ME-RCS)作为基本特征提取块,将双路深度可分离和分组卷积与单方向选择性状态空间模型相结合用于全局上下文集成,使用零初始化的标量确保训练稳定。多方向视觉Mamba融合块(MVMamba)放置在每级U-Net的特征提取块之后,通过四方向选择性扫描建模整个特征图上的空间依赖,以计算成本随空间元素数量线性缩放的机制替代自注意力。Mamba选择性跳跃连接(MSSC)应用于编码器和解码器之间的每个分辨率级别,在解码器特征拼接之前通过通道门控和基于选择性状态空间模型的空间门控过滤跳跃连接特征。
AMMDSR的新颖之处在于面向扩散的状态空间去噪架构,而非将Mamba直接移植到SISR中。它重新设计了时间条件U-Net的三个关键信息通路:ME-RCS建立用于含噪特征提取的渐进式局部-全局残差补偿;MVMamba构建用于高效全局依赖建模的多方向空间融合;MSSC在编码器特征进入解码器之前执行联合通道-空间选择。这些机制分别解决了迭代去噪过程中的特征补偿、全局交互和噪声传播问题,形成了一个从根本上不同于MambaIR直接恢复范式的信息流设计。
本工作的主要贡献总结如下:
1. 我们提出了AMMDSR,一种面向扩散的Mamba去噪架构,通过状态空间建模重新定义了时间条件残差扩散U-Net中的特征传播,从而能够高效处理空间扩展且随时间变化的含噪特征。
2. 我们提出了ME-RCS,在局部卷积特征与全局状态空间上下文之间建立渐进式残差补偿通路。其双卷积分支保留多尺度局部细节,而零初始化的调制在不干扰初始残差表示的情况下渐进式注入长程信息。
3. 我们设计了MVMamba作为扩散去噪器的多方向空间融合块。它将门控特征投影与四方向选择性扫描相结合,以线性复杂度建模整个特征图依赖,在每级U-Net分辨率级别上替代二次复杂度的自注意力。
4. 我们提出了MSSC,通过U-Net跳跃连接控制噪声传播。其协同的通道和状态空间选择性地传递结构信息丰富的编码器特征,同时在解码器融合之前衰减噪声相关响应。
**基于深度学习的图像超分辨率**
自卷积神经网络引入该任务以来,单图像超分辨率经历了大量发展。Dong等人[4]提出了SRCNN,这是第一个用于超分辨率的端到端卷积网络,通过三个卷积层建立了从低分辨率输入到高分辨率输出的基于学习范式。后续工作逐步增加了网络深度和表示能力。Kim等人[5]构建了具有20层的VDSR……
**方法**
本节介绍AMMDSR,一种用于单图像超分辨率的自适应多方向Mamba扩散模型。AMMDSR将超分辨率任务表述为条件残差去噪过程,在低分辨率输入特征的引导下从高斯噪声中恢复高频细节。去噪网络采用整合三个组件的U-Net架构:用于全局依赖建模的多方向视觉Mamba融合块,其计算复杂度……
**数据集**
模型在DIV2K数据集[34]和Flickr2K数据集[35]的组合上进行训练,两者共同提供3450张高分辨率图像,涵盖多样的自然场景。低分辨率训练图像通过对高分辨率图像施加双三次下采样生成,放大倍数为×2、×3和×4。训练图像在低分辨率尺度上随机裁剪为48×48像素的图像块,并进行标准数据增强,包括随机水平翻转和90度……
**结论**
在本文中,我们提出了AMMDSR,一种面向感知质量的自适应多方向Mamba扩散模型,用于单图像超分辨率。通过识别标准扩散去噪网络中自注意力的计算瓶颈,我们使用选择性状态空间模型重新设计了U-Net架构。我们的框架引入了ME-RCS块以整合局部卷积特征与全局上下文,以及MVMamba块以执行全分辨率空间……
**CRediT作者贡献声明**
Fu Hui:撰写–原始草稿、可视化、验证、调查、形式化分析、数据管理。
Song Zhaoyang:撰写–原始草稿、软件、资源、项目管理、方法论、经费获取、数据管理、概念化。
Gong Qiliang:验证、监督、软件、资源、方法论。
Hua Meiliang:撰写–审查与编辑、调查、形式化分析、数据管理。
Tian Xiaoguang:可视化、验证、监督、软件。
Bao Yanyan:……
**未引用参考文献**[44]
**利益冲突声明**
作者声明不存在可能影响本文所报告工作的已知竞争性经济利益或个人关系。
**致谢**
本工作得到甘肃省自然科学基金(25JRRA075)、兰州理工大学青年教师交叉学科研究培育项目(LUTXKJC-26026和LUTXKJC-25025)以及甘肃省青年科学技术基金(24JRRA754)的支持。
Fu Hui | Song Zhaoyang | Gong Qiliang | Hua Meiliang | Tian Xiaoguang | Bao Yanyan
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号