基于Mamba技术的局部注意力网络在遥感图像超分辨率中的应用
《Neurocomputing》:Mamba-enhanced local attention network for remote sensing image super-resolution
【字体:
大
中
小
】
时间:2026年05月06日
来源:Neurocomputing 6.5
编辑推荐:
赵罗欣|孙斌|刘立国|康旭东|李书涛湖南大学人工智能与机器人学院,长沙,410082,中国摘要遥感图像超分辨率(SR)技术可以为环境监测、灾害评估等领域提供更准确的数据支持。最近,基于Mamba的方法在SR领域取得了优异的成绩,优于卷积神经网络(CNN)和Transformer。
赵罗欣|孙斌|刘立国|康旭东|李书涛
湖南大学人工智能与机器人学院,长沙,410082,中国
摘要
遥感图像超分辨率(SR)技术可以为环境监测、灾害评估等领域提供更准确的数据支持。最近,基于Mamba的方法在SR领域取得了优异的成绩,优于卷积神经网络(CNN)和Transformer。然而,这些方法可能会遇到纹理错位和变形的问题,因为Mamba的扫描机制可能会破坏图像固有的二维空间连续性。此外,由于其状态转换范式在模拟高频细节方面的能力有限,纹理细节可能会变得模糊或丢失。为了解决上述两个问题,我们提出了一种新的Mamba增强型局部注意力网络(MELA)。它利用Mamba和重叠窗口注意力机制来实现全局-局部特征互补,有效增强高频细节并自适应地模拟特征关联。具体来说,我们在MELA中使用了提出的局部自注意力视觉Mamba(LSViM),通过交叉扫描层和注意力机制的协同作用来增强空间建模能力。在4个广泛使用的遥感数据集上的实验结果表明,MELA的性能优于现有方法,能够获得边缘更清晰、特征连续性更强的高分辨率图像。
引言
遥感图像超分辨率(SR)是指利用算法将低分辨率(LR)的模糊图像重建为包含丰富细节的高分辨率(HR)图像的过程[1]、[2]、[3]。遥感图像SR有效克服了传感器硬件限制和大气干扰造成的图像退化,显著提升了遥感数据的实际应用价值[4]、[5]。它已被广泛应用于环境和生态监测[6]、气候变化监测[7]、城市规划[8]以及矿区监测[9]、[10]等领域。
图像超分辨率最初采用了插值方法,如最近邻插值[11]、双线性插值[12]和双三次插值[13]。这些方法实现简单,但生成的图像边缘会有锯齿状[14]、[15]。随后出现了基于重建的方法,包括最大后验概率方法[16]、[17],虽然提高了图像质量,但在处理边缘信息方面仍需进一步改进[18]。近年来,深度学习已成为计算机视觉领域的主流。SRCNN[19]首次将深度学习引入图像SR领域,为深度学习超分辨率奠定了基础。CNN方法可以用相对少量的数据实现重建,但在建模长距离依赖关系和复杂退化时仍存在固有缺陷[20]。随后,SwinIR[21]引入了变压器,它使用局部窗口注意力和移动机制,成为新的主流方向。变压器具有更强的语义理解和结构建模能力。但在建立长距离关系时,它依赖于堆叠的注意力层,这可能导致信息容易衰减。此外,使用局部注意力会削弱全局特征表示,限制了全局信息的有效利用[22]。
最近,Mamba[23]的出现有效地弥补了遥感建模中的信息衰减问题,降低了计算复杂性并提高了计算效率。Mamba基于状态空间模型(SSM),其独特的选择性扫描机制使复杂性严格保持线性。此外,它通过隐式和显式传递信息来建模长距离依赖关系,实现了全局跨区域交互而不会导致信息衰减[24]。因此,许多人开始使用Mamba进行图像超分辨率,并提出了一系列方法。这些基于Mamba的方法对输入应用因果处理机制,以实现可控的长距离依赖关系建模并降低计算复杂性。然而,它们可能会分割局部依赖关系并忽略全局信息,从而无法有效建模空间上下文关系[25]。此外,固定的扫描策略缺乏灵活性,无法自适应地捕捉空间关系[26]。图1展示了这两个缺点对图像重建的影响。
为了解决这些问题,我们设计了一种高效的Mamba增强型局部注意力(MELA)网络。该架构同时使用Mamba和注意力机制。遥感图像通常包含许多大型物体,Mamba可以高效地模拟大尺度物体与地面的关联,并动态调整状态转换矩阵,展现出对复杂退化场景的鲁棒性。注意力可以有效保留图像细节,弥补Mamba在微观特征方面的不足。两者的互补不仅使得图像特征建模更加全面,还实现了有效的图像重建,同时降低了计算复杂性。图2展示了我们的方法与其他方法(包括CNN、Transformer和Mamba)之间的相似性和差异。我们的模型采用了局部自注意力选择性状态空间模型(LSS6)模块,将局部自注意力与交叉扫描层结合。通过全局和局部特征的互补建模,实现了效率和准确性的双重突破。与其他基于Mamba的方法相比,我们的方法能够完全保留局部上下文信息,使Mamba模块在更准确的空间特征下进行状态转移。这种处理有助于保持遥感图像中大尺度地物的连续性,并避免边缘失真。我们还在多个数据集上进行了实验,以进一步验证我们提出的方法的有效性。
总之,我们的主要贡献可以总结如下:
(1)我们提出了一种名为MELA的新型遥感图像超分辨率模型,该模型专门设计用于准确捕捉遥感图像的高频细节特征,并有效建模长距离空间上下文相关性,以实现高保真重建。
(2)LSViM模块创新性地结合了全局扫描状态空间模型和局部自注意力,实现了全局-局部特征互补,有效缓解了传统基于Mamba的方法中由于因果处理导致的局部依赖关系碎片化问题。此外,LSViM能够动态适应全局图像退化模式,保持整体风格的连贯性,并在精确修复局部缺陷区域的同时增强高频细节的恢复,从而实现了全局协调且局部锐利的视觉效果。
(3)我们在四个广泛使用的遥感图像超分辨率数据集上进行了全面而广泛的实验。定量和定性结果均表明,MELA重建的图像在客观指标上具有更高的准确性,视觉效果更清晰、更真实,优于最先进的比较方法,整体表现更优。
本文的其余部分组织如下:第2节介绍了图像超分辨率的相关工作;第3节详细阐述了我们提出的MELA;第4节展示了我们的实验结果并提供了详细分析;最后,第5节总结了本文。
章节片段
相关工作
本小节回顾了基于CNN、Transformer和Mamba的图像超分辨率相关研究。
动机
最近,基于Mamba的模型在图像超分辨率领域展现了显著潜力。Mamba采用选择性扫描机制和隐式状态转换来有效建模长距离依赖关系。然而,现有的基于Mamba的方法在处理二维图像时依赖单向因果处理,这种方法倾向于切断图像内部的固有局部依赖关系,而Mamba的固定扫描策略无法自适应地捕捉全局空间信息
实验
在本节中,我们详细描述了使用的数据集、比较方法、评估指标等信息。为了证明我们网络的优越性,我们在四个数据集上进行了实验。此外,还进行了消融实验以证明所提出模块的有效性。
结论
在本研究中,我们提出了一种用于遥感超分辨率的Mamba增强型局部注意力(MELA)。MELA采用局部窗口注意力机制来自适应调整不同部分的权重,以补偿Mamba中局部特征的丢失。具体来说,我们在空间信息提取分支中添加了S6模型,并提出了LSS6模块,它结合了局部注意力机制和交叉扫描层,以实现更全面的建模。
CRediT作者贡献声明
赵罗欣:撰写——原始草案、方法论、调查、概念化。孙斌:撰写——审阅与编辑、监督、调查。刘立国:撰写——审阅与编辑、资源获取。康旭东:撰写——审阅与编辑、资源获取。李书涛:撰写——审阅与编辑、资源获取。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系,这些利益或关系可能会影响本文所报告的工作。
致谢
本研究得到了国家自然科学基金(62221002, 62171183, U24A20327)和湖南省重点实验室(2018TP1013)的支持。
李书涛分别于1995年、1997年和2001年在湖南大学获得学士、硕士和博士学位。2001年,他加入湖南大学电气与信息工程学院。2001年5月至10月,他在香港科技大学计算机科学系担任研究助理。2002年11月至2003年11月,他在伦敦大学皇家霍洛威学院担任博士后研究员。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号