基于Mamba金字塔的频谱差异保留网络用于高光谱图像压缩

《Pattern Recognition》:A spectral difference preservation network based on Mamba pyramid for hyperspectral image compression

【字体: 时间:2026年01月16日 来源:Pattern Recognition 7.6

编辑推荐:

  针对高压缩率下高光谱图像重建模糊问题,提出基于Mamba金字塔的SDMNet模型。通过光谱差异保留头(SDPH)实现频率域特征对齐,引入Mamba金字塔特征增强模块(MPFM)实现多尺度特征精细化提取,结合VAE框架在Pavia Centre等数据集上PSNR提升最高达11%。

  
史凯杰|史翠萍|孙伟伟|王立国
齐齐哈尔大学通信与电子工程学院,中国齐齐哈尔,161000

摘要

在有损高光谱图像压缩中,重建的图像经常会出现块状或模糊效应。这种现象在高压缩比下更为明显。低质量的频域特征和粗糙的特征提取是导致这一现象的重要因素。本文提出了一种基于Mamba金字塔的高光谱图像压缩方法(SDMNet)。首先,设计了一个光谱差异保持头(SDPH),结合了分组逐元素重建和复杂频域特征分析,以保留高质量的频域特征。其次,首次将Mamba技术引入高光谱压缩领域,开发了Mamba金字塔特征增强模块(MPFM),通过维度压缩和金字塔Mamba结构实现精细的特征提取。最后,基于上述创新,本文提出了一种结合变分自编码器(VAE)框架的高效SDMNet。实验结果表明,在Pavia Centre、Chikusei和Houston数据集上,与一些先进的压缩模型相比,SDMNet表现出优异的压缩性能。特别是在Pavia Centre数据集上,SDMNet的PSNR提高了11%。相关代码将在https://github.com/shikaijieskj/SDMNet发布。

引言

高光谱图像能够揭示各种地面物体的特征,包括地形、温度和作物种类。因此,高光谱图像在环境评估、地质调查和军事监视等多个领域具有广泛的应用[[1], [2], [3]]。此外,随着传感器技术的进步[4,5],分辨率不断提高,产生了数十亿张高光谱图像,并通过各种平台进行传输[6,7]。因此,迫切需要改进高光谱图像压缩技术,以在保持高图像保真度的同时提高压缩效率。
目前,传统的图像压缩技术已经取得了一些成果[8,9]。经典的JPEG[10]和JPEG2000[11]技术架构主要包括图像变换、量化处理和熵编码。首先对图像进行变换并去除冗余信息,然后通过量化操作筛选并保留重要信息,最后利用熵编码技术进一步压缩相关性降低的数据。此外,为了适应时代需求,还出现了更好的便携式图形格式(BPG[12,13])和WebP[14]。然而,传统压缩方法有一个局限性,即在追求高压缩比时,重建的图像会出现明显的模糊效果。因此,对于具有丰富特征的高光谱图像,传统压缩方法难以实现高保真度重建。
为了寻求技术突破,研究人员将注意力转向了深度学习技术,这些技术在过去几年中变得非常流行[[15], [16], [17]]。经典的基于深度学习的图像压缩模型包括自编码器(AE[18,19])和变分自编码器(VAE[20,21])。刘等人构建了一种水下图像压缩方案,利用AE实现极低比特率的压缩;徐等人构建了一种基于VAE的卷积神经网络(CNN)进行压缩,通过线性CNN和非线性激活函数提升性能[21]。值得一提的是,与AE相比,VAE具有更强的数据建模能力,它学习到一个连续的潜在空间,取代了AE生成的离散潜在表示。这种连续性使得潜在空间中的每个点都有意义,从而支持更平滑的插值和新数据的生成。近年来,基于VAE的基线网络在图像压缩方面表现出色,性能优于传统方法[22,23]。这些基于VAE的网络通常包含编码器、熵编码模块和解码器,它们首先使用神经网络压缩图像,然后对数据进行量化,最后使用传统编码技术生成高效的比特流。此外,为了提高建模精度并有效利用先验知识,某些模型在其框架中融入了多种熵模型,如拉普拉斯熵模型、混合高斯模型和分解熵模型[24,25]。在这些理论基础上,研究人员设计了多种针对遥感图像的深度学习压缩网络,取得了良好的速率失真平衡效果[26,27]。尽管这些方法可以实现图像压缩,但在高压缩比下重建的图像仍然会模糊。所提出的SDMNet通过保留高质量的频域特征和精细的特征提取,在高压缩比下实现了清晰的重建。
用于高光谱图像压缩的深度学习模型主要有三类:基于CNN的方法[26,27]、基于Transformer的方法[28,29]和基于对比学习的方法[30]。在基于CNN的方法中,周等人构建了一种适用于轻型机载系统的高光谱图像压缩方法,该方法结合了优化后的解码器和通道注意力机制实现高质量重建[26]。在基于Transformer的方法中,张等人提出了一种高效的基于CNN-Transformer Hybrid(CTM)架构的高光谱图像压缩网络,为了满足星载推扫式高光谱传感器的接收场要求,设计了非方形卷积层和CTM模块构建轻型编码器[29]。需要注意的是,Transformer在处理长序列和高维数据时具有二次时间复杂度,导致计算和内存需求大幅增加。相比之下,Mamba基于选择性状态空间模型(SSM),采用线性时间复杂度,能够动态选择相关数据进行计算,从而提高效率并减少不必要的计算。因此,本文首次将Mamba技术引入高光谱压缩领域。在基于对比学习的方法中,郭等人构建了一种高质量的高光谱图像压缩网络,通过比较信息编码从原始高光谱图像中提取和组织判别性特征,并在不同通道索引下增强潜在特征的判别性[30]。尽管上述方法取得了良好的压缩效果,但在高压缩比下仍会丢失大量细节特征,这是由于频域特征的丢失和粗糙的特征提取方法所致。
高光谱图像在频域中包含丰富的信息。高质量的频域特征有助于提取边缘和纹理结构。然而,当前基于学习的高光谱图像压缩网络通常直接融合各波段的信息,忽略了波段之间的差异,这也导致频域中许多特征的丢失,使得重建图像在高压缩比下变得模糊。因此,高效对齐频域特征成为高光谱图像压缩需要解决的一个严重挑战。
为了解决上述问题,提出了一种基于Mamba金字塔的高光谱图像压缩网络(SDMNet)。该网络不仅保留了高质量的频域特征,还实现了精细的特征提取。高光谱图像包含丰富的频域特征,有助于对齐边缘和纹理特征。因此,构建了一个光谱差异保持头(SDPH)来对齐频域特征。其次,高光谱图像包含多种类型的特征,包括光谱特征、不规则特征和多尺度特征,因此构建了Mamba金字塔特征增强模块(MPFM)以精细地提取多种特征。最后,本文提出了一种结合VAE的高效高光谱压缩模型(SDMNet)。
本文的贡献可以总结如下:(1).
首次将Mamba技术引入高光谱图像压缩领域,提高了模型捕捉远距离特征的能力,有效提升了压缩效率和图像保真度,为高光谱数据压缩领域带来了新的技术视角。
  • (2).
    设计了一个光谱差异保持头(SDPH),包括分组逐元素重建头(GERH)、复杂频域特征分析块(CFB)和多尺度特征交互块(MIB),以高效对齐原始高光谱图像和重建高光谱图像中的频域特征。
  • (3).
    通过维度压缩块(DSB)、金字塔Mamba块(PMB)和点态卷积特征增强块(PFB)设计了一个Mamba金字塔特征增强模块(MPFM),以实现多种特征的精细提取。
  • (4).
    本研究高效地结合了SDPH、MPFM和VAE框架,构建了基于Mamba金字塔的高光谱图像压缩网络(SDMNet),并在三个公开的高光谱图像数据集上进行了大量实验,证明了SDMNet的优越压缩性能。
  • 本文的其余部分安排如下:第二节详细介绍了SDMNet及其各个模块;第三节介绍了相关数据集,并通过多种评估指标详细分析和比较了SDMNet与先进压缩方法;第四节总结了研究结果并探讨了未来研究的潜在方向。

    方法论

    本节详细描述了SDMNet、SDPH、MPFM和速率失真优化策略

    实验结果与分析

    在包括Pavia Centre、Chikusei和Houston在内的多个高光谱图像数据集上进行了广泛实验,这些数据集包含多种地面物体,可以有效地评估这些模型。此外,选择了五种先进的图像压缩算法进行比较,分别是Joint[31]、Scale[32]、Factorized[32]、MDSNet2024[33]和GDRNet2024[34]。实验结果表明,GEMNet在所有数据集上的峰值信噪比(PSNR)方面表现最佳

    结论

    本文提出了一种新的高光谱图像压缩方法SDMNet,该方法在保留高光谱光谱差异的同时实现了多种特征的精细提取。具体来说,我们使用SDPH高效对齐原始高光谱图像和重建高光谱图像中的频域特征,然后使用MPFM进一步精细提取多种特征。这些特定设计使得所提出的模型能够

    CRediT作者贡献声明

    史凯杰:撰写——原始草稿、软件开发、资源准备、方法论设计、调查实施、数据分析、概念化。史翠萍:撰写——审稿与编辑、监督指导、方法论制定、资金筹集。孙伟伟:数据可视化、验证工作、项目管理。王立国:撰写——审稿与编辑、监督指导。

    利益冲突声明

    作者声明以下可能被视为潜在利益冲突的财务利益/个人关系:
    史翠萍报告称获得了中国国家自然科学基金(项目编号42271409)和湖州市科技计划项目(项目编号2024GZ36)的财务支持;孙伟伟报告获得了中国国家重点研发计划(项目编号2024YFF1400900)和浙江省的财务支持

    致谢

    本工作部分得到了中国国家自然科学基金(项目编号42271409)、湖州市科技计划项目(项目编号2024GZ36)、中国国家重点研发计划(项目编号2024YFF1400900)、浙江省“先锋士兵”和“领头鹅”研发项目(项目编号2023C01027)以及浙江省科技创新2035计划(项目编号2024Z262)的支持
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号