面向多光谱图像压缩的光谱-空间解耦与融合网络及其多尺度感知

《Remote Sensing》:A Spectral–Spatial Decoupling and Fusion Network with Multi-Scale Perception for Multispectral Image Compression

【字体: 大 中 小 】 时间:2026年08月30日 来源:Remote Sensing 4.3

编辑推荐:

  多光谱图像包含丰富的空间细节和光谱信息,但其庞大的数据量对传输带宽和存储资源提出了很高要求。现有的多光谱图像压缩方法在联合建模空间冗余和谱间冗余方面仍面临挑战。特别地,部分编码器-解码器设计中采用相似的特征处理策略、有限的光谱-空间交互以及不充分的多尺度建模,

  
多光谱图像包含丰富的空间细节和光谱信息,但其庞大的数据量对传输带宽和存储资源提出了很高要求。现有的多光谱图像压缩方法在联合建模空间冗余和谱间冗余方面仍面临挑战。特别地,部分编码器-解码器设计中采用相似的特征处理策略、有限的光谱-空间交互以及不充分的多尺度建模,限制了压缩效率的进一步提升。为解决上述问题,本文提出了一种具有多尺度感知的光谱-空间解耦与融合网络(SSDFN),用于多光谱图像压缩。SSDFN构建于端到端学习压缩框架之上,针对编码器和解码器分别引入了差异化的光谱导向与空间导向处理通路,并配以定制化的融合机制。编码器侧重冗余抑制与紧凑潜表征学习,而解码器强调特征交互、信息补偿与高保真重建。此外,研究还开发了一个多尺度特征融合块(MSFB),用于建模多光谱遥感场景中复杂的空间结构。进一步引入了超先验(hyperprior)和上下文熵模型以改进熵估计。在Landsat-8和Sentinel-2数据集上的实验表明,SSDFN取得了具有竞争力的率失真性能,并在空间重建质量、感知质量和光谱保真度方面提供了一致的改进。
## 论文解读:面向多光谱图像压缩的光谱-空间解耦与融合网络(SSDFN)

### 一、研究背景与问题

随着对地观测技术的快速发展,Landsat-8、Sentinel-2等卫星能够持续获取高空间分辨率、多光谱波段的遥感影像,在环境监测、精准农业、地质勘探和灾害观测等领域发挥着日益重要的作用。然而,不断提高的空间分辨率和光谱波段数量导致多光谱遥感数据量急剧增长,对星载存储和星地传输带宽造成了巨大压力。因此,发展兼具高压缩比和低保真的多光谱图像压缩方法成为遥感数据处理领域的重要课题。

相较于常规RGB图像压缩,多光谱图像压缩面临的核心挑战是如何在空间和光谱两个维度上同时降低高度耦合的冗余。在空间维度上,多光谱图像通常包含复杂的地物纹理、清晰的物体边界和不同尺度的结构模式;在光谱维度上,不同波段记录了同一地物在不同波长下的反射或辐射响应,因而普遍存在强的谱间相关性。早期的多光谱压缩方法主要依赖基于手工先验的传统变换编码框架,如小波变换、主成分分析及其组合方案。这些方法受限于固定的变换基和线性模型,难以自适应地描述复杂的非线性光谱-空间相关性,在高压缩比下容易出现纹理退化、边缘模糊和光谱响应偏移等问题。近年来,基于端到端率失真优化的学习压缩方法展现出强劲性能,但大多数模型针对三通道RGB图像设计,直接应用于多光谱图像时往往仅通过修改输入输出通道数,未能显式建模谱间相关性、波段连续性和光谱结构特性。专门针对多光谱数据设计的端到端压缩网络虽已出现,但仍存在编码器和解码器采用相似特征处理策略、光谱-空间特征交互不足以及多尺度建模不充分等问题。

### 二、研究内容与意义

针对上述问题,研究人员提出了光谱-空间解耦与融合网络(Spectral-Spatial Decoupling and Fusion Network, SSDFN)。SSDFN的核心创新在于提出了差异化的编码器-解码器光谱-空间处理与融合机制:编码器侧重冗余抑制和紧凑特征学习,解码器侧重特征交互和高保真重建。具体而言,编码器侧的光谱-空间解耦融合模块(ESSDF)通过双分支结构分别处理光谱和空间信息,并利用门控机制自适应融合;解码器侧的光谱-空间解耦融合模块(DSSDF)则引入基于注意力的特征交互和深度融合,促进光谱-空间协同重建。此外,研究还开发了多尺度特征融合块(MSFB),通过并行膨胀卷积和通道洗牌机制扩大感受野并促进跨尺度信息交互。该研究成果发表于《Remote Sensing》期刊,为多光谱遥感图像的高效压缩提供了一种新的架构设计思路。

### 三、主要关键技术方法

研究采用了以下核心技术方法:基于变分自编码器(VAE)的端到端压缩框架,结合超先验和空间通道上下文模型(SCCTX)进行熵估计;编码器侧ESSDF模块采用逐点卷积与深度卷积构成的双分支结构配合SwiGLU激活和广义除法归一化(GDN)实现光谱-空间解耦与门控融合;解码器侧DSSDF模块采用逆向GDN(IGDN)、注意力机制和SwinGLU实现特征重建;MSFB采用三支路膨胀深度可分离卷积结合通道洗牌实现多尺度建模。实验使用了Landsat-8数据集(7波段,10000张训练图/1000张测试图)和Sentinel-2数据集(8波段,同样划分)。

### 四、研究结果

**4.1 数据集测试结果**:在Landsat-8和Sentinel-2数据集上,SSDFN在PSNR、RMSE、MS-SSIM和MSA指标上均取得有竞争力的率失真性能。以VVC为锚定方法,SSDFN在Landsat-8上实现BD-Rate降低36.066%,BD-PSNR和BD-MS-SSIM分别提升1.262 dB和0.896 dB;在Sentinel-2上实现BD-Rate降低49.515%,BD-PSNR和BD-MS-SSIM分别提升1.851 dB和2.455 dB。

**4.2 可视化分析**:近红外波段的视觉对比和绝对误差热图表明,SSDFN能更有效地恢复纹理结构和地物边界,减少过平滑和压缩伪影,误差分布更低更稀疏。

**4.3 复杂度分析**:SSDFN的计算复杂度为512.98 GFLOPs,编码和解码时间分别为68.83 ms和28.18 ms,高于对比方法,主要源于额外的光谱-空间处理和多尺度建模。

**4.4 消融实验**:去除MSFB导致最大性能下降(BD-Rate增加23.731%),去除ESSDF或DSSDF分别使BD-Rate增加16.080%和17.237%。去除门控机制使BD-Rate增加11.542%。参数匹配的均匀配置和模块互换实验进一步验证了差异化编码器-解码器设置的有效性。

**4.5 分支差异性与扰动分析**:维度匹配的表示相似性分析显示,光谱和空间分支的跨分支相似度持续低于分支内参考值(Pearson差距平均0.472,CKA差距平均0.273)。受控扰动实验表明,空间导向分支对局部空间邻域扰动更敏感,光谱导向分支对波段间相对幅度变化更敏感,证实了两个分支具有互补的功能特化。

### 五、讨论与结论

消融和配置实验表明,SSDFN的性能提升不仅依赖于模型容量和模块组成,还取决于ESSDF和DSSDF在分析变换与合成变换中的任务导向性配置。SSDFN虽然取得了优越的压缩性能,但较高的计算复杂度和编码延迟限制了其在资源受限星载处理器上的直接部署。未来工作需要在表示能力和计算效率之间寻求平衡,包括开发更高效的长程光谱依赖建模机制、模型简化、剪枝和轻量级熵模型,并在统一训练和评估协议下与最近的Mamba和Transformer方法进行比较,同时需要进行硬件感知优化和嵌入式平台验证。实验结论证实,SSDFN通过差异化的光谱-空间处理与多尺度建模,在宽比特率范围内实现了空间重建质量、感知质量和光谱保真度的良好平衡,为多光谱遥感图像压缩提供了有效的技术方案。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号