STCAFormer:基于时空交叉注意力的Transformer遥感图像融合方法

《Remote Sensing of Environment》:STCAFormer: Spatio-temporal cross attention based transformer for fusion of remote sensing images

【字体: 大 中 小 】 时间:2026年07月31日 来源:Remote Sensing of Environment 12.3

编辑推荐:

  提出了一种混合时空融合方法(hybrid spatio-temporal fusion method)。该方法适用于Landsat 8/ MODIS和Sentinel-2/ Sentinel-3图像。设计了一个Swin-时间融合块(Swin-Temporal

  
提出了一种混合时空融合方法(hybrid spatio-temporal fusion method)。该方法适用于Landsat 8/ MODIS和Sentinel-2/ Sentinel-3图像。设计了一个Swin-时间融合块(Swin-Temporal fusion block)来捕获时间变化。设计了一个多尺度融合块(Multi-Scale fusion block)来融合时间和空间信息。
**论文解读:STCAFormer——基于时空交叉注意力Transformer的遥感图像融合方法**

**研究背景、问题与意义**

高时空分辨率遥感图像在植被监测、作物估产、大气环境监测、蒸散发估算及土壤水分分析等领域具有广泛需求。然而,由于传感器像素尺寸与扫描幅宽之间的固有矛盾,单颗卫星传感器难以同时获取高空间分辨率与高时间分辨率(HSHT)的遥感数据。现有卫星系统通常分为两类:一类是高空间分辨率低时间分辨率(HSLT)传感器,如Landsat系列(30m空间分辨率,16天重访周期);另一类是高时间分辨率低空间分辨率(HTLS)传感器,如MODIS系列(250–1000m空间分辨率,每日全球覆盖)。为克服单一传感器的限制,时空融合(spatio-temporal fusion, STF)技术应运而生,旨在通过融合不同来源的遥感数据生成同时具备高空间与高时间分辨率的图像。

现有STF方法主要分为四类:基于权重的方法(如STARFM、ESTARFM)、基于解混的方法(如MMT、STDFA、FSDAF)、基于贝叶斯的方法(如BME)以及基于学习的方法(包括CNN、Transformer、GAN和扩散模型)。尽管这些方法取得了一定进展,但仍存在不足:基于权重的方法在异质区域或高动态变化区域表现不佳,易受噪声影响;基于解混的方法存在块效应;基于贝叶斯的方法计算复杂度高,依赖准确的先验信息;基于CNN的方法感受野有限,难以捕捉全局信息;基于Transformer的方法虽能捕获全局依赖,但细节特征提取能力较弱,计算复杂度高且训练数据需求大;基于GAN的方法训练不稳定,易出现模式崩溃;基于扩散模型的方法结构复杂且计算效率低。

为克服上述局限性,研究人员提出了一种新颖的混合网络STCAFormer,首次将Transformer与CNN的多层结构集成并应用于STF领域。该研究旨在实现更有效的时空特征融合,提升融合图像的重建精度和跨区域、跨传感器迁移能力。论文发表在《Remote Sensing of Environment》。

**主要技术方法**

研究采用了一种U型网络架构,包含特征提取、特征融合和特征重建三个阶段。关键技术创新包括三个模块:1)Swin-时间融合块(Swin-Temporal Fusion block, STF),利用滑动窗口交叉注意力机制(window multi-head cross-attention, W-MHCA)和移位窗口交叉注意力机制(shifted window multi-head cross-attention, SW-MHCA)来融合粗图像的时相信息与细图像的空间信息;2)多尺度空间融合块(Multi-Scale Spatial Fusion block, MSSF),通过多尺度特征提取和通道-空间注意力加权融合空间细节;3)双路径上采样块(Dual-Path Upsample block, DPU),结合卷积与双线性插值路径以及点采样路径(采样点生成器SPG)以减少伪影、保留细节。实验数据来自亚洲、澳大利亚和美洲的多个区域,包括Landsat 8/MODIS数据集(DAXING、CIA、BR_LM)和Sentinel-2/Sentinel-3数据集(BR),共构建了4个数据集。训练与测试比例约为4:1,并设计了跨区域、跨传感器及联合跨区域与跨传感器的迁移实验。

**研究结果**

**4.2.1. 在DAXING数据集上的表现**
通过对比FSDAF、GAN-STFM、ECPW-STFN、SwinSTFM、STFDiff、EWMT等基线方法,STCAFormer在所有定量指标(PSNR、SSIM、RMSE、MAE、SAM)上均取得最优结果,提升幅度分别为PSNR 0.52–1.85,SSIM 0.0135–0.0526,RMSE 0.0016–0.0074,MAE 0.0013–0.0059,SAM 0.0083–0.0153。损失曲线显示训练与验证损失稳定收敛,无过拟合。绝对误差(AE)的均值、标准差及95%置信区间分析表明,STCAFormer在多数测试日期上具有最低的AE和更窄的置信区间,稳定性优于基线方法。可视化结果中,STCAFormer的融合图像在细节恢复、纹理再现和光谱一致性上最接近真实图像。

**4.2.2. 在BR数据集上的表现**
在BR数据集上,STCAFormer同样在所有指标上取得最佳性能,提升幅度为PSNR 0.62–3.09,SSIM 0.0178–0.0534,RMSE 0.0011–0.0112,MAE 0.0007–0.0098,SAM 0.0018–0.0460。相比DAXING,STCAFormer在BR上的优势更为显著,这得益于其MSSF模块和DPU模块对高空间分辨率细图像细节的有效捕捉与重建。可视化结果中,STCAFormer在光谱一致性、空间细节丰富度和边界清晰度上均优于基线方法。

**4.3.1. 跨区域迁移能力**
将DAXING训练的模型应用于CIA和BR_LM数据集。在DAXING→CIA任务中,STCAFormer在PSNR、SSIM、MAE和RMSE上取得最佳结果,提升幅度分别为PSNR 0.36–2.26,SSIM 0.0013–0.0935,RMSE 0.0018–0.0118,MAE 0.0011–0.0087。在DAXING→BR_LM任务中,STCAFormer在所有指标上均最优,验证了其在同类型传感器不同区域间的泛化能力。

**4.3.2. 跨传感器迁移能力**
将BR训练的模型应用于BR_LM(Landsat 8/MODIS),STCAFormer在四个指标上取得最佳,提升幅度为PSNR 0.26–2.81,SSIM 0.0186–0.0653,RMSE 0.0009–0.0101,MAE 0.0006–0.0078,SAM 0.0117–0.0516。可视化结果中,STCAFormer在光谱和色彩信息保持上优势明显,边缘清晰,而基线方法存在模糊或颜色失真。

**4.3.3. 联合跨区域与跨传感器迁移能力**
将BR训练的模型应用于CIA,STCAFormer在SSIM、RMSE和MAE上取得最优,提升幅度分别为SSIM 0.0041–0.0416,RMSE 0.0024–0.0155,MAE 0.0006–0.0166。PSNR和SAM略低于最佳基线,但整体仍具竞争力。分析表明,STCAFormer在跨区域迁移上略优于跨传感器迁移,且性能稳定。

**4.4. 时间间隔影响**
在长时序CIA数据集上,所有方法的MAE呈现先下降后上升的趋势,与物候变化周期一致。STCAFormer在多数预测日期上取得最优平均MAE,尤其当预测日期与输入日期地表特征相似时表现更佳。跨传感器迁移(BR→CIA)性能略低于跨区域迁移(DAXING→CIA),原因在于分辨率差距不匹配导致的过专业化映射。

**4.5. 统计显著性分析**
配对t检验显示,STCAFormer在大多数实验场景和测试日期上相对于基线方法具有统计显著改善(p<0.05)。与GAN-STFM相比,95.7%的对比(45/47)显著;与SwinSTFM相比,66.0%显著(31/47)。在联合跨区域与跨传感器任务中,显著性比率下降至50%,表明STCAFormer与SwinSTFM在此场景下统计性能相当。

**4.6. 模型复杂度比较**
STCAFormer的FLOPs(268.82G)最高,但参数量(20.88M)低于SwinSTFM(37.46M)。实际推理时间(0.28s/样本)处于中等水平,快于EWMT(1.70s)和STFDiff(1.10s),略慢于ECPW-STFN(0.25s)和SwinSTFM(0.16s),对于离线处理可接受。

**4.7.1. 各模块的消融实验**
在DAXING和BR上分别移除STF、MSSF或DPU模块,完整STCAFormer在所有指标上均最优。STF模块对结构相似性贡献显著,MSSF提升PSNR和SSIM,DPU改善PSNR、RMSE和MAE。可视化结果表明,缺少任一模块都会导致光谱失真、颜色偏差或细节丢失。

**4.7.2. 注意力头维度影响**
实验比较了头维度为8、12、16、24时的性能。头维度为24时在PSNR、RMSE、MAE上达到最优,且SSIM与较低维度接近,因此默认设置为24。

**4.8. 局限性**
STCAFormer在跨传感器迁移中存在细节丢失和光谱不一致,主要因为DPU的网格采样机制和线性层对不同传感器空间分辨率与光谱响应函数的差异敏感。此外,模型复杂度较高,注意力机制增加了FLOPs和参数量,需进一步轻量化。模型可解释性不足,需开发可视化工具阐明内部机制。数据集质量对训练和测试至关重要,需仔细筛选和预处理遥感影像。

**结论部分翻译**
本研究提出了一种新颖的基于Transformer的时空融合方法STCAFormer,用于遥感图像融合,解决了现有时空融合方法的局限性。STCAFormer框架采用了创新的融合模块,即Swin-时间融合块(STF)和多尺度空间融合块(MSSF),协同融合全局时间与空间特征,实现了优越的图像重建和时间一致性。在Landsat 8/MODIS、Sentinel-2/3等多个数据集上的综合实验表明,该模型在RMSE、PSNR和SSIM等指标上相比基线方法有显著提升。跨区域、跨传感器及联合跨区域与跨传感器的迁移实验表明,STCAFormer相比基线方法具有更强的迁移能力,其中跨区域迁移略优于跨传感器迁移。无论是短期还是长期间隔的数据融合,STCAFormer均优于基线方法。结果表明,STCAFormer在多种光学传感器配置和不同土地覆盖领域具有良好的泛化能力,在Landsat 8/MODIS和Sentinel-2/3数据集上得到了验证。未来工作可进一步优化模型以适用于实时应用,并将其扩展到其他遥感挑战,如动态环境监测和大规模土地利用分析。同时,可视化Swin-时间融合块的中间注意力图将有助于解释不同卫星图像之间时空对应关系的建立。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号