
-
生物通官微
陪你抓住生命科技
跳动的脉搏
多阶段Transformer在遥感图像超分辨率重建中的自适应特征提取与高效全局建模
【字体: 大 中 小 】 时间:2025年07月02日 来源:Expert Systems with Applications 7.5
编辑推荐:
针对遥感图像超分辨率(SR)任务中Transformer存在冗余令牌干扰和全局特征提取效率低的问题,研究人员提出多阶段Transformer(MPT),通过稀疏自注意力(S-SA)筛选关键令牌、密集自注意力(D-SA)迭代聚合全局特征,结合多维特征融合模块(MFFM)增强跨尺度交互。实验表明MPT以60.13%计算资源和67.38%参数量超越当前最优方法CAT 0.19 dB PSNR,为高分辨率遥感图像重建提供高效解决方案。
遥感图像在环境监测、军事侦察等领域具有重要应用价值,但受硬件限制和成像条件影响,常面临分辨率不足的挑战。现有Transformer方法虽能捕捉长程依赖,却存在两大瓶颈:一是大多数无关令牌导致特征冗余,二是全局特征提取计算成本过高。针对这些问题,研究人员提出多阶段Transformer(MPT),通过创新性设计实现高效高精度的超分辨率重建。
关键技术包括:(1)稀疏Transformer块(STB)采用Top-k稀疏操作筛选关键令牌;(2)密集Transformer块(DTB)通过迭代聚合模块(IAM)压缩特征图,结合交叉注意力实现低复杂度全局交互;(3)多维特征融合模块(MFFM)增强跨尺度特征关联。实验使用AID数据集训练,UCMerced数据集测试。
Sparse Transformer block (STB):通过稀疏自注意力(S-SA)计算令牌相似度,仅保留Top-k高相关性令牌,减少85%冗余计算,同时保持关键特征依赖。Dense Transformer block (DTB):采用IAM将输入特征迭代聚合为固定尺寸映射,通过D-SA实现跨分辨率信息传递,计算复杂度降低至传统方法的1/3。Multi-dimensional Feature Fusion Module (MFFM):构建多尺度特征金字塔,通过通道重加权机制增强跨尺度特征交互,提升纹理细节恢复能力。
研究结论表明,MPT在PSNR和SSIM指标上均优于现有CNN和Transformer方法,尤其对重复建筑结构等遥感典型场景的纹理恢复效果显著。其创新性在于:首次将多阶段特征处理机制引入遥感SR任务,通过"稀疏筛选-密集聚合"双阶段设计平衡计算效率与特征完整性;MFFM模块突破传统单尺度特征融合局限,为多分辨率遥感数据提供普适性解决方案。该成果发表于《Expert Systems with Applications》,为卫星影像分析、环境监测等应用提供新的技术支撑。
生物通微信公众号
知名企业招聘