
-
生物通官微
陪你抓住生命科技
跳动的脉搏
轻量化混合神经网络在遥感图像超分辨率重建中的创新应用
【字体: 大 中 小 】 时间:2025年06月11日 来源:Engineering Applications of Artificial Intelligence 7.5
编辑推荐:
为解决深度学习超分辨率网络模型复杂度高、计算资源消耗大的问题,研究人员提出了一种结合轻量卷积神经网络(Ghost模块)与Swin Transformer的混合架构。该研究通过高频滤波多蒸馏块(HFMDB)提取局部高频细节,利用移位窗口自注意力机制捕获全局信息,在降低1.71×105 参数量的同时,峰值信噪比(PSNR)提升0.054 dB,结构相似性(SSIM)提高0.003,为边缘计算等资源受限场景提供高效解决方案。
在卫星遥感、灾害监测等领域,高分辨率图像至关重要,但硬件升级成本高昂。传统基于深度学习的超分辨率重建(SRR)方法如SRCNN、EDSR等虽效果显著,却面临模型参数量大(如Transformer模型超1.15亿参数)、计算复杂度高(8.2×109
乘加操作)的瓶颈,难以部署在卫星等资源受限设备。黑龙江高校联合团队在《Engineering Applications of Artificial Intelligence》发表研究,创新性地融合轻量卷积与Transformer优势,提出兼顾性能与效率的解决方案。
研究采用Ghost模块替代传统3×3卷积,通过低通道卷积与廉价操作两步处理降低参数量;设计高频滤波多蒸馏块(HFMDB)结合平均池化与上采样提取高频细节;引入Swin Transformer层(STL)通过移位窗口自注意力捕获全局特征。实验使用遥感数据集,以L1
损失函数和Adam优化器(β1
=0.9,β2
=0.999)训练,学习率初始为1×10-3
并采用余弦衰减。
算法设计:网络包含浅层特征提取(Ghost模块)、深层特征提取(HFMDB+STL)、特征融合与上采样四部分。HFMDB通过多级蒸馏逐步细化特征,STL以窗口划分方式计算自注意力,二者协同增强局部细节与全局一致性。
实验结果:相比现有方法,该模型参数量减少1.71×105
,计算量降低8.2×109
,PSNR提升0.054 dB,SSIM提高0.003,学习感知图像块相似性(LPIPS)下降0.029。可视化结果显示重建图像纹理更清晰,尤其在农田、建筑等高频区域。
结论与意义:该研究首次在遥感SRR中实现Ghost模块与Swin Transformer的深度融合,为边缘设备部署提供轻量化方案。高频滤波与全局注意力机制的创新设计,解决了轻量化模型细节丢失的难题,在自动驾驶、灾害监测等领域具有应用潜力。未来可进一步探索动态窗口机制与硬件适配优化。
生物通微信公众号
知名企业招聘