SIREX-Net:一种基于UNet与RRDB的卫星图像复原两阶段融合框架,支持可解释性人工智能
《Expert Systems with Applications》:SIREX-Net: A Two-Stage Fusion Framework using UNet and RRDB for Satellite Image Restoration with Explainable AI
【字体:
大
中
小
】
时间:2026年08月30日
来源:Expert Systems with Applications 9.4
编辑推荐:
**摘要亮点**
• 自适应混合专家(MoE)将 U-Net 结构与 RRDB 去噪融合。• 两阶段精炼通过 RRDB-GAN 提升清晰度。• SHAP 与 Grad-CAM 揭示专家路由机制与关注区域。• 在 NWPU 数据集上取得 SOTA 结果:σ=2 时 PSNR
**摘要亮点**
• 自适应混合专家(MoE)将 U-Net 结构与 RRDB 去噪融合。• 两阶段精炼通过 RRDB-GAN 提升清晰度。• SHAP 与 Grad-CAM 揭示专家路由机制与关注区域。• 在 NWPU 数据集上取得 SOTA 结果:σ=2 时 PSNR 达 42.87 dB。• 在 512 × 512 像素和 2048 × 2048 像素图像上均能稳定恢复。
**引言**
图像恢复是图像处理与计算机视觉中的基础问题,致力于从退化观测中重建高质量图像(Lin, Sun, Wu, Ruan, 2024;Ramesh, Rao, 2025)。卫星遥感领域同样面临此问题,退化来源众多,包括传感器局限、大气效应、轨道运动以及数据传输引起的压缩伪影。这些退化不仅影响图像的视觉质量,还影响定量保真度,而对下游应用——如灾害管理、变化检测和土地覆盖分类——而言,定量保真度至关重要(Herbreteau, Kervrann, 2025;Rasti, Chang, Dalsasso, Denis, Ghamisi, 2022)。因此,开发高效且可扩展的恢复方法对于在真实业务中实现可靠的卫星数据分析至关重要。
尽管图像恢复技术已取得显著进展,但其在卫星应用中的推广仍受计算成本和运营复杂度的制约。然而,近期涌现的神经架构——如扩散模型和基于 Transformer 的模型——展现了出色的重建能力,但其计算和内存开销在处理大规模卫星影像时可能成为重大瓶颈(Liang, Cao, Sun, Zhang, Van Gool, Timofte, 2021;Shu, Zhu, Xu, Wang, Liu, 2025)。这些需求使它们不太适合对时效性要求极高的应用,如环境监测和应急响应,在这些场景中处理速度和可扩展性至关重要(Dritsas & Trigka, 2025)。此外,模型的复杂性也使其在资源受限环境中的部署更加困难,而这些环境恰恰是卫星分析最先受益的领域。
除计算问题外,许多基于深度学习的恢复方法还面临可解释性不足的难题。大多数深度架构以"黑箱"方式运行,掩盖了恢复决策背后的推理逻辑,给在敏感且关乎安全的遥感应用中的部署带来挑战(Guimaraes et al., 2025)。这一局限性尤为棘手,因为卫星图像的退化是非均匀的,不同类型的退化——无论是高斯噪声还是结构化伪影——具有不同的统计特性,需要不同的恢复策略(Zhang et al., 2023)。大多数恢复技术仅从全局层面处理图像,无法在图像的特定区域实现结构保留与噪声抑制之间的自适应平衡。这可能导致精细结构细节的丢失或整体一致性受损,尤其是在包含异质区域、恢复需求各异的复杂卫星图像中(Feng et al., 2023)。
上述挑战促使人们采用自适应信息融合策略,以内容感知的方式处理互补的恢复行为。在此背景下,混合专家(MoE)模型提供了一种系统化的方式,通过门控机制动态调节不同专家的重要性,从而融合专业化的处理路径——不同专家负责处理恢复任务的不同方面。该方法尤其适用于卫星图像恢复,因为在结构和噪声抑制之间存在相互矛盾的目标,需要在不同空间区域动态实现。
为应对这些挑战,本研究提出了 SIREX-Net——一种面向卫星图像恢复的可解释两阶段混合专家框架。第一阶段采用显式专家融合策略,利用 U-Net 专家模型实现空间与结构保留,同时使用残差密集块中的残差(RRDB)专家模型抑制残余噪声。上下文感知融合网络根据局部图像内容动态门控这些专家的输出,使恢复决策能够针对每个像素自适应调整,同时兼顾图像结构保真度和去噪效果。第二阶段包含一个 RRDB-GAN 精炼模块,通过引入感知学习和对抗学习来增强感知真实性,避免纯像素驱动恢复流程中常见的过度平滑效应。
所提出的框架还明确兼顾了透明度和可解释性。引入可解释人工智能(XAI)技术来处理融合行为分析和精炼效果评估等挑战,包括 SHAP(用于分析专家路由决策的解释)和 Grad-CAM(用于表示精炼区域的关注范围)。这些分析可用于评估不同专家在空间和噪声维度的贡献,帮助在敏感的遥感应用中做出明智的模型行为决策。
本研究采用加性白高斯噪声(AWGN)以可控方式近似传感器噪声,便于在不同噪声水平下进行系统性分析。现实中卫星图像的退化更为复杂,还涉及雾霾、压缩伪影、混合噪声过程等多种因素,但 AWGN 作为可复现的基准线,有助于研究自适应融合的行为。为应对基于切片的评估和大规模部署方面的顾虑,本研究通过在 64 × 64 到 512 × 512 不同裁剪尺寸上进行实验,并在分辨率高达 2048 × 2048 的全幅图像上使用基于切片的推理,进一步探索了可扩展性,并对运行时和内存需求进行了测量和量化。
本研究的关键贡献总结如下:
• **自适应混合专家融合:** 本研究提出了一种逐像素门控网络,动态融合 U-Net 专家(专攻结构保留)和 RRDB 专家(专攻残余去噪)。该内容感知机制根据局部图像特征在相互竞争的恢复目标之间取得平衡。
• **两阶段精炼:** 第二阶段 RRDB-GAN 通过对抗学习和感知学习选择性增强感知清晰度,并对计算权衡进行量化,支持灵活部署。
• **领先性能:** 本框架在多种噪声水平和数据集上取得了优异的恢复结果。在 NWPU-RESISC45 数据集 σ=2 时,本研究达到 42.87 dB PSNR、0.988 SSIM 和 0.040 LPIPS。在中等噪声(σ=15)下,性能仍保持在 35.22 dB PSNR、0.941 SSIM 和 0.180 LPIPS。即使在严重退化(σ=50)下,模型仍保持 28.49 dB PSNR 和 0.805 SSIM。跨数据集评估中,在 EuroSAT 上 σ=15 时达到 36.58 dB PSNR 和 0.950 SSIM,在 Sentinel-2 上相同条件下保持 36.82 dB PSNR 和 0.903 SSIM。与 RSIDNet-B 和 DnCNN-B 等现有方法在 σ=15 条件下相比,本方法 PSNR 提升超过 3 dB,SSIM 提升约 0.01。
• **可扩展性与计算特征分析:** 本研究证明了在高达 512 × 512 的裁剪尺寸上稳定恢复(34.1 dB PSNR),以及在 2048 × 2048 全幅图像上基于切片的推理(σ=15 时 33.9 dB PSNR)。除 GPU 内存和延迟外,还在可训练推理参数和 FLOPs 层面分析了计算复杂度。第一阶段包含约 36.8 M 参数,128 × 128 输入需要约 217 GFLOPs,而完整的一阶段加二阶段流程包含约 42.8 M 参数,需要约 407 GFLOPs,明确量化了与实用部署相关的质量-效率权衡。
• **可解释人工智能集成:** 与黑箱方法不同,本研究采用 SHAP 和 Grad-CAM 提供透明的专家路由决策和精炼关注区域洞察,支持敏感遥感应用中的诊断评估。
本文其余部分组织如下:第 2 节回顾卫星图像恢复的相关工作。第 3 节详细描述所提出的 SIREX-Net 框架,包括架构组件和融合机制。第 4 节包含实验结果与分析。第 5 节讨论局限性和潜在方向,第 6 节总结全文。
---
**相关工作**
卫星图像恢复已从基于物理先验和手工优化技术,发展到数据驱动的深度学习,近期又进一步采用了生成式先验。早期方法依赖于图像平滑性和冗余性的假设,而当前实践则融合了多分支卷积神经网络(CNN)、注意力机制、Transformer 和扩散模型来处理复合退化形式。恢复方法随时间不断改善,但这些……
---
**方法论**
本节概述了用于卫星图像恢复的 SIREX-Net 模型。图 1 给出了两阶段架构的概述,图 2 展示了包含所有组件、数据流和 XAI 集成的完整架构。模型由两个阶段组成:用于结构保真度的 U-Net 阶段和用于噪声抑制的 RRDB 阶段,两者通过自适应门控结构连接。第二阶段通过 GAN 应用精炼以提升感知质量。各子节描述……
---
**结果与讨论**
所提出的 SIREX-Net 框架在三个遥感基准数据集上进行了全面评估,包括 NWPU-RESISC45、EuroSAT 和 Sentinel-2。模型在 NWPU-RESISC45 上以 σ 盲方式训练,合成高斯噪声 σ ∈ {2, 5, 15, 20, 25, 35, 50},取值范围为 [0, 255],然后在 NWPU 测试集以及未见的 EuroSAT 和 Sentinel-2 测试集上测试,以验证跨数据集的鲁棒性。EuroSAT 使用 2700 张分辨率为 64 × 64 像素的测试图像,Sentinel-2 使用 1572 张测试图像……
---
**局限性**
尽管 SIREX-Net 在受控的 AWGN 退化条件下表现出色,但仍存在若干局限性。首先,我们的主要退化模型为合成 AWGN。真实卫星影像通常呈现混合且与传感器相关的退化,如雾霾、压缩伪影、模糊、云层覆盖和泊松/散粒噪声。因此,AWGN 结果应被视为方法学上的初步基准,而非完整的现实场景。其次,尽管本研究报道了扩展……
---
**结论与未来工作**
本研究提出了 SIREX-Net——一种两阶段卫星图像恢复框架,将 U-Net/RRDB 混合专家去噪器与可选的基于 GAN 的感知精炼阶段相结合。逐像素门控机制自适应地平衡结构保留和残余去噪,第二阶段在可用额外计算资源时提升感知细节。在 NWPU-RESISC45、EuroSAT 和 Sentinel-2 上的评估证明了强劲的恢复……
---
**未引用的引文:** 缺失引文 Table 1 和 Table 11。
**CRediT 作者贡献声明**
Dip Sarker:构思、方法论、调查研究、可视化、撰写——初稿撰写。Kamruddin Nur:验证、资源、监督、撰写——审阅与编辑。Md Tanzeem Rahat:数据整理、调查研究、软件、验证、撰写——审阅与编辑。Rifat Al Mamun Rudro:软件、形式分析、撰写——初稿撰写。Debasish Ghose:资源、监督、撰写——审阅与编辑。
**数据可用性:** 当前研究期间分析的数据集……
**利益冲突声明:** 作者声明与本文讨论的主题或材料存在任何财务利益的组织或实体无关联或参与。
Dip Sarker | Kamruddin Nur | Md Tanzeem Rahat | Rifat Al Mamun Rudro | Debasish Ghose
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号