用于遥感图像超分辨率的土地覆盖先验扩散概率模型

《Pattern Recognition》：Land-Cover Prior Diffusion Probabilistic Model for Remote Sensing Image Super Resolution

针对遥感图像超分辨率中细节重建不足的问题，本文提出基于扩散概率模型的LPDiffSR方法。通过引入土地覆盖先验的扩散编码器（DTB）和解码器模块（DLCAB），结合多尺度注意力增强深度可分离网络（SAED-Net），有效提升不同地物类型的细节重构能力，实验表明在LoveDA和DLRSD数据集上显著优于CNN、GAN及传统扩散模型。

　　远程 sensing 图像超分辨率（SR）技术是提升图像空间分辨率的同时，保持纹理信息准确性的关键方法。随着遥感技术的广泛应用，其在地球资源勘探和环境分析中发挥着重要作用。然而，由于成像设备的限制和复杂多变的环境条件，遥感图像往往受到运动模糊、大气干扰、长距离采集和传输噪声等因素的影响，导致图像质量下降。传统方法通常通过升级硬件来提高图像分辨率，但这不仅成本高昂，而且受限于硬件性能，难以实现更精细的图像细节还原。因此，超分辨率技术作为一种更加灵活和经济的替代方案，被广泛应用于遥感图像的重建过程中。

在超分辨率技术的发展过程中，生成模型的性能一直是研究的重点。早期的卷积神经网络（CNN）方法虽然在图像特征提取方面表现良好，但往往难以处理复杂的纹理和结构信息，导致生成图像过于平滑，缺乏真实感。近年来，生成对抗网络（GAN）因其在图像生成任务中的卓越表现而受到广泛关注。然而，GAN 在训练过程中容易出现模式崩溃问题，难以稳定地生成高质量图像，特别是在处理具有复杂数据分布的遥感图像时，其生成的纹理常常显得不自然。

为了克服这些局限性，去噪扩散概率模型（DDPMs）被引入到图像超分辨率领域。这类模型通过逐步添加高斯噪声生成图像的低分辨率版本，并在反向过程中逐步去噪以恢复高分辨率图像。这种方法不仅提升了图像生成的质量，还增强了模型的训练稳定性。然而，现有的扩散模型通常依赖于简单的低分辨率图像进行先验信息提取，这在处理遥感图像时显得不足。遥感图像通常包含丰富的地表覆盖类型，如城市、森林、农田等，这些区域的结构和纹理差异较大，导致现有模型在不同场景下的表现波动，生成的细节往往与真实图像不一致。

针对这一问题，研究者们尝试引入更多语义信息以指导超分辨率重建过程。例如，一些方法利用残差注意力模块深入挖掘低分辨率图像的细节，生成更丰富的条件先验信息。然而，这些方法往往在保留高频细节方面存在不足，容易引入伪纹理。此外，基于预训练模型如 CLIP 的方法虽然能够提取语义信息，但由于 CLIP 是在自然图像数据集上训练的，其在遥感图像领域的适应性有限，导致特征提取效果不理想。一些研究进一步结合了配对的向量图，以提供结构和语义提示，但这些方法仍然依赖于外部提供的高质量 Stable Diffusion 先验信息，限制了其在实际应用中的灵活性。

为了更好地应对遥感图像中地表覆盖类型的多样性和复杂性，本文提出了一种新型的基于地表覆盖先验信息的扩散概率模型（LPDiffSR）。该模型通过引入一个扩散地表覆盖感知块（DLCAB），在解码过程中动态地利用地表覆盖先验信息对特征表示进行调节，使模型能够根据不同地表覆盖类型自适应地调整特征提取策略，从而提升其在不同场景下的适应性和泛化能力。此外，LPDiffSR 采用基于 Transformer 的编码器结构，有效捕捉不同地表覆盖区域之间的长距离依赖关系，支持多尺度特征融合，进一步增强了模型的表达能力。

为了进一步丰富扩散过程的条件输入，本文还引入了一个可扩展的注意力增强深度网络（SAED-Net）。该网络通过多尺度和注意力机制，从低分辨率输入中探索潜在的先验信息，从而提升图像重建的性能。同时，本文采用随机微分方程（SDE）简化扩散过程的采样步骤，使得模型在生成高质量图像的同时，还能保持较高的训练效率和稳定性。

为了验证 LPDiffSR 的性能，本文在两个遥感图像数据集 LoveDA 和 DLRSD 上进行了广泛的实验评估。LoveDA 数据集包含 5,987 张城市和乡村图像，涵盖了多种地表覆盖类型。在训练过程中，随机选取了 3,000 对图像（其中 2,000 张为乡村图像，1,000 张为城市图像），尺寸为 256×256。测试集由 300 张不重叠的图像组成。DLRSD 数据集则包含 2,100 张图像，来自 21 个地表覆盖类别，每张图像均调整为 256×256 的尺寸。在训练阶段，随机选取了 1,890 张图像（每类 90 张），而在测试阶段则使用了 210 张图像（每类 10 张）。实验结果表明，LPDiffSR 在图像生成质量和视觉保真度方面显著优于现有的基于 CNN、GAN、Transformer 和扩散模型的 SR 方法。

此外，本文还对生成的 SR 图像在下游视觉任务中的应用进行了验证，包括图像分类、目标检测和语义分割等。实验结果进一步证明了 LPDiffSR 在实际应用中的有效性和优势。通过引入地表覆盖先验信息，LPDiffSR 不仅能够更准确地重建图像的结构和纹理细节，还能保持图像的整体一致性和语义合理性。这种改进使得生成的 SR 图像在视觉上更加逼真，同时在任务性能上也表现出更高的准确率和鲁棒性。

本文的研究成果对于提升遥感图像的分辨率和质量具有重要意义。通过将地表覆盖信息与扩散模型相结合，LPDiffSR 为遥感图像的超分辨率提供了新的思路和方法。与传统的 CNN 和 GAN 方法相比，该模型在生成高质量图像的同时，还能够有效保留图像的结构和语义信息。此外，LPDiffSR 在编码器和解码器中引入了 Transformer 和 DLCAB 模块，使得模型在处理复杂场景时具有更强的表达能力和适应性。这些改进不仅提升了图像生成的质量，还为遥感图像的后续分析和应用提供了更加可靠的输入数据。

本文的贡献主要体现在以下几个方面：首先，提出了一种全新的基于地表覆盖先验信息的扩散概率模型（LPDiffSR），该模型首次将地表覆盖先验信息引入到扩散过程中，从而更有效地指导图像的超分辨率重建。其次，设计了一个扩散地表覆盖感知块（DLCAB），该模块结合了地表覆盖调节（LCM）分支和特征恢复分支，使模型能够区分和增强不同地表覆盖类型的特征，从而在高分辨率输出中保留更多细节。此外，本文还引入了可扩展的注意力增强深度网络（SAED-Net），通过多尺度和注意力机制，从低分辨率输入中探索潜在的先验信息，进一步提升图像重建的性能。最后，通过随机微分方程（SDE）简化扩散过程的采样步骤，使得模型在生成高质量图像的同时，还能保持较高的训练效率和稳定性。

综上所述，本文提出的方法在遥感图像超分辨率任务中展现出强大的竞争力。通过引入地表覆盖先验信息，LPDiffSR 不仅能够更准确地重建图像的结构和纹理细节，还能保持图像的整体一致性和语义合理性。这些改进使得生成的 SR 图像在视觉上更加逼真，同时在任务性能上也表现出更高的准确率和鲁棒性。本文的研究成果为遥感图像的超分辨率提供了新的思路和方法，具有重要的理论和应用价值。