利用相对深度的多模态数字高程模型（DEM）超分辨率技术：一个新的基准测试及更广泛的应用

《International Journal of Applied Earth Observation and Geoinformation》：Multi-modal DEM super-resolution using relative depth: A new benchmark and beyond

数字高程模型（DEM）超分辨率（SR）面临地形复杂性和数据模态单一的问题。本文提出利用Depth Anything Model（DAM）生成相对深度图，构建首个多模态数据集DEMO-OPT-Depth SR（包含光学影像、相对深度图和DEM），并设计多分支伪相似特征提取网络和层级融合模块的MFSR模型，在RMSE-Elevation、Slope、Aspect指标上较SOTA方法提升24.63%、22.05%、11.44%。

　　数字高程模型（DEM）的高分辨率重建一直是地理信息科学和遥感领域的重要研究课题。DEM作为一种重要的地理数据，能够反映地表的地形特征和空间关系，广泛应用于工程建造、灾害管理、生态监测等实际场景。然而，现有的全球DEM产品，如NASA的DEM，通常具有较低的分辨率（如30米），这在使用更高空间分辨率图像进行分析时会导致较大的不确定性。因此，开发可靠的技术以提升DEM的分辨率成为当前研究的重点。

传统方法在DEM超分辨率（DEMSR）任务中主要依赖插值和滤波技术。这些方法虽然结构简单，但在地形细节的恢复和图像清晰度方面存在局限，常常导致图像模糊和失真。随着计算能力的提升和大数据技术的发展，深度学习方法逐渐在单图像超分辨率（SISR）任务中取得显著进展。然而，这些方法在应用于DEMSR任务时，往往因未能充分考虑DEM特有的地形和空间特征而难以达到最优效果。这表明DEMSR任务比自然图像的超分辨率更具挑战性，需要更有效的多模态信息融合方法。

为解决这一问题，研究团队提出了一种新的多模态融合超分辨率（MFSR）网络，并构建了一个名为DEM-OPT-Depth SR的多模态数据集。该数据集整合了高分辨率光学遥感图像、相对深度图和DEM，为DEMSR任务提供了丰富的辅助信息。在数据集的构建过程中，研究团队采用了多种数据预处理方法，包括重采样、坐标系统转换、图像配准和数据裁剪，以确保数据的一致性和可比性。数据集被划分为训练集和测试集，分别占比80%和20%，共计5767组数据，涵盖了中国西部四川高原、黄土高原和横断山脉等具有复杂地形特征的区域。

MFSR网络的设计核心在于其多模态特征提取模块、多尺度特征融合模块和基于残差通道注意力的DEM重建模块。该网络通过伪Siamese结构，分别提取光学图像、相对深度图和DEM的特征，避免了不同数据源之间的干扰。在多尺度特征融合模块中，网络利用不同层次的特征进行融合，从而保留更多细节信息。在DEM重建模块中，网络通过残差组和长跳连机制，有效地恢复地形细节，提高重建精度。

实验结果显示，MFSR模型在DEM-OPT-Depth SR数据集上显著优于其他现有方法。具体而言，MFSR在RMSE-Elevation、RMSE-Slope和RMSE-Aspect三个指标上的提升分别为24.63%、22.05%和11.44%。这表明MFSR模型在地形细节的恢复和全局地形结构的保持方面表现出色。此外，MFSR模型在不同地形区域的测试中也展现了良好的适应性和泛化能力，包括中国东南部丘陵地区、瑞士阿尔卑斯山脉和中国城市重庆等。这些结果表明，MFSR模型不仅适用于复杂的自然地形，也能够处理城市环境中的多源数据。

尽管MFSR模型在DEMSR任务中表现出色，但仍存在一些局限性。例如，目前的数据集仅采用4倍的上采样因子，未考虑其他上采样比例，这可能影响模型的适应性。此外，数据集目前仅包含光学图像、相对深度图和DEM，尚未整合其他可能有价值的地理数据，如合成孔径雷达（SAR）图像和激光雷达（LiDAR）数据。为了进一步提升模型的性能，研究团队计划在未来的工作中探索其他上采样比例的优化，并引入更多类型的地理数据，以增强多模态数据的融合效果。

MFSR模型的构建和应用不仅为DEMSR任务提供了新的解决方案，也为其他地理信息融合应用提供了数据支持。例如，该数据集可用于土地覆盖分类，结合光学图像的纹理信息和DEM的高度信息，显著提升分类精度，特别是在复杂地表环境中。此外，多模态数据在建筑物语义分割和地形阴影生成中也展现出良好的应用前景，有助于提高地形可视化的真实感和细节表现，从而支持地理教育和环境管理。

综上所述，DEM-OPT-Depth SR数据集和MFSR模型的提出，为DEMSR任务提供了新的思路和方法，同时展示了多模态信息融合在提升地形重建精度方面的巨大潜力。未来的研究将进一步优化模型的性能，扩展数据集的多样性，并探索更高效的特征融合策略，以推动DEMSR技术在更广泛的应用场景中发挥作用。