SkySplat++：面向多时相卫星影像可泛化稀疏视角重建的层级化3D高斯泼溅方法

《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》：SkySplat++: Hierarchical 3D Gaussian Splatting for generalizable sparse-view reconstruction from multi-temporal satellite imagery

　　

从稀疏视角卫星图像进行场景重建仍是一项具有挑战性的任务，其根本原因在于几何约束不足。虽然通用的三维高斯泼溅（3DGS）方法在新视角合成中表现出高效性，但现有方法往往不适用于卫星图像，主要因为它们与有理多项式系数（RPC）模型不兼容，且泛化能力有限。本文提出了SkySplat++，一个分层式的通用3DGS框架，在先前SkySplat的基础上进一步改进了场景重建效果。SkySplat++以由粗到精的方式细化高斯表示，从而能够稳健地建模大规模场景结构和精细纹理细节。为了在稀疏视角条件下提升重建质量，我们集成了高度引导的分层代价体（HG-HCV）模块，以实现更精确的代价体构建。此外，还采用了一种混合高度监督策略，以在辐射不一致条件下稳定高度估计。与逐场景优化方法相比，SkySplat++通过训练后的前向推理实现了相对于EOGS高达36倍的速度提升，同时取得了更高的精度。该框架还优于通用3DGS基线方法，在两个基准测试上将平均绝对误差降低了10.38–14.81米（相对于HiSplat），并在MVS3D测试集上展现了强大的跨数据集泛化能力。代码将在以下链接发布：https://nancheng2001.github.io/SkySplatV2/

一、引言

从稀疏视角卫星图像进行场景重建一直是摄影测量和计算机视觉领域的一项基础性挑战，其广泛应用于城市建模（Zheng et al., 2024）和SLAM（Li et al., 2025）等多个领域。与近景或航空影像相比，卫星图像通常从远距离视角拍摄，角度多样性有限，导致可用于可靠重建的几何约束不足（W. Sun et al., 2025）。

多视图立体（MVS）方法通过利用深度神经网络预测高度图，在基于卫星图像的场景重建中展现了强大性能（Gao et al., 2021, Gao et al., 2023）。然而，这些方法通常需要密集的真值高度监督，获取成本高昂且往往在大规模场景中不可获得，限制了其在卫星场景中的实际应用。

为减少对真值高度监督的依赖，基于神经辐射场（NeRF; Mildenhall et al., 2021）的方法被探索用于从卫星图像进行场景重建，通过逐场景优化实现无需高度标注的自监督重建（Derksen and Izzo, 2021, Marí et al., 2022, Marí et al., 2023, Gableman and Kak, 2024, Billouard et al., 2024, T. Zhang et al., 2024）。通用NeRF方法进一步将这一范式扩展到未见场景，允许无需逐场景优化即可进行跨场景推理（Yu et al., 2021, Chen et al., 2021）。然而，它们对基于MLP的体素解码的依赖导致渲染效率有限，而稀疏输入视角往往导致几何精度下降。

近期，3D高斯泼溅（3DGS; Kerbl et al., 2023）被提出作为一种高效的场景表示方法，具有快速渲染和高质量新视角合成的优势。已有若干针对卫星图像的扩展方法被提出，以进一步提升重建质量（Aira et al., 2025, Xu and Dong, 2026, Ding et al., 2026）。然而，大多数现有3DGS方法仍然需要大量输入视角并依赖逐场景优化，通常需要数分钟才能重建单个256 × 256 m2的场景。

为进一步提升效率和可迁移性，通用3DGS方法被提出，它们利用神经网络直接以前馈方式为未见场景预测逐像素高斯参数（Y. Chen et al., 2024, Zhang et al., 2025, Xu et al., 2025, Tang et al., 2025）。这些方法实现了从稀疏视角的高效重建，并在标准针孔相机影像上展现了令人鼓舞的性能。然而，将通用3DGS方法直接扩展到稀疏卫星影像仍具有挑战性，主要由于以下三个关键问题：(1) 卫星图像采用推扫相机拍摄，与现有通用3DGS方法采用的针孔相机不兼容；(2) 稀疏视角提供的几何约束不足，导致重建精度下降；(3) 稀疏卫星影像通常来自多个时间，由光照和大气的变化引起的辐射不一致导致高度估计不稳定。

在我们先前的会议论文（AAAI 2026）中，我们提出了SkySplat（Huang et al., 2026a），一个面向多时相稀疏卫星图像的通用3DGS框架，无需真值高度监督。具体而言，SkySplat显式地将有理多项式系数（RPC）模型集成到通用3DGS流程中，避免了针孔近似，从而实现更精确的重建。

本期刊版本扩展了我们的会议工作，提出了SkySplat++，旨在进一步提升通用稀疏视角重建效果。与SkySplat相比，SkySplat++采用了分层式3DGS框架，以由粗到精的方式细化高斯表示，更好地捕捉大规模场景结构和精细纹理细节。此外，集成了高度引导的分层代价体（HG-HCV）模块，逐步缩小高度搜索范围，实现更精确的代价体构建；并采用结合相对与绝对高度线索的混合伪高度监督，进一步提升几何精度。

此外，我们大幅扩展了实验评估，纳入了用于新视角合成的光度指标，并进行了广泛的比较，包括基于DUSt3R（Wang et al., 2024）和VGGT（Wang et al., 2025）的近期通用语义3DGS方法。大量实验表明，SkySplat++在精度上优于先前通用方法，并通过训练后的前向推理将重建时间相对EOGS缩短了约36倍（见图1）。

为阐明相对于会议版本的增量贡献，表1总结了SkySplat与SkySplat++之间的主要差异。总之，本文的主要贡献如下：

- 我们提出了SkySplat++，一个面向场景重建的分层式3DGS框架，以由粗到精的方式细化高斯表示。
- 我们引入了HG-HCV模块，在分层式3DGS中逐步缩小高度搜索范围，从而在稀疏视角条件下实现更精确的代价体构建。
- 我们提出了一种教师辅助的自监督策略，用于在辐射不一致条件下实现稳健的高度估计，且训练过程中不使用真值高度图。
- 我们开展了广泛的实验，扩展了评估指标和比较方法，展示了更高的精度、更好的渲染质量，以及通过训练后的前向推理相对于EOGS约36倍的重建时间缩减。

二、相关工作

逐场景优化方法通常以自监督方式构建场景重建问题，其中每个场景独立地利用多视图光度监督进行优化，而无需真值高度标注。基于NeRF的方法开创了这一范式，将场景建模为连续辐射场（Mildenhall et al., 2021, Wei et al., 2024, K. Chen et al., 2024）。随后，3DGS引入了基于显式点的表示，采用各向异性高斯模型。

三、方法

给定N个稀疏视角卫星图像{Ii}i=1N，其中Ii∈R^H×W×3，H和W分别表示图像高度和宽度，以及对应的RPC模型，我们的目标是在无需真值高度监督的情况下学习一个泛化的场景重建模型。

为此，我们提出了SkySplat++，一个具有教师辅助自监督训练的通用卫星3DGS框架，从而避免了逐场景优化。首先，从稀疏输入中，我们提取多视图特征。

四、数据集

我们在两个卫星数据集上评估SkySplat++：DFC19（Bosch et al., 2019, Le Saux et al., 2019）和MVS3D（Bosch et al., 2016）。所有数据集均提供了对应的高度图或点云，仅用于评估，不参与训练。对于所有数据集，所提供的RPC模型均通过光束法平差进行了精化。在本次评估中，DFC19用于评估同一数据集内的跨场景泛化能力，而MVS3D用于评估跨数据集迁移能力。

（1）分层细化分析

图8展示了SkySplat++三个阶段中的分层3D高斯，第一行显示重建的3D高斯，第二行显示对应的新视角合成结果。

在第一个阶段，SkySplat++主要捕捉全局场景布局和大规模几何结构，产生一个粗略但空间一致的3DGS表示。虽然缺少精细细节，但整体几何和场景布局已经建立良好。

五、结论

本文提出了SkySplat++，是对我们先前SkySplat框架的扩展，用于从稀疏视角卫星图像进行通用3DGS重建。SkySplat++的关键创新在于其由粗到精的分层式3DGS框架，该框架通过逐步细化高斯表示来捕捉大规模场景几何和精细外观细节。为解决几何约束有限的问题，我们引入了高度引导的分层代价体构建（HG-HCV）模块，该模块……

六、CRediT作者贡献声明

Xuejun Huang：撰写–原稿、可视化、验证、方法学、调查、形式化分析、数据整理。
Yi Wan：撰写–审阅与编辑、监督、资金获取、形式化分析、数据整理。
Lei Yu：撰写–审阅与编辑、资源、形式化分析。
Xinyi Liu：撰写–审阅与编辑、调查、资金获取。
Zhi Zheng：撰写–审阅与编辑、可视化、调查。
Bin Zhang：撰写–审阅与编辑、资源。

七、利益冲突声明

作者声明，他们没有已知的经济利益冲突或可能影响本文所述工作的个人关系。

八、致谢

本工作得到了中国国家自然科学基金（项目编号：42530106，42471470）、中国教育部基础学科与交叉学科突破计划（项目编号：JYB2025XDXM111）、湖北省自然科学基金（项目编号：2025AFB426）、蚂蚁集团和武汉大学超级计算中心的支持。

作者列表：Xuejun Huang | Yi Wan | Lei Yu | Xinyi Liu | Zhi Zheng | Bin Zhang | Mingtao Xiong | Yingying Pei | Changjun Zhu | Yi Liu | Hongwei Hu | Junjian Zhang | Yifei Wang | Yongjun Zhang