《IEEE Geoscience and Remote Sensing Magazine》:Progressive Gaussian Splatting for High-Fidelity 3D Reconstruction of Large-Scale Remote Sensing Scenes: Practical, scalable, and compatible with standard aerial imaging workflows
编辑推荐:
自主航空飞行器(AAV)已成为大规模遥感的重要平台,能够实现快速、高分辨率的数据采集。从流式AAV影像中实现高效、高保真的大规模三维场景重建和新视角合成(NVS)对众多应用至关重要。三维高斯泼溅(3DGS)的最新进展为NVS提供了高效且高保真的表示方法,但现有
自主航空飞行器(AAV)已成为大规模遥感的重要平台,能够实现快速、高分辨率的数据采集。从流式AAV影像中实现高效、高保真的大规模三维场景重建和新视角合成(NVS)对众多应用至关重要。三维高斯泼溅(3DGS)的最新进展为NVS提供了高效且高保真的表示方法,但现有3DGS流程并不适配AAV影像的序列化、下视观测特性,且难以扩展至千米级场景。本文提出一种渐进式航空导向高斯泼溅重建框架(ProAGS)。为应对大成像距离和有限帧间视差导致的深度模糊问题,研究人员引入多视图稠密深度估计模块,为高斯初始化与几何监督提供尺度一致且可靠的深度先验。研究人员进一步将渐进式建图重新诠释为持续学习问题,提出损失感知回放策略与逐高斯学习率调度器,共同缓解先前建图区域的灾难性遗忘与新初始化图元的过程拟合问题。为实现可扩展性,研究人员设计了鸟瞰图(BEV)网格结构与动态CPU–GPU地图加载机制,将GPU内存占用与场景范围解耦,支持大规模AAV场景的渐进式建图。在具有挑战性的航空数据集上的实验表明,与现有增量式3DGS基线相比,所提方法生成更稳定的几何结构、更少的伪影以及具有竞争力的渲染质量,同时保持适用于AAV遥感应用的实际运行时间和内存占用。
论文解读:ProAGS——面向大规模航空遥感场景的渐进式高斯泼溅三维重建框架
一、研究背景与问题
自主航空飞行器(AAV)凭借灵活的多高度、多视角、多空间尺度数据采集能力,已成为遥感与环境监测领域不可或缺的平台。无人机成像系统的进步使得基于AAV的遥感具备快速部署、低运行成本和高分辨率图像采集等优势,广泛应用于灾害评估、精准农业和大规模城市摄影测量等任务。在这些场景中,以渐进、高效的方式重建三维场景几何至关重要,渐进式重建允许场景表示随新观测的到达而持续更新,为动态或时间敏感环境中的快速态势感知和决策提供及时几何信息。
三维高斯泼溅(3DGS)的最新进展在神经场景表示和新视角合成(NVS)方面展现出显著效率,通过各向异性高斯图元表示场景并进行端到端可微优化,在显著降低计算开销的同时实现高保真渲染。然而,现有基于3DGS的重建流程大多以离线方式运行,假设完整观测可用并依赖全局优化,这与要求快速响应的应用场景不相适应。实际中,AAV数据采集本质上是序列化、流式的,图像在飞行过程中逐帧到达,因此将3DGS适配为能够高效处理序列化AAV影像的渐进式重建框架至关重要,尤其对于灾害监测等时间关键型遥感任务。
尽管已有研究将3DGS集成到同步定位与建图(SLAM)范式中实现在线场景重建,但AAV遥感与自动驾驶在数据采集特性上存在显著差异。AAV成像策略(如大疆Matrice 4E的智能航点拍照模式)产生的视角分布与地面驾驶数据集截然不同,这对设计适配AAV影像的渐进式3DGS重建框架提出了独特挑战,主要包括三个方面:航空大距离成像中3DGS的精确初始化、渐进式3DGS优化的挑战、以及大规模场景的可扩展性。
二、研究内容与结论
针对上述挑战,研究人员提出了ProAGS框架,一种面向序列化下视航空影像的渐进式航空遥感场景高斯泼溅重建框架。该框架通过渐进式更新场景表示,实现大规模遥感场景的高效重建。实验结果表明,与现有增量式3DGS基线相比,ProAGS生成更稳定的几何结构、更少的伪影以及具有竞争力的渲染质量,同时保持适用于AAV遥感应用的实际运行时间和内存占用。该研究发表于《IEEE Geoscience and Remote Sensing Magazine》。
三、关键技术方法
研究人员采用的主要技术方法包括:基于DiffMVS的多视图稠密深度估计模块,利用多个共视邻域视图进行稠密深度回归,提供尺度一致的深度先验;基线感知的邻域视图选择策略,基于多视图几何关系选择具有足够基线的共视视图以提升深度估计鲁棒性;持续学习框架下的渐进式优化方案,包括损失感知回放策略和逐高斯学习率调度器;以及鸟瞰图(BEV)网格结构与动态CPU–GPU地图加载机制,实现大规模场景的可扩展存储与高效访问。
四、研究结果
关键帧选择: 研究人员设计了基于空间间隔阈值和未重建像素比例的双条件关键帧判定策略,有效减少密集AAV轨迹造成的冗余,同时保留具有地图增量贡献的帧。
稠密深度估计: 采用DiffMVS多视图深度估计网络,结合基线感知的邻域视图选择策略,在低视差条件下显著提升深度估计精度和鲁棒性,为高斯初始化提供可靠的几何先验。
地图初始化与增强: 通过融合多视图深度图生成初始点云,经体素网格滤波和离群点剔除后初始化高斯图元;对后续关键帧,通过渲染深度与估计深度的比较和不透明度阈值检测新观测区域,从可靠的MVS深度反投影初始化新高斯图元。
持续学习优化: 将渐进式建图重构为持续学习问题,提出损失感知回放策略,根据历史视图的重建损失动态分配采样权重,使模型聚焦于难以保持或不稳定的区域;同时设计逐高斯学习率调度器,新添加的高斯保持较高可塑性以适应未来监督,已优化图元获得更稳定更新以保持已有几何。
BEV地图管理与动态加载: 利用航空影像的下视特性,设计二维水平面网格结构组织高斯图元,配合动态CPU–GPU地图加载机制,将GPU内存占用与场景规模解耦,使千米级遥感场景重建在消费级GPU上可行。
五、讨论与结论
研究人员将渐进式3DGS优化重新诠释为持续学习问题,将每个输入图像观测视为新任务,高斯场景图作为其记忆。通过损失感知数据回放和逐高斯学习率调度,新添加区域保持较高可塑性以适应未来监督,已有图元获得更稳定更新以保持先前学习的几何结构。与经典光束法平差中通过重投影误差显式强制多视图几何一致性不同,光度驱动目标仅提供间接几何正则化,导致渐进式优化容易对新增帧过拟合并退化已有区域。ProAGS通过持续学习视角的优化方案有效缓解了这一问题。此外,BEV地图管理模块利用航空建图的结构规律性,相比层次化或八叉树框架,实现大规模AAV场景的可扩展存储和高效访问。
研究结论表明,ProAGS框架通过多视图稠密深度估计提供可靠的深度先验,通过持续学习优化策略平衡新区域适应与已有区域保持,通过BEV地图结构和动态加载机制实现内存与场景规模解耦,有效解决了航空遥感场景中渐进式3DGS重建的初始化、优化和可扩展性三大挑战,为大规模遥感场景的高保真三维重建提供了实用且可扩展的解决方案。