STAR-GS：面向内存高效主动三维建图的空间拓扑与渲染几何统一

《Knowledge-Based Systems》：STAR-GS: Spatial topology and rendering geometry unification for memory-efficient active 3D mapping

　　

本文提出了一种统一的双状态八叉树，将占用状态、探索不确定性和神经高斯锚点共同组织在一个共享的层次结构中，使主动规划和渲染遵循单一的节点生命周期。开发了一种八叉树耦合的规划流水线，复用缓存的信息增益用于最优下一视点选择，并提取自由空间拓扑用于碰撞感知路径规划，无需独立的规划网格。引入了一种观测驱动、预算控制的从粗到细高斯密集化策略，根据几何复杂度而非相机距离分配锚点，保持在线显存增长稳定。

引言

随着高质量三维数字资产需求日益增长，场景重建已成为多媒体、虚拟/增强现实、具身感知和机器人内容创作中的关键问题。与从预采集图像序列进行被动重建不同，主动三维重建使具身智能体能够自主决定下一步在哪里进行观测，从而在有限的感知、运动与计算预算下获取信息量丰富的视点。这种主动模式尤其适用于复杂的室内环境，因为遮挡、覆盖不完整和低效的相机轨迹可能导致几何退化和不稳定的新视点渲染。近期的神经场景表示方法提升了三维重建与视点合成的质量。神经辐射场和神经隐式表示已被应用于在线建图和主动重建系统，其中视点选择由不确定性估计、信息增益或重建质量引导。最近，三维高斯溅射（3DGS）作为一种显式表示在实时渲染领域兴起，适用于需要持续地图更新和高质量可视化的主动建图场景。沿此方向，若干基于高斯的主动建图或SLAM系统探索了利用3DGS进行在线重建和视点规划。尽管取得了这些进展，将3DGS整合到主动重建中仍面临挑战。主动建图系统不仅需要维护面向渲染的场景表示，还需要维护面向规划的空间表示，以支持占用推理、不确定性估计、碰撞检测和最优下一视点（NBV）评估。现有的主动神经或基于高斯的系统通常依赖分离的表示，例如用于规划的体素占用网格或TSDF，以及用于渲染的独立神经或高斯表示。虽然这种设计简洁且模块化，但引入了若干实际限制。首先，维护多个空间结构会增加长时间探索过程中的内存消耗。其次，规划地图与渲染表示之间的同步会引入额外的更新开销，并可能导致不一致的空间决策。第三，候选视点评估通常需要密集光线投射或体素级视锥查询，其成本随探索体积和采样视点数量的增加而增长。分层空间表示提供了一种减少此类开销的自然途径。八叉树长期以来被用于机器人建图，因为它们能以多分辨率紧凑表示占用状态并支持高效空间查询。八叉树也被引入神经和高斯渲染系统中以加速空区域跳过、细节层次选择和大尺度渲染。然而，这两类研究通常是面向不同目的开发的。传统基于八叉树的机器人地图面向几何推理和导航，但不直接支持高保真可微渲染。相比之下，基于八叉树的渲染系统主要关注被动重建或离线渲染加速，通常不建模探索不确定性、前沿状态或碰撞感知的主动规划。这揭示了主动探索所需的空间拓扑与三维高斯优化所需的渲染几何之间的表示鸿沟。

本文提出了STAR-GS，一个统一空间拓扑与渲染几何的框架，用于内存高效的主动三维高斯建图。核心思想是在共享的双状态八叉树中组织与规划相关的拓扑状态和与渲染相关的高斯属性。具体而言，每个有效的八叉树节点维护用于主动规划的占用和不确定性属性，而表面相关节点额外携带用于渲染和优化的神经高斯锚点。基于此共享层次结构，NBV规划、自由空间提取、视锥剔除和高斯密集化可在一致的空间结构上进行，减少了对独立密集规划网格的依赖。

在此统一表示的基础上，STAR-GS以三种方式将主动规划与在线高斯建图耦合。首先，它通过聚合分层八叉树节点上的不确定性来评估候选视点，避免了NBV选择期间的密集网格遍历。其次，它从同一八叉树中提取稀疏的自由空间拓扑，以支持向选定视点生成碰撞感知路径。第三，它引入了一种观测驱动的从粗到细映射策略，根据占用置信度、观测充分性和局部重建复杂度来调节高斯锚点增长。该策略旨在抑制弱观测或低复杂度区域中冗余的高斯增殖，从而改善主动探索期间的在线内存稳定性。

我们强调，STAR-GS并非通过简单地在Octree-GS上附加规划标签获得。Octree-GS将高斯基元组织为面向渲染的细节层次，而STAR-GS定义了一个共享的节点生命周期，涵盖深度融合、占用分类、不确定性聚合、自由空间连通性、高斯解码和观测驱动细分。Scaffold-GS同样提供结构化锚点，但不维护闭环探索所需的自由、占用、未知、前沿和连通性状态。相反，概率八叉树支持导航但不存储可微渲染属性，而PlenOctrees和NGLOD等分层神经场表示使用自适应空间结构进行渲染加速或多分辨率特征存储，而非用于规划。STAR-GS的独特之处在于将概率占用和不确定性状态与神经高斯锚点耦合在单一共享的自适应八叉树中，以实现闭环主动建图——这是一种表示级耦合，无论是面向渲染还是面向导航的八叉树均无法提供。STAR-GS的贡献在于表示级耦合及其在线更新机制，而非八叉树索引、高斯光栅化、A*搜索或B样条平滑的单独使用。

我们在标准主动重建基准上评估了STAR-GS，包括Replica和Matterport3D，使用Habitat模拟器。实验结果表明，与评估的基于NeRF和3DGS的主动建图基线相比，STAR-GS在新增视点渲染质量上具有竞争力，几何完整性提升，且规划延迟、模型大小和峰值内存消耗均降低。这些结果表明统一的空间组织是可扩展主动高斯建图的实用设计方向。

本工作的主要贡献总结如下：
- 引入了一种统一的双状态八叉树，其中占用状态、探索不确定性和神经高斯锚点在单一共享层次结构中共组织，使主动规划和渲染遵循单一节点生命周期而非独立地图。
- 开发了一种八叉树耦合的规划流水线，聚合缓存的不确定性用于最优下一视点选择，并提取自由空间拓扑用于碰撞感知路径生成，无需独立密集规划网格。
- 提出了一种带有在线预算控制的观测驱动从粗到细分层映射策略：节点细化由观测法线复杂度变化触发，每个观测的内存预算限制锚点增长以保持在线显存稳定。
- 在Replica和Matterport3D上进行实验，在受控协议下评估渲染质量、几何完整性、规划延迟、模型大小和内存消耗，并通过消融实验分离每个组件的贡献。

章节片段

主动三维重建与视点规划
主动三维重建在选择信息量丰富的观测同时逐步构建场景模型。早期方法使用前沿驱动的探索或基于占用网格、TSDF或点云地图的信息论准则。这些表示支持覆盖估计和碰撞感知导航，但它们仅建模几何占用：它们不提供照片级真实的渲染模型，且其手工设计的不确定性（前沿计数或占用熵）

方法
图1总结了在线循环。一帧已知位姿的RGB-D图像仅更新光线影响的八叉树节点。它们的共享拓扑状态支持NBV和路径规划，而其几何状态被解码并优化用于渲染。随后，细化根据累积证据和当前资源预算分配子节点和锚点。表1按符号出现的系统模块分组并列出其含义，作为数学...

实验设置
数据集与模拟器。我们使用Habitat-Sim模拟器在Replica数据集和Matterport3D（MP3D）数据集上评估STAR-GS。模拟实验使用已知位姿的RGB-D观测。每个Replica场景探索2000步，而每个MP3D场景探索5000步。相机分辨率设为680×1200像素，水平和垂直视场角分别为90°和60°。相机深度感知范围为[0.1, 5.0]米。为考虑...

结论
我们提出了STAR-GS，一个用于主动高斯建图的共享双状态八叉树。共同的节点生命周期将贝叶斯占用与不确定性更新、可达自由空间规划、神经高斯解码和观测驱动细化耦合在一起。在Replica和MP3D上，结果表明其渲染具有竞争力、几何完整性提升、峰值显存更低，且相对于评估基线平均规划时间为5.58毫秒。这些发现支持统一空间组织作为...

CRediT作者贡献声明
Hui Ma：写作—审阅与编辑，写作—原稿，可视化，软件，项目管理，方法论，调查，形式分析，数据管理，概念化。Lei Wang：写作—审阅与编辑。Weifeng Su：写作—审阅与编辑。Jun Cheng：写作—审阅与编辑。

利益冲突声明
作者声明不存在已知的相互竞争的财务利益或个人关系可能影响本文所述工作。

致谢
本工作部分由广东省科技计划（编号2024B0101050002）、广东省科技计划（编号2025B0909030004）、广东省科技项目（2023TX07Z126）、深圳市科技项目（GJHZ20240218112504008）、广东省IRADS重点实验室（2022B1212010006）、广东省高等教育升级计划、广东省与香港高校"1+1+1"联合研究合作计划（2025A0505000004）以及国家自然科学基金...

Hui Ma于2019年获得中国科学技术大学软件工程硕士学位。他正在北京师范大学-香港浸会大学联合国际学院（BNBU）珠海与中国科学院深圳先进技术研究院深圳进行联合博士研究。他的研究兴趣包括主动建图、三维高斯溅射和三维重建。

Hui Ma | Lei Wang | Weifeng Su | Jun Cheng