基于智能手机全景RGB-D数据的3D场景重建与沉浸式VR环境生成

《Applied Sciences》：3D Scene Reconstruction and Immersive VR Environment Generation Using Smartphone-Based Panoramic RGB-D Data

　　

专业术语翻译的论文摘要 本文提出传感器初始化高斯泼溅（Sensor-Initialized Gaussian Splatting，SIGS），一种利用智能手机内置激光雷达（LiDAR）传感器获取的全景深度数据进行三维（3D）场景重建与虚拟现实（VR）空间生成的方法。传统上，3D场景生成需要专业知识且耗时显著，对其在VR中的应用构成挑战。特别是，用于初始化3D高斯泼溅（3D Gaussian Splatting，3DGS）的、由运动恢复结构（Structure from Motion，SfM）估计的点云，在密度和精度上存在局限。SIGS通过利用iPhone的LiDAR传感器直接获取的高精度点云进行3DGS初始化来解决上述挑战。为开展本研究，研究人员开发了一款专用智能手机应用程序——全景深度记录器（Panoramic Depth Recorder，PDR），可在旋转iPhone的同时同步采集RGB图像、深度图像、点云数据以及相机位置和旋转信息。这些点云随后被整合到统一的全局坐标系中。对于室外场景，通过将近场LiDAR数据与SfM估计的远场点云相结合，补充更大范围的几何信息。实验表明，与仅使用SfM初始化的传统方法相比，SIGS在渲染精度（结构相似性指数SSIM和学习感知图像块相似性LPIPS）和视觉质量方面均有提升。生成的场景伪影更少，几何形状还原更忠实，地面和天花板的不规则性得到改善。生成的3D场景网格数据设计用于VR环境。通过Blender将PLY格式转换为FBX格式后，可导入Unity，实现VR空间内的碰撞检测和用户移动控制。这为创建机器人训练环境的数字孪生、在VR应用中再现真实空间等应用提供了可能。

论文解读文章

研究背景与问题

近年来，将真实世界空间重建为三维（3D）场景的研究受到越来越多的关注。与受拍摄时视点和视野限制的二维图像和视频不同，3D场景保留了空间结构和物体布局，允许从任意视角检视环境，这一特性与虚拟现实（VR）高度契合。在VR中，用户可进入重建空间、自由移动并交互式检视布局，同时还能采集注视、移动和交互等行为数据，使3D场景不仅作为视觉内容，更成为分析空间结构与用户行为关系的基础。这些能力推动了VR在教育、医疗、建筑、防灾和娱乐等领域的应用需求增长。

然而，将真实空间重建为高质量3D场景并非易事。传统方法需要大量人工步骤，包括勘测目标空间、创建墙壁、地板和家具的3D模型、摆放物体、设置材质纹理以及调整光照，这要求专业知识且耗时巨大。为应对这一挑战，基于图像的三维重建方法被广泛研究，其中运动恢复结构（SfM）和多视角立体（MVS）是代表性基础技术。近年来，3D高斯泼溅（3DGS）凭借高质量实时渲染能力，成为从图像生成3D场景表示的热门方法。但3DGS方法依赖SfM估计的点云进行初始化，而SfM基于图像特征点匹配，在视角重叠少或图像特征稀疏的区域，难以获得足够的对应点，导致初始点云在密度和精度上存在局限，进而影响重建质量。

研究内容与意义

针对上述问题，研究人员提出传感器初始化高斯泼溅（SIGS）方法，利用智能手机LiDAR传感器直接获取的真实测量点云替代SfM点云进行3DGS初始化。为此，研究人员开发了专用应用程序全景深度记录器（PDR），可在拍摄时同步采集RGB图像、深度图像、点云数据及相机位姿信息。该方法将多拍摄位置获取的局部点云与SfM稀疏点云整合到统一的世界坐标系中，使高斯泼溅即使在SfM无法提供足够初始点的区域也能预先布置在实际观测表面附近，从而提升重建质量。同时，由于拍摄时同步获取相机位姿，可实现真实尺度下的3D场景重建，使重建场景能以实际尺寸在VR空间中呈现。实验证明，该方法在渲染精度和视觉质量上均优于传统SfM初始化方法，生成的网格在VR环境中可用于碰撞检测和用户移动控制，为机器人训练数字孪生、摄影训练等VR应用开辟了可能。

关键技术方法

研究人员开发了PDR智能手机应用，利用iPhone 16 Pro内置LiDAR传感器和RGB相机，通过ARKit的ARSession同步获取RGB图像、深度图像、点云数据、相机外参（位置与旋转）及内参（视场角）。拍摄时，用户按照屏幕引导，在向上40度、水平0度、向下30度三个方向各完成360度旋转拍摄。点云数据由深度图和相机内参直接计算得到，而非从深度图像估计。点云整合分三阶段：首先利用COLMAP的model_aligner工具，以ARKit记录的相机位置为参考，将COLMAP相机位姿和SfM点云对齐到ARKit世界坐标系；随后提取每帧点云中相机5米范围内的点，用对齐后的COLMAP相机位姿转换到世界坐标系，经离群点移除和体素降采样（体素大小0.02米）后合并所有帧；最后用迭代最近点（ICP）算法将LiDAR点云与SfM点云精细对齐，移除LiDAR点附近的SfM点后合并生成初始点云。数据集包含4个室内场景和2个室外场景，室内场景每处3方向×36张×5位置或3方向×12张×15位置，室外场景1方向×12张×15位置×3高度，每场景540张图像。每个场景按Mip-NeRF360方法每8个视角提取1个作为测试视角。

研究结果

点云配准精度评估。 研究人员计算各场景ICP前后点云间的位置误差。ICP后均方根误差（RMSE）为1.46至2.00厘米，近场区域点云间位置误差改善至约2厘米；匹配率为69.5%至97.4%，即使在匹配率最低的Outdoor 2场景，约70%的SfM点也能找到对应LiDAR点。结果表明ICP改善了LiDAR点云与SfM点云的对齐精度。

室内场景生成质量评估。 在4个室内场景中，研究人员比较了分别使用SfM点云和iPhone LiDAR点云初始化3DGS和MILo（网格在环高斯泼溅）的重建结果。定量评估采用结构相似性指数（SSIM）、峰值信噪比（PSNR）和学习感知图像块相似性（LPIPS）三个指标。使用LiDAR点云初始化后，3DGS和MILo在多数场景的测试视角渲染精度均有小幅提升，但MILo在部分场景PSNR有所下降，可能归因于体素降采样导致的局部点分布均匀化。定性评估显示，所提方法减少了漂浮物体，抑制了天花板附近的不自然凹凸；在Unity中可视化PLY文件后发现，地板和天花板表面的不规则性以及地面间隙均有减少。这些改善归因于测量点云作为初始点云，使高斯泼溅在图像特征稀少的表面附近也能预先布置，从而抑制了不稳定重建。

室外场景生成质量评估。 室外场景视野更广，iPhone LiDAR仅能覆盖相机5米范围内区域，因此研究人员将近场LiDAR点云与SfM点云结合构建初始点云。定量评估中，使用LiDAR点云后PSNR有所下降，但SSIM和LPIPS均有改善。定性评估显示，所提方法减少了地面间隙，改善了拉伸的表面形状。结果表明LiDAR点云初始化在室外环境同样有效。

生成网格质量评估。 由于3DGS不生成网格，网格评估仅针对MILo生成的网格。定量评估基于MILo提出的网格新视角合成方法，从测试视角渲染网格并与真实图像比较。虽然部分场景PSNR下降，但整体上各指标均呈改善趋势。定性评估中，研究人员用Blender将MILo输出的PLY网格文件转换为FBX格式，在Unity中可视化比较。使用LiDAR点云初始化生成的网格质量更高，地面间隙更少，天花板凹凸更少。这是因为高质量网格要求高斯泼溅沿实际表面连续分布，LiDAR点云在图像特征稀少的区域（如地板和天花板）预先沿实际表面布置了高斯，使后续优化更有效。

ICP消融研究。 研究人员比较了有无ICP两种条件下SIGS+MILo的重建结果。ICP仅在Indoor 1场景中略微改善了评估指标，全部6个场景中无显著差异，也无一致的改善趋势。这是因为ICP前已对齐了尺度和坐标系，两个点云已大致位于相同位置，后续高斯参数优化吸收了初始点云间的微小差异。但ICP确实改善了点云间的位置误差，对初始点云对齐有贡献。

讨论与结论

在VR应用方面，生成的3D场景可用于机器人训练和摄影训练。机器人训练场景中，研究人员构建了餐厅环境和人形送餐机器人的虚拟仿真系统，操作员在虚拟环境中控制双臂和头部的人形机器人，活动日志作为机器人训练示范数据。摄影训练场景中，研究人员开发了VR摄影训练系统，利用3D场景重建技术自动生成模拟真实地点的虚拟空间作为摄影背景，用户可在虚拟空间练习摄影，系统通过机器学习模型评估照片的美学、构图和色彩，并提供构图建议。

研究结论为：本研究提出SIGS方法，利用LiDAR传感器进行全景扫描，将获取的点云作为3DGS的初始点云。实验表明，将LiDAR点云纳入初始化在多个场景中倾向于提升渲染精度，抑制漂浮物体等伪影，改善视觉质量；MILo生成的网格在地面缺陷和天花板不规则性方面均有几何质量提升。这证明将拍摄时获取的点云纳入3DGS方法初始化有助于提升3D场景重建精度和网格质量。未来工作包括：开发仅依赖传感器的高精度相机位姿估计机制以省略SfM；提高对室外动态物体的鲁棒性；进一步研究初始点云预处理条件；自动填补未观测区域；实现场景中单个物体的独立操作；开发从点云配准到FBX输出的集成工具；使用高精度3D扫描仪进行三维空间定量评估；扩展验证场景数量。