ParkingTwin：无需训练即可实现停车场数字孪生的3D重建流式技术

《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》：ParkingTwin: Training-free streaming 3D reconstruction for parking-lot digital twins

　　摘要：高精度的停车场数字孪生模型为自动驾驶车辆的路径规划、碰撞检测以及感知系统验证提供了重要的环境先验信息。然而，构建此类以机器人为导向的数字孪生模型面临着几何模糊性、环境干扰和计算限制三大核心难题：首先，移动平台有限的向前视角会导致传统方法因视差不足而出现几何结构失效；其次，频繁的动态遮挡（如行驶中的车辆）以及极端的光照变化会妨碍纹理的稳定融合；最后，现有的神经渲染方法依赖计算成本极高的离线优化，无法满足边缘端机器人的实时处理需求。为解决这些问题，我们提出了ParkingTwin——一种无需训练、轻量级且支持实时流式处理的3D重建系统。其核心方法在于基于结构先验的几何构建：利用从CAD模型中获取的结构先验，直接生成符合度量标准的3D截断有符号距离场，从而为已有控制环境下的应用提供基础。该方法将盲目的几何搜索转化为基于先验的确定性映射过程，有效降低了因视角有限带来的几何问题，同时避免了昂贵的几何优化开销。在这一明确的几何框架基础上，ParkingTwin进一步引入了几何感知型动态过滤机制，用于消除短暂遮挡，同时还采用了对光照变化具有鲁棒性的CIELAB颜色空间纹理融合技术，以在复杂光照条件下完成物体外观的重建。实验表明，该系统在入门级GPU（GTX 1660）上即可实现每秒30帧以上的实时重建速度。在规模达68,000平方米的真实世界数据集上，与需要高端GPU（RTX 4090D）的现有3D高斯溅射算法相比，我们的方法在结构相似性指数方面取得了0.87的数值，提升了16.0%，端到端处理速度提高了约15倍，视频内存使用量则减少了83.3%。该系统生成的三角形网格可直接与Unity/Unreal Engine的数字孪生工作流程兼容，可作为自动化工具用于创建停车场数字孪生模型。更多最新信息请访问我们的项目页面：https://mihoutao-liu.github.io/ParkingTwin/。

引言：随着自动驾驶车辆及巡检机器人的普及，地下停车场逐渐成为停车场数字孪生技术的核心应用场景（Guo等人，2025；Liu等人，2025；Boateng等人，2025）。这类数字孪生模型需要提供精确的几何结构以支持路径规划和碰撞检测，同时还需具备逼真的纹理效果，以便用于感知系统的验证。与传统3D可视化不同，这类场景中的数字孪生模型对模型质量有着双重严格要求：一方面，它们必须准确呈现柱子网格、停车线、车道等几何结构，以支撑路径规划和碰撞检测功能；另一方面，它们还需要具备反映真实世界光照分布和材料特性的高精度纹理，以便对自动驾驶感知算法进行闭环测试。然而，要构建一个既能保证几何精度又能维持视觉真实度，同时还能支持机器人实时边缘端更新的系统，面临着极大的技术挑战。

现有的场景建模方法大致可分为三类，但都难以同时满足上述要求。第一类是神经渲染方法（如NeRF Mildenhall等人，2020；Mip-NeRF Barron等人，2021；3D高斯溅射3DGS Kerbl等人，2023），这类方法虽擅长生成高质量的新视图，但大多依赖于隐式表示或非结构化的点云数据。它们存在局部编辑困难、无法直接去除短暂遮挡以及训练成本过高的问题。第二类是传统的多视图立体视觉MVS重建方法（如OpenMVS Cernea，2015），这类方法能够生成适合模拟平台的显式网格，但在光照不均且存在频繁动态遮挡的停车场环境中，容易产生纹理接缝，且高度依赖多视图视差。第三类是基于神经网络的隐式同步定位与建图SLAM方法（如NICE-SLAM Zhu等人，2022；ESLAM Johari等人，2023），这类方法虽支持实时建图和定位，但仍依赖于计算成本高昂的“盲目”几何优化过程。它们的输出结果往往为隐式或半显式形式，无法满足数字孪生模型对结构清晰性、可编辑性以及实时动态修复能力的要求。

尤为关键的是，停车场场景代表了另一类工程环境中的典型问题，现有方法在这些环境中往往无法正常发挥作用。首先，采集方式和场景特征之间存在双重约束：在实际巡检过程中，机器人受交通规则限制，只能以单向方式采集数据，且向前视角十分有限，导致视差严重不足。与此同时，停车场中大量存在无纹理的大面积表面（如地面、白色墙壁）以及重复出现的几何结构（如相同的柱子）。这种“视角有限”与“特征匮乏/模糊”并存的情况，会导致传统方法出现特征匹配失败和几何结构漂移，最终引发严重的结构崩溃问题。其次，环境的不稳定性也构成了重大障碍：动态车辆频繁造成的遮挡会导致不同视图之间的局部信息冲突，如果不加以过滤，这些冲突就会被“固化”在模型中。此外，人工照明与入口处自然光之间的相互作用会形成极端的光照梯度，使得传统的纹理融合算法难以保持一致性。这类问题并非停车场所独有，在其他由移动机器人导航的结构性工程环境中，如室内仓库、工业设施和地下隧道，同样存在视角有限、视差不足、结构重复、动态遮挡以及光照变化剧烈等问题。

为应对这些挑战，我们提出了ParkingTwin——一种专为停车场数字孪生模型设计的、无需训练的实时流式3D重建系统。我们的核心理念是：在已有结构化的人工场景中从头开始学习几何结构既效率低下又没有必要。因此，我们提出了一种基于先验的重建范式，利用从计算机辅助设计CAD模型中获取的结构先验，直接生成符合度量标准的3D截断有符号距离场几何骨架。这一策略将大部分在线处理任务从复杂的几何估算转向纹理映射，有效缓解了因视角有限和纹理质量差导致的几何问题，同时避免了昂贵的优化开销。在此基础上，我们进一步提出了基于几何结构的动态过滤机制，以及在CIELAB颜色空间下具有光照鲁棒性的纹理融合算法，无需训练即可有效消除动态物体和光照变化带来的影响。在此文中，“OSM先验”指的是从CAD模型中提取的、类似OSM格式的结构先验，并非通用的众包OSM数据。为简化表述，我们此后将其统称为结构先验。虽然本文主要关注停车场应用场景，但所提出的框架也可用于那些具备可靠结构先验且能够将静态工程地图整合到实时机器人重建过程中的其他结构性工程场景，如室内仓库、工业设施和地下隧道。总而言之，ParkingTwin的核心思想是一种基于先验的几何处理范式，适用于已有结构化场景的实时重建。其余组件则作为下游支持模块，用于在动态遮挡和光照变化情况下维护和利用已初始化的几何结构。本文的主要贡献如下：1. 基于结构先验的实时几何处理范式：通过将CAD模型中的结构先验融入重建流程，我们提出了一种基于先验的实时几何处理方法，可直接生成3D TSDF骨架，从而有效避免因视角有限和纹理质量差导致的几何结构崩溃问题，同时还将几何初始化速度提升了一个数量级。2. 基于几何框架的几何感知型动态过滤机制：在已初始化的TSDF几何结构基础上，我们设计了多模态动态过滤机制，无需深度学习训练即可实时剔除短暂遮挡和不可靠的观测数据。3. 具有光照鲁棒性的纹理融合算法：为弥补基于先验的几何结构在复杂光照条件下的视觉一致性缺陷，我们在CIELAB颜色空间中设计了融合算法，该算法具备自适应亮度加权功能和深度梯度抑制能力。4. 轻量级流式实现与开源验证：我们将上述框架实现了为可在消费级GPU上运行的轻量级流式系统，同时公开了代码库和大规模真实世界数据集，以便他人复现研究结果并推动后续发展。

结构安排：第2节回顾了相关研究工作（包括对神经网络隐式SLAM方法的分析）；第3节详细介绍了具体方法，涵盖基于先验的初始化、无需训练的车辆检测、LAB颜色空间纹理融合以及系统实现方式；第4节对全文进行总结，同时分析了现有方法的局限性并提出了未来的研究方向。

片段摘录：在视角有限的条件下进行3D重建与纹理处理：在停车场场景中，现有的重建方法面临着“视差不足”和“计算成本过高”两大问题。传统的多视图立体视觉MVS方法（如OpenMVS Cernea，2015；COLMAP Sch?nberger和Frahm，2016）依赖密集的多视图视差数据进行全局图割优化。而当巡检机器人只能提供有限的向前视角时，不足的视差会导致深度匹配变得极为困难，进而引发严重的几何结构崩溃和漏洞。

方法论：图1展示了我们系统的完整工作流程。基于从CAD模型中获取的结构先验以及包含相机姿态的RGB-D序列，ParkingTwin系统以基于先验的几何框架为核心，再结合两个用于提升系统鲁棒性和完成物体外观重建的下游模块。具体而言，几何初始化模块Mgeo负责构建符合度量标准的显式3D TSDF骨架，该骨架是整个重建流程的基础。在这一已初始化的几何框架之上……

结论：本文提出了ParkingTwin——一种无需训练、支持实时流式处理的3D重建系统，专为停车场数字孪生模型设计。在方法论层面，ParkingTwin采用基于先验的几何处理范式，能够在已有结构化场景中，从CAD模型中获取的结构先验出发，快速生成显式的TSDF骨架。动态过滤模块、基于LAB颜色空间的外观融合技术以及轻量级流式实现方式，则进一步提升了系统的鲁棒性和部署灵活性，使其能够在复杂环境下正常工作。

作者贡献说明：刘新浩：撰写——审阅与编辑、撰写——初稿、可视化、验证、软件开发、资源整理、项目管理、方法论设计、研究分析、正式分析、数据整理、概念构思。王宇：验证、研究分析、数据整理。郭现生：监督指导。Gordon Owusu Boateng：撰写——审阅与编辑、监督指导。曹宇：可视化、验证。司浩楠：撰写——审阅与编辑。郭兴辰：验证。Nirwan Ansari：监督指导。

利益冲突声明：作者们声明自己不存在任何可能影响本文研究结果的已知财务利益或个人关系。

致谢：本研究得到了中国国家自然科学基金的资助，项目编号为62171086。

刘新浩|王宇|郭现生|Gordon Owusu Boateng|曹宇|司浩楠|郭兴辰|Nirwan Ansari
中国电子科技大学信息与通信工程学院，四川成都，611731