基于街景图像的方法用于重建三维建筑立面开口

《AUTOMATION IN CONSTRUCTION》：Street view imagery-based method for reconstructing 3D building fa?ade openings

通过街景影像（SVI）重建3D建筑模型的立面开口，提出数学方法估计未知相机内参并实现单图摄影测量，验证其在阿姆斯特丹案例中的高精度（FRDS 0.84-0.98），有效提升城市模型的建筑细节层次。

　　

马瑞|杨晨迪|陈佳宇|菲利普·比尔耶茨基|李欣

中国郑州大学管理学院

摘要

3D建筑模型的可用性一直在增加，但它们在建筑尺度上的细节往往不足。本文提出了一种通过整合街景图像（SVI）来重建3D建筑模型中立面开口的方法。在方法论上，本文从两个关键方面推进了开口重建：首先，引入了一种数学推导的方法来估计未知的相机内在参数，从而实现无需依赖多视图图像或现有深度信息的度量性2D到3D投影。其次，该方法扩展了单图像摄影测量技术，以准确测量详细的立面开口，将像素坐标转换为空间坐标。通过在阿姆斯特丹的案例研究验证了所提出的方法。使用立面Re-投影Dice分数（FRDS）进行的定量评估显示，重建的开口与参考开口几何形状之间的空间一致性很高，大多数分数在0.84到0.98之间。鉴于SVI的广泛覆盖范围，它在当前表示仍然较为基础的多样化城市环境中具有显著提升3D城市模型的潜力。

引言

高细节度的3D建筑模型能够精确地表示建筑元素，为从单个建筑到整个城市景观的各种应用提供了巨大潜力。这些应用包括建筑能耗建模、室内热舒适度评估、光伏功率分析、照明评估和3D可视化[1]。为了评估来自不同生产流程的建筑模型的质量和细节水平，CityGML（一种用于存储数字3D城市模型的标准化数据格式）中建立了“细节级别（LOD）”的概念[2]、[3]。对于建筑外观，规范从LOD1开始，这是基本级别，其中建筑被表示为棱柱形块，通常是通过将占地面积拉伸到单一高度得到的。由于获取容易且用途广泛，这些模型非常流行且易于获得。LOD2模型也相对基础，但它们添加了通用的屋顶形状，可能对其外观和某些用例有所贡献。LOD3描述了立面开口的最高细节级别，在建立建筑与室外环境之间的物理连接方面起着关键作用，即包括详细的立面元素如窗户[4]。这些连接对于热传递、太阳得热、空气泄漏和通风等过程是不可或缺的[5]。然而，实际城市环境中的建筑相关研究通常缺乏详细的立面开口信息。例如，许多城市建筑能耗研究依赖于大致假设的窗墙比例[6]、[7]、[8]、[9]或为特定原型建筑模型预先定义的比例[10]、[11]。这些假设可能会传播不可忽视的模拟误差，因为窗户的大小、分布和性能显著影响供暖和制冷需求。最近的研究表明，立面开口是影响建筑能耗的最敏感的围护结构参数之一，窗户升级往往能在城市规模的模拟中带来最大的单次测量节省[10]。因此，需要通过加入真实的立面开口来提升广泛使用的建筑模型。改进后的建筑符合比尔耶茨基等人定义的LOD3.1[12]，使得使用较低LOD的应用变得可行或足够可靠。

最近的研究强调了将LOD2升级到LOD3表示以支持城市规模数字孪生和模拟的日益增长的兴趣。例如，夏等人[13]引入了一种使用倾斜图像和深度学习来丰富LOD2模型的流程，而汉克等人[14]提出了CM2LoD3方法，利用语义冲突图进行大规模自动化重建。基于无人机（UAV）的框架也已被测试用于自动化LOD3重建[15]，唐等人[16]开发了Texture2LoD3方法，将全景图像与低级模型集成以细化立面细节。这些进展表明，通过多种数据源生成LOD3变得越来越可行，但在确保几何一致性、语义一致性和计算可扩展性方面仍存在挑战。

当前重建立面开口的方法面临两个主要挑战。首先，尽管许多研究取得了令人满意的重建结果，但在实际重建场景中相关数据的可用性和质量难以保证。基于航空或地面图像的重建图像的保真度可能受捕获图像数量、重叠程度以及捕获位置的影响[17]，所有这些因素在不同项目中都有所不同，从而降低了可重复性。此外，由于监管限制、高昂的获取成本、有限的技术能力或空间覆盖不完整，特别是在发展中国家和快速城市化的城市中，高质量的UAV图像和LiDAR点云在许多城市地区经常无法获得。相比之下，街景图像（SVI）是通过标准化和全球一致的获取流程收集的。这一系统化的过程确保了稳定的覆盖范围，并大大减少了数据质量的变异性。其次，大多数现有方法需要先进的设备或专门的测量和制图工作，这使得它们资源密集型。因此，迫切需要开发利用公共可用数据的策略，以实现成本效益高且高效的重建过程。

本文提出的方法基于这些需求，应用易于获取且广泛可用的SVI来提取立面信息，并将详细的立面开口集成到现有的建筑模型中。尽管SVI被广泛用于多种任务，包括估计建筑高度、材料或土地利用类型，但使用地面级图像的现有立面重建方法不能直接应用于免费提供的SVI。这是因为大多数当前方法需要已知的相机内在参数、密集的多视图覆盖或密集的点云生成，而这些条件在典型的街景数据中很少满足。实际上，一个建筑通常只通过一个或少数几个全景图被捕获。此外，相机内在参数通常不公开。这些限制使得使用传统流程从单个全景图中度量性地重建立面开口变得不可行。因此，现有的基于街景的方法主要限于非度量或近似表示，这限制了它们在下游任务（如建筑能耗模拟和城市数字孪生应用）中的适用性。这引出了几个具体的研究问题：（1）如何在没有访问专有元数据的情况下，以可重复的方式估计SVI相机的未知内在参数？（2）如何从单个SVI全景图中以度量一致的方式重建立面开口几何形状？（3）如何将恢复的3D开口与现有的城市规模建筑模型一致地集成，以克服LOD2表示在立面敏感应用中的已知限制？

在方法论上，本文从两个不同的方面推进了立面重建。首先，它包括一种数学推导的方法来估计全景SVI的未知内在参数，允许进行度量性2D到3D投影，而无需依赖多视图图像或现有深度信息。本文明确建立了图像空间、相机空间和世界坐标之间的几何关系，为公共可用街景数据的一个长期存在的限制提供了基于分析的解决方案。其次，它允许扩展单图像摄影测量重建来测量详细的立面开口，将像素坐标转换为空间坐标。本文不同于传统技术，因为这些方法需要大量的多视图图像或密集的点云。据我们所知，没有先前的工作提出了一种仅使用单个公开可用全景图就能实现立面开口度量投影的数学基础估计方法。本文的贡献在于为免费可用的SVI量身定制了一个可重复的重建工作流程，无需依赖深度图、多视图输入或相机的内部参数。

本文的其余部分组织如下。我们首先进行文献回顾（第2节），然后详细解释所提出的基于SVI的方法（第3节）。第4节实施该方法：在4.1节中，使用数学推导来验证在估计相机参数期间所做的假设，而4.2节报告了在阿姆斯特丹进行的三个案例研究，以评估重建质量。此外，本文还展示了改进后的建筑模型为应用带来的好处（第4.3节）。最后一部分探讨了所提出方法的贡献和局限性，并总结了主要发现。

部分摘录

文献回顾

关于立面开口重建的研究涵盖了广泛的主题和数据来源，反映了建筑、摄影测量和城市建模研究中的多样性目标。在研究具体的立面开口重建技术之前，有必要概述塑造当前立面重建研究的主要方法论方向。以下小节总结了理解如何检测立面开口的相关方法

方法论

基于前几节讨论的挑战和机会，本文提出了一种使用广泛可用的SVI与现有3D建筑模型结合的系统化工作流程来重建立面开口。该方法旨在既模块化又可扩展，可以根据SVI的可用性和质量应用于单个建筑、相邻建筑群或更大的城市街区。

该过程按建筑逐个进行

验证和结果

本节介绍了所提出的立面开口重建工作流程的验证和结果。首先检查了相机参数估计的数学属性，以验证基础假设的稳健性（第4.1节）。然后通过一系列在荷兰阿姆斯特丹进行的案例研究评估了重建性能，涵盖了单个建筑、多栋相邻建筑和更大的城市街区，并使用FRDS进行了定量评估

讨论

大多数现有3D建筑数据集中缺乏立面开口信息仍然是一个关键的限制。正如Wysocki等人[51]所指出的，只有58个全球数据集中的5个包含了此类细节，这主要是由于获取时间、成本和数据准备工作所需的巨大投入[12]、[52]。这一限制严重限制了城市模型支持细粒度模拟和应用的能力。从实际角度来看，依赖于全球可用的

结论

本文提出了一种有效且可扩展的工作流程，通过将全景SVI与单图像摄影测量方法结合，为现有3D建筑模型丰富立面级别的开口信息。尽管广泛可用的低LOD模型为城市分析提供了必要的几何基础，但它们缺乏立面开口，长期以来限制了它们在需要真实建筑围护结构表示的应用中的实用性，如能源模拟、热评估等

生成式AI使用声明

在准备这项工作时，作者使用了ChatGPT进行校对。使用该工具后，作者根据需要审查和编辑了内容，并对出版物的内容负全责。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。

致谢

这项工作是“多尺度数字孪生城市环境：从心跳到城市”项目的一部分，该项目得到了新加坡教育部学术研究基金第一级的支持。感谢香港大学拨款委员会的一般研究基金（#11216422）和香港城市大学（#9239027、#9239042）的支持。本文的结论仅代表作者的观点，不一定反映赞助方的观点