基于边缘点回归与自监督预训练的三维建筑线框重建

《International Journal of Applied Earth Observation and Geoinformation》：3D building wireframe reconstruction via edge point regression

　　

针对建筑线框重建任务，研究人员提出了一种结合边缘点回归的预训练-微调框架。该框架通过边缘点回归策略实现建筑结构的三维重建。一项新颖的边缘点回归损失函数被设计用于强化建筑边界的几何约束。实验证明，所提出的方法在标注数据受限的情况下依然取得了具有竞争力的重建性能。

随着城市规划与智慧城市管理对精细三维建筑模型的需求日益增长，基于深度学习的建筑建模方法得到快速发展。然而，现有方法仍面临两大核心挑战：其一，标注数据稀缺，例如三维结构线提取的标注样本严重不足，现有算法只能在约150栋建筑的小规模基准上进行评估；其二，点云数据常存在几何信息缺失，尤其角点稀疏或缺失，进一步限制了重建精度。此前的研究如Point2Roof仅在合成数据上验证，BWFormer采用二维提升至三维的策略会丢失空间关系，而直接边缘回归方法如PBWR、EdgeDiff虽能端到端生成线框，但依赖大规模标注且边缘搜索空间的组合爆炸导致内存消耗过高。为此，研究人员构建了一个基于自监督学习（Self-Supervised Learning， SSL）预训练与任务微调的两阶段三维建筑线框重建框架，通过边缘点回归策略从城市不完整点云中生成拓扑准确的线框模型，以缓解标注数据不足与角点缺失问题。

该研究的主要贡献在于三方面：一是提出SSL预训练范式，基于边缘点回归策略在有限标注下实现高精度线框生成；二是设计了一种几何约束的边缘点回归损失，通过最小化预测候选边缘点至线框投影的距离强化边界约束；三是构建了完整的边缘点回归重建框架，联合回归方向向量、方向角、方向偏移及边缘长度四个几何参数，并引入边缘保持的非极大值抑制（Non-Maximum Suppression， NMS）算法，避免直接边缘回归的高内存消耗。实验表明，该方法在Dense、Building3D与Tallinn城市三个数据集上性能优于对比方法，且使用仅50%标注数据时即可超越全监督及现有自监督方法，充分展示了SSL在城市场景三维建模中的潜力，为数据稀缺条件下的建筑重建提供了高效解决方案。

研究人员采用的核心技术方法如下：数据源自Wang et al.整理的爱沙尼亚土地委员会机载激光雷达点云，按复杂度分为Dense、Building3D与Tallinn城市三个层级。技术流程主要包括：采用最远点采样（Farthest Point Sampling， FPS）结合Ball Query进行多尺度点云分组，并基于Point-MAE范式进行掩码自编码器预训练；边缘点回归模块利用硬软标注（距离阈值τ=0.1，Δ=0.3）训练，结合方向向量和投影对齐的复合损失回归边缘点；边缘参数回归通过四个多层感知机（MLP）分支分别预测置信度、正交方向向量、角度修正和长度残差；初始边缘方向使用pyRANSAC-3D拟合，边缘匹配采用Hausdorff编辑距离与方向相似度等度量；最后通过边缘NMS去除冗余线段，并利用DBSCAN进行角点合并。

在实验结果部分，研究人员分别展示了中间过程、数据集对比、视觉比较及消融研究。在中间结果分析中，通过七个代表性屋顶类型展示了边缘点识别、初始方向估计、NMS处理及最终预测的迭代过程，发现初始迭代因缺乏几何约束无法适用NMS，并指出拟合线段与边缘点不一致时相应线段会被省略，强调了线拟合策略的重要性。在Dense与Building3D数据集上的中间结果及对比实验中，可视化表明大部分建筑重建效果良好，但三处失败案例显示方法对短小锯齿状边缘较为敏感，原因是此类短线段上的边缘点数量不足，难以准确拟合。在Building3D数据集上的定量对比显示，采用Dense数据集预训练的模型相比采用Building3D预训练的模型，角点召回率（Corner Recall， CR）和边缘召回率（Edge Recall， ER）分别提升19%和54%，边缘F1分数提升39%，表明数据质量对预训练效果具有显著影响。在视觉比较部分，与传统几何方法（2.5D Dual、City3D、KSR）及深度学习方法（PC2WF、NerVE、PBWR、BWFormer）进行对比，传统方法受平面提取及2.5D假设限制，深度学习方法存在误差传播、体素量化或投影分辨率等问题，而研究人员的方法直接从三维点回归参数化线段，避免了离散化信息损失，但仍依赖局部点密度与屋顶线性度。在计算开销方面，该方法单栋建筑推理时间为30.13毫秒、GPU内存占用213.17 MiB，优于PC2WF、NerVE和BWFormer。在消融研究中，验证了多尺度特征提取、pyRANSAC-3D线拟合策略、点到投影点边缘点损失函数以及边缘匹配策略的有效性；置信度阈值0.7时边缘F1最高达35.22%，NMS阈值0.05时达37.26%；Transformer编码器对边缘F1贡献显著，去除后下降9.12个百分点，去除位置编码则F1降至2.40%，表明位置编码至关重要。此外，失败模式分析显示在0.50米容差下整体缺失边缘率为65.21%，高复杂度建筑与高曲率区域的错误率更高。

讨论部分重点分析了不同标注数据比例下的性能变化。与Point-MAE和Point-M2AE相比，仅使用10%标注数据时，该方法的边缘F1分数比两者使用50%数据时高出约19%；使用50%标注数据时则超越全监督方法，充分展示了SSL在降低标注依赖方面的显著优势。局限性方面，主要存在两类典型错误：一是由于点云稀疏或遮挡导致边缘证据不足而造成的边缘遗漏；二是空间上相近但表面几何不兼容的候选线段引起的跨结构错误连接。这两类错误在高复杂度建筑与高曲率区域中发生率更高。研究人员指出，该方法虽能提升几何合理性，但无法保证所有预测均为封闭或流形图，未来工作将结合图优化、平面一致性和曲线基元等进一步改进，并计划在荷兰、瑞士、法国及芬兰等地采集的机载激光扫描数据集上验证其泛化能力。

研究结论部分总结如下：本研究提出了一个新颖的两阶段SSL框架，用于生成三维屋顶线框。该框架包含四个核心组件：SSL特征提取器、边缘点回归模块、带方向引导匹配的边缘参数回归模块，以及冗余边缘去除的NMS模块，从而实现了精确的线框重建。核心贡献在于高效的边缘点回归损失函数，它不仅有助于准确识别边缘点分布，还能确保初始边缘方向估计的可靠性。借助双向边缘匹配算法和专门的边缘相似度度量，参数化边缘得到进一步细化，几何精度得以提升。在Dense、Building3D和Tallinn城市数据集上的大量实验表明，该方法在重建质量上持续优于现有最先进方法。值得注意的是，在仅使用50%部分标注数据的情况下，该方法仍能实现优于监督学习和自监督学习方法的性能。这些发现凸显了SSL作为三维线框生成范式的潜力，并证明了该方法在数据稀缺场景下对建筑建模和城市规划的可应用性，有助于生成多样且几何精确的结构模型。