GaussianCAD：利用三维高斯散射技术，从三个正交视图进行稳健的自监督CAD重建

《Computers and Electrical Engineering》：GaussianCAD: Robust self-supervised CAD reconstruction from three orthographic views using 3D Gaussian Splatting

CAD重建方法通过稀疏视图三维重建技术实现，采用自监督学习框架解决模态差异和相机姿态估计难题，利用3D Gaussian Splatting进行高效重建。

　　

郑周|谢立|卜宇|胡丽娜|梁东|杨子健|刘晓丽|徐宁|王子伟|党永豪|尹建勤

中国湖北省国家电网电力有限公司信息与通信公司

摘要

从CAD草图自动重建3D计算机辅助设计（CAD）模型最近在计算机视觉领域引起了广泛关注。然而，大多数现有方法依赖于矢量CAD草图和3D真实数据作为监督依据，而这些在工业应用中往往难以获得，并且对噪声输入非常敏感。我们提出将CAD重建视为一种特殊的稀疏视图3D重建问题，以克服这些限制。尽管这种重新定义提供了一个有前景的视角，但现有的3D重建方法通常需要自然图像和相应的相机姿态作为输入，这引入了两个主要挑战：（1）CAD草图与自然图像之间的模态差异，以及（2）对CAD草图进行精确相机姿态估计的难度。为了解决这些问题，我们首先将CAD草图转换为类似于自然图像的表示，并提取相应的掩码。接下来，我们手动计算正交视图的相机姿态，以确保在3D坐标系中的准确对齐。最后，我们采用一种定制的稀疏视图3D重建方法，从对齐的正交视图生成高质量的重建结果。通过利用栅格CAD草图进行自我监督，我们的方法消除了对矢量CAD草图和3D真实数据的依赖。在Sub-Fusion360数据集上的实验以及其他类型CAD草图的几个案例中表明，我们提出的方法在CAD重建性能上显著优于以往的方法，并且对噪声输入具有很强的鲁棒性。论文被接受后，将发布源代码和所有相关数据。

引言

从CAD草图自动重建3D计算机辅助设计（CAD）模型是计算机视觉、计算机图形学和工程设计中的一个挑战性问题。这项任务在工程、制造和建筑领域至关重要，因为它极大地提高了设计工作流的自动化程度。在本文中，我们特别关注从包含三个正交视图的栅格CAD草图重建3D CAD模型。

与自然图像不同，CAD草图仅由轮廓和几何特征组成，缺乏材料和纹理。解释这些草图需要对工程原理有深入的理解。为了克服这些挑战，传统的CAD重建方法[1]、[2]、[3]、[4]、[5]、[6]通常遵循一个多阶段基于规则的过程，其中3D顶点、边缘、面和块根据前一步的结果逐步构建。该框架的关键优势在于它依赖于矢量CAD草图，这确保了输入视图的高精度匹配。然而，这种方法容易受到矢量草图中存在的微小错误和噪声的影响，例如端点的像素级偏移，从而导致性能显著下降。

最近有几种方法[7]、[8]利用端到端深度网络从包含三个正交视图的栅格CAD草图重建3D CAD模型。这些方法依赖于领域特定语言（DSL），这是一种描述CAD操作和几何的专用语言。它们使用DSL表示的3D CAD模型取得了令人印象深刻的重建结果，并且由于深度网络的存在，对噪声输入具有很高的鲁棒性。然而，这种方法的泛化能力受到DSL本身的限制。它们只能重建使用其DSL定义的模型，每种模型都需要创建一个新的DSL。

在本文中，我们介绍了一种名为GaussianCAD的新CAD重建方法，以克服对矢量CAD草图和3D真实数据的依赖。我们的关键创新在于CAD重建是稀疏视图重建的一个特例。稀疏视图重建是从有限数量的输入视图重建3D模型的任务，由于数据不足，这本质上是一个病态问题。然而，与自然图像不同，即使有360度视图，自然图像也可能无法唯一确定一个3D模型，而包含三个正交视图的CAD草图可以无歧义地确定一个3D CAD模型。这种能力缓解了稀疏视图重建的病态问题。因此，稀疏视图重建方法在CAD重建任务中具有很大的应用潜力。

然而，直接应用现有的3D重建方法存在两个关键挑战：弥合模态差异和估计CAD草图的相机姿态。首先，这些方法是为自然图像设计的，而CAD草图仅由线条组成，使得难以适应底层模型。其次，CAD草图中缺乏丰富的视觉特征，使得难以应用为自然图像开发的相机姿态估计器。

为了解决这些问题，我们提出了一个三阶段过程。首先，将多视图栅格CAD草图输入到Sketch Filtering模块中以检测边缘，包括表示不可见线条的虚线，然后将其移除。其次，根据第一阶段检测到的最外层边缘确定每个视图的前景并进行着色。第三，计算世界到相机（w2c）外部矩阵和相机内部矩阵，以在3D空间中定位正交视图。在这些步骤之后，我们使用基于3D高斯散布（3DGS）[9]的现成稀疏视图3D重建方法从定位的视图生成3D CAD模型。我们的方法在自我监督学习框架内运行，无需3D真实数据。此外，重建过程利用了对噪声输入具有鲁棒性的基于深度学习的3D重建技术。此外，通过使用3D高斯散布（3DGS）作为我们的3D表示，重建的模型可以轻松可视化并用于进一步的应用。

为了评估我们的方法，我们在Sub-Fusion360数据集[6]上进行了实验，该数据集源自Fusion360数据集[10]，其中包含数千个CAD草图及其对应的3D模型。此外，我们还测试了涉及其他类型CAD草图的几个代表性案例，以进一步评估我们方法的泛化能力。我们的方法在数据集上表现出良好的性能，如图1所示。

本文的贡献总结如下：

• (1)
  我们提出了一种名为GaussianCAD的新CAD重建框架，这是第一个利用现有3D重建方法从包含多个正交视图的栅格CAD草图重建3D CAD模型的框架。通过在自我监督学习框架内运行，我们的方法消除了对矢量CAD草图和3D真实数据的依赖。
• (2)
  我们提出了一个有效的模块，可以将栅格CAD草图转换为类似于自然图像的表示，并准确估计其相应的相机姿态。这有效地解决了CAD草图的模态差异和相机姿态估计问题。
• (3)
  实验表明，GaussianCAD取得了最先进（SOTA）的结果，并且在各种CAD草图上对噪声输入表现出色。

部分片段

传统方法

已经提出了多种从CAD草图重建3D CAD模型的方法。早期的3D重建方法[1]、[2]从自动将CAD草图转换为3D线框开始。[3]利用顶点标记和模糊理论来重建线框和表面。然而，这些方法没有考虑曲线边缘。[4]提出了一种基于决策树的算法来重建曲线物体的3D线框，但算法复杂性较高。Varley等人

方法

给定一个包含三个正交视图及其预定相对位置和方向先验的栅格CAD草图，这些先验描述了一个3D CAD模型，我们的目标是重建一个与提供的草图一致的高质量3D CAD模型。在本文中，我们介绍了一个定制的过程流程，以适应CAD草图进行有效的3D重建（第3.2节），如图2(a)–(d)所示。首先，我们过滤CAD草图中的噪声并移除虚线

数据集和评估指标

数据集。我们使用从Fusion360 [10]数据集提取的Sub-Fusion360 [6]和ABC [33]数据集来评估GaussianCAD，每个CAD草图包含三个正交视图。排除了包含B样条的形状，并移除了重复的形状。数据集包括原始模型、生成的CAD草图和重建的边界表示（B-Rep）模型。最终，数据集包含2981个样本。CAD模型包含3到447条边和3到151个面。

结论

总之，我们提出了GaussianCAD，这是一种从包含三个正交视图的栅格草图重建3D CAD模型的新框架。我们的方法利用了基于3DGS的先进稀疏视图重建技术。关键的是，它通过利用三个正交视图与单个CAD模型之间的唯一对应关系，缓解了稀疏视图重建的固有病态问题。GaussianCAD包含三个关键组成部分：Sketch Augmentation

CRediT作者贡献声明

郑周：实施所提出的框架，进行实验，结果分析，项目领导。谢立：数据处理，评估指标设计，可视化。卜宇：方法设计，理论分析，核心算法的制定，手稿修订，技术协调，验证。胡丽娜：文献综述，消融研究。梁东：文献综述，消融研究。杨子健：数据集管理，统计测试，比较实验。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的财务利益或个人关系。

致谢

本工作得到了国家电网科学技术项目资助（项目代码：5700-202422243A-1-1-ZN）的支持。