GeoCraft:一种基于扩散模型的3D重建方法,该方法由图像和点云融合技术驱动

《Information Fusion》:GeoCraft: A Diffusion Model-Based 3D Reconstruction Method Driven by Image and Point Cloud Fusion

【字体: 大 中 小 】 时间:2026年01月15日 来源:Information Fusion 15.5

编辑推荐:

  多模态3D重建方法GeoCraft通过三阶段流程解决单视图重建几何不一致、点云转网格质量差及多模态特征融合不足问题,采用扩散模型生成对齐点云,Transformer+DPO优化网格生成,多模态对齐合成高保真3D模型,实验在GSO和Pix3D数据集上显著优于现有方法并提升计算效率。

  
马伟轩|李亚敏|刘楚金|张浩|李杰|陈侃松|高伟轩
中国湖北大学计算机科学学院,武汉,430062

摘要

随着虚拟现实(VR)、自动驾驶和数字孪生等技术的快速发展,对高精度和真实感的多模态3D重建的需求激增。由于这种技术能够整合来自多个来源的数据(如2D图像和点云),它已成为计算机视觉和图形学领域的核心研究重点。然而,现有方法面临诸如单视图重建中的几何不一致性、点云到网格转换效果不佳以及多模态特征融合不足等挑战,这些限制了它们的实际应用。为了解决这些问题,本文提出了一种名为GeoCraft的多模态3D重建方法,该方法通过三个协同阶段从2D图像生成高精度3D模型:Diff2DPoint、Point2DMesh和Vision3DGen。具体来说,Diff2DPoint利用扩散模型和投影特征融合生成具有几何对齐的初始点云;Point2DMesh使用仅包含解码器的自回归Transformer和直接偏好优化(DPO)将点云转换为高质量网格;Vision3DGen通过多模态特征对齐创建高保真3D对象。在Google Scanned Objects(GSO)和Pix3D数据集上的实验表明,GeoCraft在关键指标上表现优异。在GSO数据集上,其CMMD为2.810,FIDCLIP为26.420;在Pix3D数据集上,CMMD为3.020,FIDCLIP为27.030。GeoCraft显著优于现有的3D重建方法,并在计算效率方面也表现出优势,有效解决了3D重建中的关键问题。代码可在以下链接获取:https://github.com/weixuanma/GeoCraft。

引言

随着虚拟现实(VR)、增强现实(AR)、自动驾驶和数字孪生的快速发展,对真实世界物体和场景的高精度、真实感3D重建的需求急剧增加[1]、[2]。多模态3D重建技术融合了来自2D RGB图像、点云等来源的数据,已成为计算机视觉和图形学的研究重点。与基于单一模态的方法不同,多模态方法利用了各种模态的互补优势[3]。RGB图像提供了丰富的纹理和颜色,点云提供了明确的3D几何信息,而网格则捕捉了表面拓扑结构,共同解决了遮挡、纹理模糊和几何稀疏等问题[4]、[5]。这种融合提高了3D形状的准确性和外观的真实感,使其在游戏中的虚拟资产创建、建筑中的精确场景建模以及医学成像等领域变得至关重要[6]。
近年来,多模态3D重建领域取得了显著进展[7]。早期的方法侧重于将预先获取的多视图RGB图像与深度数据(如来自LiDAR或立体相机的数据)融合以生成点云,然后通过Poisson表面重建或贪婪三角剖分进行网格重建[8]。然而,这些方法严重依赖于密集的多视图数据,在只有单视图图像可用的情况下难以应用。随着深度学习的发展,端到端的3D重建模型逐渐成为主流:基于Transformer的架构(如PixelNeRF [9])被提出用于建模图像特征中的长距离依赖关系,以支持Neural Radiance Field(NeRF)训练并实现单视图3D形状恢复[10]。扩散模型[11]也被引入到点云生成任务中,利用渐进式去噪将随机高斯噪声转换为与图像几何对齐的结构化点云。此外,网格生成方法也从传统的基于几何的方法演变为基于学习的方法,例如使用自回归模型生成网格令牌序列[12]。
然而,尽管取得了这些进展,仍存在一些挑战:首先,单视图重建在实际应用中仍然是一个瓶颈。现有方法在生成点云时经常忽略输入图像的动态几何约束,导致生成的点云与图像视图不对齐,从而影响后续重建的准确性。其次,在点云到网格的转换过程中,现有数据集存在网格几何不规则、严重碎片化和复杂性不均匀等问题,这直接影响了模型的训练性能和输出质量。此外,生成的网格往往无法符合人们对3D几何和外观的偏好。最后,多模态特征(点云、图像和网格)的潜在空间尚未得到有效统一,导致几何和外观信息的融合不足,难以生成高保真的连续3D表面。这些问题共同限制了多模态3D重建技术的实际应用价值,需要一个能够同时优化几何一致性、人类偏好对齐和多模态融合的综合性解决方案。
为了解决上述挑战,本文介绍了一个名为GeoCraft的多模态3D重建框架,该框架通过三个紧密集成的阶段将2D图像转换为高精度3D模型。在第一阶段(Diff2DPoint),使用单个RGB图像及其对应的相机姿态作为输入。根据相机投影几何将局部图像特征投影到点云上,并使用点云扩散模型进行渐进式去噪,从而生成与输入图像在几何上对齐的初始3D点云。这一过程确保了重建点云与源图像之间的严格几何一致性。在第二阶段(Point2DMesh),使用仅包含解码器的自回归Transformer将点云特征与一系列网格令牌融合。然后通过直接偏好优化(DPO)对模型进行微调,使其输出符合人类对3D几何和视觉外观的偏好。接着通过概率采样生成符合点云所施加的几何约束的网格,从而完成从点云表示到详细网格的转换。在第三阶段(Vision3DGen),使用点云Transformer结合投影操作将点云压缩为编码3D几何信息的初始三平面表示。然后将RGB图像和网格派生的特征与该潜在的三平面表示对齐,并利用有符号距离函数(SDF)合成连续的高保真3D表面,从而完成高精度3D重建的最后一步。
如图1所示,GeoCraft通过三个阶段的紧密协调实现了多模态特征的深度融合和各个环节的协调优化,有效提高了3D重建的准确性和真实感。本文的三个贡献如下:
  • •
    本文提出了一种名为GeoCraft的多模态3D重建方法,有效解决了现有技术中存在的单视图重建的几何不一致性、点云到网格转换质量差以及多模态特征融合不足的问题。
  • •
    本文提出了Diff2DPoint模块,该方法利用扩散模型和投影特征融合生成具有几何对齐的初始点云,为后续的3D重建过程提供了可靠的基础。在此阶段,从单视图生成的点云的几何一致性得到了显著提高。
  • •
    本文提出了Point2DMesh模块,该方法使用自回归解码器Transformer和DP将点云转换为高质量网格,进一步提高了重建结果的准确性和质量,解决了点云到网格转换过程中的质量问题。
  • •
    本文提出了Vision3DGen模块,该方法通过多模态特征对齐创建高保真3D对象,同时优化了计算效率并减少了计算资源的消耗。
本文的结构如下:第2节介绍相关工作,第3节描述了方法论,第4节提供了实验结果,第5节总结了本文。

相关研究

图像到3D重建。

最近,LRM [13]首次证明了可以通过训练回归模型从单视图稳健地预测基于三平面的NeRF。这一开创性研究激发了3D重建领域的许多大规模模型[14]、[15]、[16]、[17]。例如,Wonder3D [18]模型生成多视图法线图及其对应的彩色图像。为了确保一致性,Wonder3D采用了多视图跨域注意力机制,

概述

本文介绍了一个名为GeoCraft的3D重建框架,用于从2D图像进行3D重建。如图2所示,GeoCraft包括三个连续阶段。第一阶段(Diff2DPoint):给定单个RGB图像及其对应的相机姿态,根据相机参数定义的投影约束将局部图像特征投影到3D点云中。随后应用点云扩散模型对投影特征进行迭代去噪,生成一个

实验设置

训练数据。本文的模型训练数据基于之前的研究[26]。我们进一步优化了数据集的选择和处理。具体来说,模型在Objverse数据集的一个子集上进行训练,该数据集包含超过800,000个3D资源[27]。为了确保训练数据的高质量,我们过滤了原始数据,最终获得了包含110,000个3D对象的训练集。
Objverse数据集中的3D资源涵盖了多种类型的对象,

结论

本文提出了一种名为GeoCraft的3D重建方法,该方法采用了一个包含Diff2DPoint、Point2DMesh和Vision3DGen的三阶段协同架构。它依次生成2D图像到几何对齐的点云,将点云转换为符合人类偏好的网格,并在多模态特征融合下构建高保真3D表面。实验结果表明,在GSO和Pix3D数据集上,GeoCraft的性能显著优于现有的文本到3D方法,

未引用的参考文献

缺少参考文献图5。

CRediT作者贡献声明

马伟轩:撰写——原始草案、验证、方法论、概念化。李亚敏:撰写——审阅与编辑、可视化、监督。刘楚金:撰写——审阅与编辑、验证、数据管理。张浩:撰写——审阅与编辑、验证、监督。李杰:撰写——审阅与编辑、验证、软件。陈侃松:撰写——审阅与编辑、验证、调查、形式分析。高伟轩:撰写——审阅与编辑、方法论、概念化。

利益冲突声明

作者声明他们没有已知的可能会影响本文所报告工作的财务利益或个人关系。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号