《ISPRS International Journal of Geo-Information》：A Comprehensive Survey on Diffusion Model-Driven 3D Reconstruction: Methods, Datasets, and Prospects
扩散模型（Diffusion Model）驱动的三维（3D）重建作为连接真实世界与数字世界的关键技术，在遥感、自动驾驶与机器人学等领域具有广泛应用。近年来，其技术范式已从基于几何的方法转向数据驱动方法，扩散模型凭借稳定的训练过程、从大规模数据集中学习先验的强大能力以及对输出的卓越可控性，成为主要推动力量。尽管多样化架构层出不穷，针对这些方法的系统性分析与比较仍然缺失。研究人员对基于扩散的3D重建方法进行了全面综述。依据扩散操作的空间维度，现有方法被首先划分为四类——图像扩散（Image Diffusion）、潜在扩散（Latent Diffusion）、3D扩散（3D Diffusion）与混合扩散（Hybrid Diffusion），并对其方法论进行了详细分析。随后，研究总结了常用的3D数据集，并从重建精度、计算效率与泛化能力三个维度对这些方法进行了比较评估。最后，探讨了基于扩散的3D重建方法的未来发展方向。
1 引言
三维（3D）重建旨在从单幅或多视角二维（2D）图像中恢复目标或场景的完整几何与外观信息，在计算机图形学（Computer Graphics）、虚拟现实（Virtual Reality, VR）、自动驾驶、遥感与城市制图以及机器人学等领域具有广泛应用价值。依据建模范式，现有3D重建方法可大致分为四类：传统几何方法、神经3D表征方法、基于生成模型的方法以及基于大模型的方法。
传统几何方法利用几何约束（如特征匹配与三角测量）重建3D点云或网格，运动恢复结构（Structure-from-Motion, SfM）与多视图立体匹配（Multi-View Stereo, MVS）即属此类，在无人机摄影测量与航空制图中广泛用作基础方法。虽然理论上成熟且通常精度较高，这些方法对纹理质量、视角覆盖范围及光照条件敏感。神经3D表征包括神经辐射场（Neural Radiance Fields, NeRF）与3D高斯溅射（3D Gaussian Splatting, 3DGS），通过优化连续或离散的辐射度场，显著提升了新视角合成与3D重建在物体级和大规模城市场景中的表现，但通常需要密集多视图图像进行训练，且难以预测或生成未见的3D结构。
基于生成模型的方法将深度数据驱动先验引入重建过程，并设计特定网络结构。现代方法采用变分自编码器（Variational Autoencoders, VAEs）、生成对抗网络（Generative Adversarial Networks, GANs）和扩散模型（Diffusion Models）等深度生成模型提供强视觉先验。然而，GANs存在训练不稳定和模式崩溃（Mode Collapse）问题，VAEs常产生过度平滑的输出，早期生成方法普遍缺乏强真实世界先验，在稀疏输入、无标签数据及未见类别上表现不佳。近年来，扩散模型因其稳定的训练与强大的生成能力成为最流行的生成方法。
扩散模型为3D重建提供了可行路径，其通过迭代去噪过程从噪声输入中恢复结构信息，其中固有的随机性有助于规避局部最优，从而展现出相对于传统方法的潜在优势。扩散模型具备三大核心优势：稳定训练、丰富先验与灵活控制，使其能够从大规模数据集中学习复杂数据分布并支持多模态条件生成（Conditional Generation）。基于这些优势，扩散模型已从图像生成扩展至3D视觉任务。
地理空间信息科学是扩散驱动3D重建的关键应用领域。在摄影测量与遥感中，扩散模型展现出强大的3D数据重建能力。Sat2Scene与Sat2City可直接从卫星图像生成完整3D城市结构，成功解决了传统摄影测量中建筑物屋顶与立面经常缺失的难题。扩散模型在3D城市建模与城市数字孪生中也具有重要价值。ScenDi利用多模态条件生成真实城市场景；XCube为自动驾驶环境重建大规模稀疏体素（Voxel）；BuilDiff可生成具有丰富建筑细节的建筑物形状。实证表明，扩散模型能够便捷地获取有用数据并降低城市数字孪生的计算成本。
2 扩散3D重建方法论
扩散模型为潜在变量生成模型，通过逆向马尔可夫噪声注入过程将简单噪声分布转换为目标数据分布，包含前向扩散过程q与反向生成过程。前向过程q为噪声累积的马尔可夫链，从初始未损坏数据开始，逐步以高斯噪声腐蚀输入，直至数据在统计上与白噪声不可区分。反向过程则通过学习神经网络建模每步去噪以逆转前向腐蚀。研究人员还发展了潜在扩散模型（Latent Diffusion Models, LDMs）以降低计算成本，在压缩的潜在空间中而非像素空间进行运算，采用带交叉注意力机制的U-Net网络，使模型接受额外条件（如文本或图像）引导生成过程。
在3D重建中，扩散模型利用强生成先验从稀疏观测（如部分点云或多视图图像）中恢复缺失信息，即使在输入模糊条件下仍能生成语义一致且物理可信的3D结构。依据扩散输入数据的模态，现有扩散3D重建方法可分为四类。
2.1 基于图像扩散的重建方法
基于图像扩散的3D重建方法不直接在3D数据上操作，而是利用在大规模图像-文本对上训练的2D扩散模型（如Stable Diffusion与Imagen）作为视觉先验，无需显式3D训练数据即可引导3D生成。重建流程始于将输入图像送入2D扩散模型，生成一组一致的多视角2D图像，再解码为初始3D表征，随后传递给可微分渲染器（Differentiable Renderer）输出渲染视图，通过2D真值监督计算损失信号，驱动迭代优化循环，直至渲染视图在语义和感知上与真值对齐。
DreamFusion通过创新的分数蒸馏采样（Score Distillation Sampling, SDS）实现无监督文本到3D生成，仅更新NeRF参数，直接利用强2D先验生成详细、连贯的3D形状。然而，SDS优化需要数千次迭代渲染和梯度步骤，效率极低；且由于2D扩散模型缺乏3D结构理解能力，输出常出现几何畸变、拓扑错误和视角不一致，尤其在遮挡表面。后续研究沿两个主要方向推进：一是增强核心生成框架，二是拓展至实际应用场景。Magic3D引入由粗到细（Coarse-to-Fine）流程，先在高效哈希网格上生成低分辨率代理再在高分辨率NeRF中细化；ProlificDreamer整合潜在扩散模型，在压缩潜在空间中进行去噪和梯度蒸馏以增强训练稳定性；PartGen通过2D扩散生成多视角部件分割图像再融合为连贯3D装配；OpenLRM贡献标准化可扩展训练流程。
在受约束的真实场景应用方面，Zero-1-to-3利用扩散模型固有能力生成一致多视角图像作为传统重建流程输入；Dream-to-Recon通过扩散先验蒸馏单目深度再应用泊松重建获完整3D网格；Instruct-NeRF2NeRF实现语言引导的神经辐射场修改；DP-RECON采用SDS优化稀疏视角下个体对象的神经表征。在遥感和地理空间任务中，TreeD Fusion利用2D扩散模型的SDS从单张图像重建3D城市树木；CrossModalityDiffusion使用特定2D扩散模型跨不同传感模态合成新视角；近期抗噪声方法利用去噪扩散降低合成孔径雷达（Synthetic Aperture Radar, SAR）图像的斑点噪声以实现全天候3D重建。
2.2 基于潜在扩散的重建方法
基于潜在扩散的重建方法在压缩的、语义丰富的潜在空间中而非高维3D空间中操作，核心思想是将3D数据编码为低维表征并在该高效潜在空间中进行扩散与去噪，以降低计算复杂度同时保留几何细节。重建流程始于输入向量经潜在扩散模型处理，编码为优化表征后解码为3D模型。
SDFusion首先使用2D潜在扩散模型作为语义引导，迭代优化神经有符号距离场（Signed Distance Field, SDF）网络的几何表征，实现从文本或单幅图像的高质量3D形状重建，利用潜在空间稳定的语义信号消除对真实3D训练数据的依赖。后续研究关注核心生成框架改进与真实世界应用适配。Shap-E增强编码器将3D对象映射为低维向量并在该空间训练独立扩散模型，实现近乎即时的文本到3D生成；ProlificDreamer在Stable Diffusion的潜在空间中应用梯度蒸馏以降低噪声并增强语义准确性；Sat2City采用级联潜在扩散框架从单张卫星图像生成3D城市结构，逐步恢复密集几何、稀疏几何和稀疏外观，并引入VAE中的Re-Hash操作解决特征碰撞问题。
2.3 基于3D扩散的重建方法
基于3D扩散的重建方法不依赖2D扩散先验或潜在变量映射，而是在3D表征空间（包括体素、点云、网格或隐式场）中直接定义前向加噪和反向去噪过程，无需可微分渲染或多视图一致性优化，从而获得更高几何保真度和更稳定的训练。
PC2直接在3D点云空间进行条件扩散建模，从纯噪声开始，以单幅输入图像为条件，使用3D U-Net生成3D形状，通过可微分渲染器将点云投影至图像平面并与输入图像对齐，提供额外梯度信号。后续研究沿两个方向发展：一是开发具有更丰富几何表征的原生3D扩散模型，二是将生成扩展至复杂真实场景。DiffusionSDF将扩散过程扩展至SDF空间，在连续隐式函数上进行去噪；LN3Diff引入具有多尺度一致性的神经场参数化以增强形状连贯性；SPAR3D直接在点云上执行扩散并通过可微分投影约束强制几何一致性。在地理空间应用中，BuilDiff设计分层点云扩散模型，结合基础扩散模型与上采样扩散模型从单幅图像生成高分辨率3D建筑形状；EdgeDiff提出边缘感知扩散网络，直接从噪声重建3D建筑线框；XCube引入分层体素扩散模型，利用稀疏体素数据结构生成大规模室外场景；Sat2Scene应用3D扩散于卫星图像，使用3D稀疏扩散模型直接在几何点云上生成纹理颜色。
2.4 基于混合扩散的重建方法
基于混合扩散的重建方法通常以扩散模型为核心引擎，整合GANs、3DGS、神经场等多种技术的互补优势，形成统一的"生成+优化"框架，提升生成质量、细节恢复和语义一致性。
DiffGS通过功能解耦的联合生成框架将3D高斯溅射与扩散建模相结合，将拟合的3D高斯表征分解为建模概率分布、颜色属性和几何变换的三类高斯溅射函数，基于此构建条件潜在扩散模型逐步恢复完整一致的高斯属性集合。后续研究强化扩散高斯框架中的几何约束：GeoGS3D添加曲率正则化和刚性变形先验以改善非刚性和铰接对象的稳定性；HumanSplat整合姿态先验生成从单幅图像的可动画人体表征；DiffLiGS融合LiDAR深度图作为几何监督以提升城市场景重建的几何精度。ScenDi级联3D模型进行空间布局与2D模型进行渲染增强，有效克服单一域纯3D或2D方法的固有局限；GaussianAnything在潜在空间创建粗略高斯布局再细化局部细节；CRM、TripoSR和InstantMesh从稀疏输入生成高质量几何。这些工作表明，未来3D生成系统将青睐模块化协作设计，分别处理几何、语义和动力学，而非依赖单一整体模型。
3 常用3D数据库
数据集在扩散3D重建的训练和评估中发挥关键作用，四类方法因生成机制和输入输出表征差异而偏好不同类型的数据集。
3.1 ShapeNet数据集
ShapeNet由斯坦福大学发布，包含超过51,300个高质量CAD模型，涵盖55个语义类别，以网格格式存储，包含详细几何和纹理信息，擅长类别覆盖广泛、模型质量高和标准化强，适用于形状补全和隐式函数建模。其清洁无噪的几何有利于学习稳定形状先验，灵活格式兼容大多数扩散框架，多样类别支持通用3D生成能力。SDFusion采用ShapeNet的SDF表征以解决重建模糊问题；Magic3D利用预训练哈希网格提供几何先验；Diffusion-SDF和PC2受益于其高质量一致3D几何以确保编码器-解码器管道稳定训练。局限性在于与真实域存在差距、缺乏真实细节及细分类别有限。
3.2 ModelNet数据集
ModelNet由普林斯顿大学发布，包括ModelNet10和ModelNet40，提供约120,000张渲染图像和数千个简化3D模型，以网格格式提供，类别定义明确且结构规则但缺乏精细几何细节，特别适用于轻量级实验、快速算法验证和单幅图像3D重建任务。3D-DDPM使用其低分辨率体素解决全分辨率计算问题并验证纯3D扩散可行性；BuilDiff利用其规则几何降低复杂输入导致的训练不稳定性；Point-E用其点云训练轻量级解码器。局限性在于缺乏精细几何细节、合成与真实场景域差距及类别覆盖少。
3.3 Pix3D数据集
Pix3D由麻省理工学院发布，是真实世界家具数据集，包含约10,000张真实环境拍摄的RGB图像，每幅图像配准对应3D模型和相机位姿信息，强调图像与3D模型间的像素级对应关系，弥补了合成数据集缺乏真实光照、背景和遮挡的不足。Wonder3D、Make-It-3D和SyncDreamer用其训练和评估单幅图像3D重建性能；Zero-1-to-3和Instruct-NeRF2NeRF用其验证对真实世界输入的泛化。局限性在于类别覆盖仅9种家具、10,000样本规模不足以训练大型扩散模型，且单一网格格式不支持多种扩散框架。
3.4 CO3D数据集
CO3D由Meta创建，是代表性真实世界多视图数据集，聚焦常见物体的多视图图像集合，包括20个Pascal VOC类别，约18,000张图像来自约1,500个独立物体实例，每物体平均10-15个视角，附带粗略相机位姿估计。Zero-1-to-3和SparseFusion等潜在扩散方法采用CO3D进行模型训练和性能评估；图像扩散和混合扩散方法也广泛偏好该数据集。局限性在于相机位姿粗略导致多视图扩散融合对齐误差、每类别实例有限阻碍大规模生成扩散训练、缺乏密集视角和高分辨率标注。
3.5 Objaverse数据集
Objaverse为近年发布的大规模开放域3D资产集合，包含超过一百万个3D对象，采用GLB格式，涵盖广泛的日常类别，大多来自Sketchfab等社区贡献，是零样本迁移和大规模文本到3D生成任务的理想资源。Point-E及其后续版本Shap-E和LGM广泛利用Objaverse进行训练，将其3D内容编码入潜在空间进行扩散过程。局限性在于模型质量不一致引入训练噪声、缺乏标准化标注 controlled experiments，以及日常物体主导限制应用范围。
3.6 KITTI数据集
KITTI由德国卡尔斯鲁厄理工学院和美国丰田研究所联合开发，包含城市道路交通环境下采集的LiDAR点云、立体图像序列和相机标定参数，覆盖真实动态场景。DiffusionLiDAR执行上采样，PointDiffuse执行深度补全，均利用扩散机制修复缺失区域实现稠密重建；ScenDi利用该数据集结合3DGS与扩散模型生成高质量城市场景。局限性在于缺乏完整闭包模型、城市场景聚焦限制泛化、LiDAR点云高度稀疏。
3.7 GSO数据集
Google Scanned Objects（GSO）由谷歌研究院采集，包含超过1000个常见家居物品的高质量3D扫描，每模型包含高分辨率网格、真实纹理和物理属性，经统一尺度和朝向处理。3DiM、Diffusion-SDF、SPAR3D和One-2-3-45++利用GSO进行训练和评估，以其真实扫描纹理和几何增强细节和材质重建精度。局限性在于规模小限制零样本生成可扩展性、严格限制于家居物品类别、高分辨率扫描提高边缘平台部署门槛。
3.8 DTU数据集
DTU由丹麦技术大学发布，是多视图立体3D重建的标准基准，包含124个扫描场景，在受控实验室环境中使用机械臂和相机采集，49或64个固定视角在七种不同光照条件下拍摄，提供精确内外参和高精度结构光扫描真值点云，是评估扩散MVS任务几何重建质量的黄金标准。Zero-1-to-3利用其精确相机位姿和真值评估生成结果几何精度；Magic3D利用其标准化多视图数据评估文本驱动3D扩散结果的一致性。局限性在于限制于受控静态场景、缺乏真实世界复杂度、样本量小。
3.9 BuildingNet数据集
BuildingNet聚焦建筑结构的大规模3D数据集，包含数千个具有室内外几何细节的建筑物模型，适用于城市3D建模和建筑重建任务。BuilDiff利用其训练条件点云扩散模型进行单幅图像建筑生成。局限性在于缺乏真实世界纹理和树木道路等复杂周边环境。
3.10 HoliCity数据集
HoliCity为城市尺度的城市场景理解数据集，将精确3D CAD模型与街景全景图和卫星图像对齐，对卫星摄影测量和城市数字孪生应用极具价值。Sat2Scene依赖其引导3D扩散模型，直接从卫星图像合成3D城市场景和稠密点云。局限性在于处理城市尺度数据的巨大内存需求和街景中的严重遮挡。
3.11 Waymo开放数据集
Waymo开放数据集为大规模自动驾驶和移动制图数据集，包含复杂城市环境下采集的密集LiDAR扫描和多相机图像，提供高分辨率户外几何。XCube利用其训练稀疏体素扩散模型；ScenDi用于级联3D到2D场景扩散。局限性在于地面扫描缺乏完整建筑屋顶和数据结构高度复杂。
4 扩散3D重建方法性能比较
4.1 评估指标
研究采用三类指标进行全面评估：重建精度与质量、计算复杂度与效率、鲁棒性与泛化能力。重建精度与质量指标包括几何精度的倒角距离（Chamfer Distance, CD）和推土机距离（Earth Mover's Distance, EMD）、空间重叠度的F-Score和体积交并比（Volume IoU）、视觉感知的峰值信噪比（PSNR）和结构相似性指数（SSIM）、高层语义的感知图像块相似度（LPIPS）和对比语言-图像预训练（CLIP）分数等；计算复杂度与效率指标包括推理时间和数据效率；鲁棒性与泛化指标包括1-近邻准确率（1-NNA）评估生成多样性，以及跨类别和从合成到真实数据的迁移能力测试。
4.2 重建精度
在基础形状生成方面，潜在扩散和3D扩散模型表现强劲。PC2在ShapeNet上有效执行点云扩散获得可靠F-Score；DiffGS展现强无条件生成能力且FID分数低；Shap-E生成合理全局形状但VAE编码导致高频细节平滑；SDFusion在Pix3D上提供优异单视角重建结果。
在细粒度对象细节重建方面，混合和3D扩散模型表现优越。One-2-3-45++通过显式优化减少伪影，获得高用户偏好率（87.6%）和F-Score（93.6%）；Make-It-3D-enhanced结合扩散先验与MVS融合，在DTU数据集上获得高CLIP分数（95.65%）和低LPIPS（0.0908）；SPAR3D直接在点云空间去噪，在GSO数据集上实现最低CD（0.120）和最高F-Score（98.3%）。相比之下，Zero123 XL和SyncDreamer等图像扩散方法因缺乏显式3D约束常受几何畸变困扰。
在宏观地理空间场景方面，潜在和混合扩散模型展现巨大潜力。Sat2City在卫星城市场型中实现显著更高的外观质量（TPQ为7.35，TSC为8.03）；ScenDi在KITTI-360数据集上获得有竞争力的低FID分数（22.9）和FVD分数（262.6）；XCube有效处理大规模稀疏体素生成，实现最低CD误差。Sat2Scene在卫星到3D城市生成中超越基线，获得高PSNR（31.54）和SSIM（0.956）；BuilDiff在BuildingNet-SVI数据集上获优越几何精度（EMD为10.84，F-Score为21.41）。
4.3 计算复杂度与效率
在基于优化的生成方面，图像扩散方法存在明显局限。Zero123 XL生成单物体需30分钟，SyncDreamer需6分钟，DreamGaussian将3DGS替代NeRF加速至2分钟但仍远非实时，且无法端到端前向推理，完全不适合实时应用。
在前馈生成方面，潜在、3D和混合扩散模型展现优越推理速度。One-2-3-45++仅60秒重建高质量几何；LGM和InstantMesh约36至41秒；Shap-E仅需数秒；SPAR3D单遍前向生成无需迭代优化，实现0.7秒极速推理。但快速方法需大规模3D数据集预训练，带来高昂训练成本，存在推理速度与训练成本间的明显权衡。
在宏观地理空间场景方面，专门数据结构和级联架构展现巨大潜力。XCube利用稀疏体素层次结构显著降低大规模驾驶场景内存消耗；Sat2City采用级联生成过程将繁重3D生成拆分为更小步骤平衡计算负载。城市级或宏观数据集扩展放大硬件需求，推理阶段常需40至80 GB VRAM，推理时间延至数十秒。
4.4 鲁棒性与泛化能力
在跨类别重建和生成多样性方面，3D扩散模型表现强劲。PC2-FM在ShapeNet七个不同类别上实现最高平均分数（0.343），表明强零样本迁移能力；XCube以严格1-NNA指标在飞机、椅子和汽车类别上实现最低CD和EMD误差，成功生成多样形状避免模式崩溃。
在跨视角重建方面，混合扩散模型展现优越鲁棒性。Make-It-3D-enhanced在真实DTU数据集上仅使用单视角即实现最低LPIPS（0.0908）和上下文距离（1.59）；CRM和InstantMesh在复杂GSO数据集上实现非常高F-Score。相比之下，图像扩散方法强烈依赖冻结2D模型中的知识，对初始物体姿态高度敏感，在罕见类别或模糊提示下常受几何不一致困扰。
在合成到真实的迁移方面，域差距构成实际应用的根本挑战。扩散模型利用从大规模2D自然图像数据集学到的强语义先验，能够逻辑推断缺失细节和合理重建遮挡几何，通过鲁棒条件机制（如深度图、法线图或文本提示）在杂乱环境中保持强结构约束，展现实用泛化能力。
在宏观地理空间场景方面，潜在和混合扩散模型展现巨大潜力。Sat2City成功泛化至自定义卫星城市数据集，实现高GPQ（6.27）和GSC（7.02）几何质量分数；ScenDi在KITTI-360数据集前向移动情况下保持稳定生成。
5 结论与未来发展
近年来，扩散驱动的3D重建取得显著进展，形成图像引导扩散、3D原生扩散、潜在扩散和混合扩散四大技术路线。这些管道在先验知识、生成空间和优化设计方面差异显著。基于综合分析，得出以下结论：通过丰富先验和扩展生成空间可提升重建精度，平衡语义质量、几何保真度和效率仍是核心挑战，集成多种模态和表征的混合扩散系统展现明显优势。
未来研究方向包括：统一多级生成架构，支持潜在编码、网格、点云和3D高斯根据任务需求和资源约束自适应切换；异构模块的鲁棒融合与对齐，探索统一跨模态对齐策略、空间一致性约束和端到端结构正则化；轻量化表征与高效推理，开发紧凑3D表征，从迭代去噪转向前馈推理范式；几何、数据与可控性的协同优化，整合显式结构约束、物理可信正则化和大规模多样3D数据，融入语义布局、物理先验等显式条件控制提升生成可靠性。
