从有限数量的视角进行3D场景重建
《Computer Vision and Image Understanding》:3D scene reconstruction from a limited number of viewpoints
【字体:
大
中
小
】
时间:2026年04月18日
来源:Computer Vision and Image Understanding 3.5
编辑推荐:
提出一种基于稀疏视图的三维场景重建方法,引入几何先验(点、线、平面约束)和数据先验(预训练网络特征)联合优化神经辐射场,解决有限视角下的深度与几何信息不足问题,在ScanNet和7-Scenes上表现优于现有方法。
郭毅|刘志丹|孙澈|吴宇伟
北京理工大学计算机科学与技术学院,北京,100081,中国
摘要
基于学习的3D场景重建方法在重建室内场景中的复杂几何结构和低纹理区域方面取得了令人印象深刻的性能。这些方法通常依赖于覆盖整个场景的密集视图和丰富的视角来约束学习过程。然而,较少有研究关注使用数量有限的易于获取的稀疏视图进行室内场景重建。在本文中,我们提出了一种能够从具有有限视角的稀疏视图重建室内场景的3D场景重建方法。我们引入了几何和数据先验来解决仅使用2D图像时3D表示监督不足的问题。具体来说,我们引入了几何先验,即点、线和平面,这些先验约束了高度结构化的信息,以指导3D表示的学习过程并减轻对观察区域的噪声敏感性。我们构建了一个优化算法,该算法联合优化点、线和平面,利用这些元素之间的内在关系。我们进一步引入了数据先验,即由预训练网络提取的特征,这些特征为学习更完整的表示提供了额外信息,并为未观察到的区域提供了填充能力。在ScanNet和7-Scenes数据集上的实验表明,当仅使用具有有限视角的稀疏视图时,我们的方法优于之前的方法。从不同稀疏度级别的图像进行的重建实验也证明了我们方法的优越性。
引言
从RGB图像重建3D场景是计算机视觉领域一个长期存在且具有挑战性的任务,具有广泛的应用,例如虚拟现实、增强现实和机器人技术。基于学习的3D场景重建方法(Sun等人,2021年;Guo等人,2022年;Lyu等人,2023年)通过使用体积渲染(Niemeyer等人,2020年)取得了良好的性能,这得益于神经辐射场的高表达能力(Mildenhall等人,2020年)。最近,基于高斯散布的方法(B. Huang等人,2024年;Xiang等人,2025年)实现了更高的重建质量和更快的渲染速度。
上述大多数方法需要从具有丰富视角的密集视图捕获输入图像,例如图1(a)中所示的Manhattan-SDF方法所需的视图。这样的密集视图(例如,Yu等人(2022年)和Lyu等人(2023年)所需的上半球视图)不仅需要大量的图像,还需要涵盖每个区域的多样化视角。基于高斯散布的方法(Yu等人,2024年;B. Huang等人,2024年;Xiang等人,2025年;Kerbl等人,2023年)也需要密集视图来使用COLMAP(Schonberger和Frahm,2016年)获得可靠的初始点云。与密集视图相比,稀疏视图更容易获得且更用户友好,如图1(b)所示,只有少量具有有限视角的图像,但迄今为止受到的关注较少。在实践中,只能捕获有限数量稀疏视图的情况很常见,例如当代理遇到短暂场景或只能短暂停留的地方时。在本文中,我们专注于使用具有有限视角的稀疏视图进行室内场景重建。
从具有有限视角的稀疏视图重建室内场景的一个主要挑战是,2D图像不足以提供强大的约束来监督体积渲染中的3D表示,这是2D图像的固有局限性。具体来说,当只有稀疏视图可用时,这一挑战体现在三个关键方面。首先,来自具有有限视角的稀疏视图的图像无法产生与密集视图一样准确和稳健的深度图和法线图,这会在重建过程中引入显著的噪声。其次,因为在稀疏情况下每个区域从较少的视角被观察,增加了极线几何失败的可能性。最后,稀疏视图本质上会留下更多未观察到的区域,导致在重建过程中这些区域缺乏有效的约束。这三个方面导致在稀疏情况下观察到的和未观察到的区域都缺乏有效的约束能力。
为了解决这一挑战,我们引入了额外的先验来指导从具有有限视角的稀疏视图进行高质量3D重建,无论是观察到的还是未观察到的区域。具体来说,我们的方法将场景表示为神经辐射场,并引入了几何先验和数据先验,通过体积渲染(Niemeyer等人,2020年)来优化这些场以进行场景重建。对于观察到的区域,我们引入点、线和平面作为几何先验,以捕获高度的几何结构信息。我们定义了几何先验如下:(1)外观相似且特征相似的点被约束位于场景的表面。(2)从图像中提取的线段被反投影到3D空间中,强制共线性约束以增强结构连贯性。(3)在纹理有限的区域中,平面指导重建,强制法线与地面平行或垂直。此外,我们不仅仅单独使用这些几何约束,还利用这些几何元素之间的相互作用,共同优化点、线和平面,以进一步增强结构连贯性,反映自然的几何关系。对于未观察到的区域,我们提取图像特征作为数据先验来指导网络完成缺失区域的重建。我们根据深度反投影特征,以指导未观察区域的3D表示学习。通过引入先验来指导3D表示的学习过程,我们改进了重建结果,如图1(d)所示。
我们的方法在ScanNet数据集(Dai等人,2017年)和7-Scenes数据集(Shotton等人,2013年)上进行了评估。实验结果表明,当仅使用具有有限视角的稀疏视图时,我们的方法优于之前的方法。
总结来说,我们的贡献如下:
- •
据我们所知,这是第一项仅使用具有有限视角的稀疏视图来研究室内场景重建并提高重建质量的工作。
- •
我们提出了一个联合优化框架,系统地建模并强制点、线和平面之间的相互一致性。这种设计有效地建立了准确和稳健的几何约束,特别是在具有有限视角的稀疏视图下显著提高了重建性能。
- •
实验表明,无论是在几何先验指导的观察区域还是数据先验指导的未观察区域,我们的方法都具有优越性,特别是在具有有限视角的稀疏视图下。
章节片段
多视图立体重建
从一系列图像中重建场景的3D几何结构是计算机视觉领域一个长期存在的任务。传统方法基于多视图立体(MVS)方法(Schonberger和Frahm,2016年)估计每张图像的深度,然后将深度融合到3D模型中。这些方法在具有复杂几何结构的场景上取得了良好的性能,但在面对室内场景中的大而纹理较少的区域时往往无法获得满意的结果。
方法
以来自有限视角的稀疏视图图像和相机姿态作为输入,我们的目标是实现高质量的场景重建。为此,我们使用多层感知器(MLPs)将场景表示为神经辐射场,并通过体积渲染在几何和数据先验的指导下对其进行优化。为了提高观察区域的重建质量,我们引入了几何先验来检测点、线和平面,以指导3D表示的优化
实现细节
我们的方法在PyTorch中实现。我们使用Adam优化器(Kingma和Ba,2015年)进行网络优化,初始学习率为,并在训练过程中逐渐降低。在每次训练迭代中,我们从单张图像中随机抽取1024条光线形成一个批次。该模型在单个NVIDIA RTX 4090 GPU上训练50k次迭代,大约需要20 GB的GPU内存和7-8小时来优化单个场景。网络参数由球体初始化
结论
在本文中,我们提出了一种仅使用具有有限视角的稀疏视图作为输入的新颖3D场景重建方法。在我们的方法中,可以在几何和数据先验的指导下,从具有有限视角的可用稀疏视图图像中获得高质量的3D场景重建结果。我们设计了联合优化的线和平面作为几何先验,以指导观察区域的3D表示学习过程。我们引入特征网格作为数据
CRediT作者贡献声明
郭毅:撰写 – 审稿与编辑,撰写 – 原始草稿,软件,方法论,资金获取,形式分析,数据管理。刘志丹:可视化,验证,软件,资源,方法论。孙澈:撰写 – 审稿与编辑,监督,数据管理,概念化。吴宇伟:撰写 – 审稿与编辑,监督,项目管理,概念化。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
郭毅于2020年在中国济南的山东大学获得学士学位。目前,他正在北京理工大学计算机科学与技术学院的北京智能信息技术重点实验室攻读博士学位。他的研究兴趣包括模式识别、计算机视觉和3D视觉。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号