基于CNN-LSTM混合框架的稀疏光场增强:实现新颖视图合成与高保真3D场景重建

《Machine Learning and Knowledge Extraction》:Deep Learning-Driven Sparse Light Field Enhancement: A CNN-LSTM Framework for Novel View Synthesis and 3D Scene Reconstruction Vivek Dwivedi, Gregor Rozinaj, Javlon Tursunov, Ivan Minárik, Marek Vanco and Radoslav Vargic

【字体: 大 中 小 】 时间:2026年04月13日 来源:Machine Learning and Knowledge Extraction 6

编辑推荐:

  本文针对稀疏光场成像中因视角覆盖不足导致的3D场景重建质量不佳问题,提出了一种创新的CNN-LSTM混合框架。该框架通过合成新的相机位姿及其对应的新颖视图,有效增稠了光场表示,从而提升了包括LLFF、NeRF和3D高斯溅射在内的多种先进3D重建方法的性能。该工作为计算成像、真实感渲染和沉浸式3D重建提供了一种可扩展的实用解决方案。

  
在传统摄影中,我们捕捉到的只是光的强度,而光场成像则更进一步,记录了光线的强度和方向。这项技术能将三维场景信息编码到二维数据中,让我们在拍摄后还能重新对焦,甚至改变观看的视角。然而,现实往往是骨感的——要获取高质量的光场数据,理论上需要部署密密麻麻的相机阵列来捕捉每个方向的光线,这在大多数实际场景中既不现实也不经济。于是,我们常常只能得到稀疏的光场数据,即仅从有限几个视角拍摄的图像。这种“视角匮乏”给三维场景重建带来了巨大挑战,容易导致几何模糊、深度估计错误,最终生成的视图可能出现重影、模糊等令人不快的瑕疵。
现有的三维重建“利器”,无论是传统的多视角立体视觉算法,还是前沿的神经渲染方法如神经辐射场(NeRF)和3D高斯溅射,大多仰仗密集的输入视图。当“口粮”不足——只有稀疏的几张图片时,它们的表现便会大打折扣。这就像一个视力极佳的人,在浓雾中也会看不清东西。那么,能否“无中生有”,利用有限的几张图片,智能地“脑补”出更多、更丰富的视角,从而让后续的三维重建质量大幅提升呢?这正是本项研究试图攻克的核心难题。
研究人员在《Machine Learning and Knowledge Extraction》上发表论文,提出了一种名为“深度学习驱动的稀疏光场增强”的新方法。他们设计了一个巧妙的混合框架,将擅长提取空间特征的卷积神经网络(CNN)与擅长捕捉序列依赖关系的长短期记忆网络(LSTM)结合起来。这个框架的核心思路是:首先,利用从稀疏输入图像中估计出的相机位姿,通过插值和 extrapolation 技术,“预测”出一系列新的、未曾被真实拍摄过的相机位姿;然后,训练CNN-LSTM模型,根据原始稀疏视图和这些新位姿,合成出对应的、逼真的新视图图像。这样一来,原始的稀疏数据集(例如25张图)就被“增稠”成了一个更丰富的集合(例如35张图)。这个增强后的数据集,为后续的各种三维重建算法提供了更充足的“养料”。
为了验证这一想法,研究团队在多个数据集上进行了实验。他们不仅使用了自采的数据(如用iPhone 11拍摄的鼠标、植物等场景),也利用了公开的基准数据集。关键的是,他们用增强后的数据集分别测试了局部光场融合(LLFF)、NeRF和3D高斯溅射这三种先进的渲染与重建方法。结果显示,经过他们方法增强后的数据,能普遍、显著地提升这些方法的重建质量,包括获得更精确的深度图、减少伪影、增强结构一致性。这证明了他们提出的CNN-LSTM框架是一种强大且通用的工具,能够有效缓解稀疏视角带来的限制,为高质量三维重建开辟了一条不依赖昂贵硬件或密集采集的实用路径。
研究采用的关键技术方法
本研究采用的关键技术方法主要包括:1. 使用COLMAP(一种开源的运动恢复结构与多视角立体视觉管线)从原始稀疏图像集中估计相机位姿。2. 在相机位姿生成中,对表示位置的平移向量采用线性插值(LERP),对表示旋转的单位四元数采用球面线性插值(SLERP),以生成平滑的新相机位姿。3. 构建了一个混合的CNN-LSTM深度学习模型,其中CNN负责从稀疏输入视图中提取空间特征,LSTM负责建模视点间的时空依赖关系,共同协作以合成对应新位姿的新颖视图。4. 使用增强后的图像数据集,评估其对LLFF、NeRF和3D高斯溅射等先进三维重建与渲染方法性能的提升效果。
3.1. 数据收集与预处理
研究人员自行使用iPhone 11捕获了多个场景(如计算机鼠标、植物、相机盒)的多视角图像,并引入了多个公开基准数据集。对图像进行了标准化分辨率的下采样等预处理,以优化计算效率并为后续处理做准备。
3.2. 通过平移和四元数旋转的插值及外推生成新相机位姿
利用COLMAP估计的原始相机位姿,通过LERP和SLERP技术插值生成新的中间位姿,并可能进行外推,以扩展空间覆盖范围。这为视图合成提供了基础。
核心流程与框架有效性
本研究的整体方法论是一个顺序执行的管道,从数据收集开始,经过预处理、新位姿生成、新视图合成,最终用增强数据集进行三维重建并评估。提出的CNN-LSTM框架被证明能够有效学习视点间的时空关系,在稀疏输入条件下生成 plausible 的新视图,克服了纯前馈CNN方法的局限性。
4. 实验与主观评估
研究在多个数据集上进行了实验。结果表明,通过该方法合成的额外视图,显著丰富了原始数据集。将增强数据集输入LLFF、NeRF和3D高斯溅射等先进方法后,在多个场景上都观察到了三维重建质量的明显提升,包括更清晰的细节和更少的视觉瑕疵。
5. 客观评估
对增强前后数据集的重建结果进行了定量比较。评估指标证实,使用本研究方法生成的增强数据集,能够 consistently 改善三维重建的客观质量,例如提高深度估计精度、降低误差。
研究结论与意义
本研究成功提出并验证了一种基于CNN-LSTM混合框架的稀疏光场增强方法。该工作主要贡献在于:1. 证明了基于LSTM的序列建模能有效用于新颖视图合成,弥补了稀疏输入下前馈CNN方法的不足。2. 所提方法能够通过合成新视图来增强原始稀疏光场数据集,从而显著提升下游三维重建的质量。3. 该框架降低了对密集相机阵列或昂贵扫描硬件的依赖,为现实世界中只能获取稀疏输入的场景提供了实现高质量三维重建的实用方案。
总之,这项研究为稀疏光场成像这一长期挑战提供了创新的深度学习解决方案。它不仅提高了现有先进重建方法在稀疏数据条件下的性能,也展示了序列模型在视觉内容生成领域的潜力。该工作的成果有望推动计算成像、真实感渲染、虚拟现实/增强现实及机器人视觉等领域的发展,使高质量三维场景重建变得更加易于实现和普及。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号