基于视差引导与空间-角度交互的单视图光场合成方法研究

【字体: 时间:2025年07月22日 来源:Pattern Recognition 7.5

编辑推荐:

  为解决单视图图像难以准确重建4D光场(LLFS)的难题,研究人员提出视差引导光场生成范式(DGLF)与交互式判别器,构建DG-GAN网络。该研究通过并行生成光场与视差图实现几何感知,利用空间-角度特征交互提升生成质量,在5个数据集上验证了方法的优越性,为VR、重聚焦等应用提供新思路。

  

在虚拟现实(VR)和计算摄影领域,光场成像技术因其能记录光线方向信息而备受关注。然而专业光场相机价格昂贵,如何从普通单视图图像合成高质量4D光场(LLFS)成为关键挑战。传统方法面临两大瓶颈:基于几何的方法依赖精确视差估计,但单视图的几何理解本身是病态问题;超分辨率方法则忽视光场特有的空间-角度信息互补性。这些局限导致合成结果存在几何失真或细节模糊,严重制约着VR内容生成、数字重聚焦等应用效果。

针对这一难题,华南理工大学的研究团队在《Pattern Recognition》发表创新研究,提出视差引导光场生成范式(DGLF)与交互式判别器相结合的DG-GAN框架。该研究突破性地将视差估计作为隐式引导信号而非显式约束,通过共享模型同步生成目标光场和视差图,利用辅助光场重建误差实现几何感知。同时设计的空间-角度交互模块,通过特征融合增强判别器对光场结构一致性的判断能力。理论分析证明DGLF具有优异的泛化性能,实验显示该方法在Flowers等5个数据集上PSNR提升15%以上,显著减少几何异常点。

关键技术包括:1) DGLF范式构建共享编码器-双解码器架构,实现光场与视差图并行生成;2) 交互式判别器引入空间-角度特征交叉注意力机制;3) 基于SRGAN和DRN网络架构的对抗训练策略,采用Adam优化器(β1=0.9, β2=0.999)进行120轮训练。

【Problem Definition】部分明确定义输入为中心视图S(x,0)∈Rh×w,输出为u×v×h×w维光场数据,其中4×5阵列是典型配置。

【Disparity-Guided Paradigm】显示核心创新在于:通过最小化辅助光场Saux=W(S(x,0),d)与目标光场的L1误差,使模型隐式学习几何约束,避免显式视差估计的误差传播。

【Interactive Discriminator】验证空间-角度交互模块使生成光场的SSIM提升0.12,消融实验表明该模块对保持视角一致性贡献率达43%。

【Experiments】部分在EPFL等数据集上对比显示,DG-GAN的LPIPS指标优于基线方法LFattNet 27%,且推理速度达25FPS。

结论表明该研究开创性地将几何引导与特征交互相结合,突破单视图重建的固有局限。讨论部分指出当前方法对训练集外物体和强透视场景适应性不足,未来计划融合扩散模型提升泛化能力。这项工作为消费级设备实现专业级光场成像提供新范式,其几何感知机制对3D重建、医学影像等领域具有重要借鉴价值。

相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号