渐进式极线几何增强的鲁棒光场超分辨率重建方法

本文提出了一种创新的光场（LF）联合空间-角度超分辨率（LFSASR）方法PEG-Net，通过渐进式极线平面图像（EPI）特征提取器和特征融合策略，有效解决了大视差和严重遮挡场景下的重建难题。该方法摒弃传统基于视差的扭曲操作，采用空间-角度一体化上采样模块，在公共数据集上实现80%推理速度提升，为光场成像在三维重建、深度估计等工业应用提供了高效解决方案。

　　

Highlight

本研究首次提出非视差基的单阶段光场空间-角度联合超分辨率（LFSASR）方法PEG-Net。通过分解4D光场为空间、角度和极线平面图像（EPI）三种2D表征，创新性地开发了渐进式EPI特征提取器，其均匀利用所有子孔径图像（SAIs）且避免下采样操作，显著提升了几何信息捕获能力。

Motivation

传统方法在EPI特征提取时存在视图利用不均或下采样导致几何信息丢失的问题。我们提出的渐进式特征融合策略，配合空间-角度一体化上采样模块，有效规避了扭曲操作引入的误差，使模型在大视差和遮挡场景中展现更强鲁棒性。

Network Architecture

网络仅处理YCbCr色彩空间的Y通道，将4D光场定义为L(u,v,x,y)∈R^U×V×H×W，其中U/V表示角度维度，H/W代表空间分辨率。通过多组块结构设计，在保持较低计算量（FLOPs）的同时实现高效重建。

Experiment

在遮挡数据集测试中，本方法较当前最佳LFSASR方法SASR-Net推理速度提升80%。消融实验证实，渐进式EPI提取器使几何信息保留率提升37.5%，特征融合策略贡献22.3%的PSNR增益。

Limitation and Discussion

尽管模型参数量较高，但在存储成本大幅降低的当下，推理时间和性能更具实际价值。该方法为医疗内窥镜成像、工业检测等需要实时高精度三维重建的场景提供了新范式。

Conclusion

PEG-Net通过几何信息增强模块和一体化上采样架构，为光场超分辨率领域提供了首个非视差基的端到端解决方案，在保持工业级实时性的同时显著提升重建质量。