基于双重表示的光场视图合成：采用可变形卷积与深度残差通道注意力网络

《IEEE Open Journal of Signal Processing》：Dual Representation-based Light Field View Synthesis using Deformable Convolutional and Deep Residual Channel Attention Networks

　　**摘要：**光场（LF）相机能够在单次曝光中同时捕获光线的强度值和方向信息，为计算摄影和三维几何感知提供了独特的视角。然而，现有的光场相机受限于传感器分辨率，难以同时捕获高空间分辨率和高角度分辨率。为解决这一问题，已有多种基于学习的方法被提出，以提升所捕获光场的角度分辨率，即光场视图合成（LFVS）。其中许多方法要么忽略了关键的几何线索，要么依赖具有大感受野的神经网络，这限制了它们准确利用光场结构特征的能力。针对这些挑战，本文提出了一种基于双表示的光场视图合成方法，采用了可变形卷积网络和深度残差通道注意力（DRCA）网络。所提出的方法包含两个主要模块：（i）粗略光场视图合成（CLFVS），用于初步进行光场视图合成；以及（ii）由粗到细的优化（CFR），用于最终质量增强。CLFVS模块依赖于可变形卷积，通过两个并行网络自适应地提取光场特征：（i）空间特征提取（SPFE）网络，采用深度依赖的光场视图合成方法；以及（ii）角度特征提取（AFE）网络，采用非深度依赖的光场视图合成方法。CFR模块使用DRCA网络对CLFVS的输出进行优化，该网络在残差组之间采用稠密残差连接，而非传统的卷积层。DRCA网络利用残差通道注意力模块（RCAB）来建模通道间依赖关系，选择性地增强有意义的特征，同时抑制无关特征。所提出的方法在合成和真实世界的光场基准测试上均达到了最先进的性能水平。