《Pattern Recognition》：Learning Domain-Agnostic Spatial-Angular Feature for Light Field Image Super-Resolution
编辑推荐：
光场图像超分辨率方法通过融合子空间特征提升性能，但存在空间细节与角一致性失衡问题。本文提出DAFEB模块，结合DATL层增强局部细节，设计三阶段特征处理策略：先从SAI和MacPI提取空间细节，再在EPI增强角一致性，最后通过不一致特征重增强解决域转换导致的细节丢失，实现单特征图同时保留空间细节与角一致性，实验表明LF-DANet在×4超分下PSNR较前SOTA提升0.45dB，参数减少20%，推理速度提高59%。
王霞|姚璐|王顺洲|徐凌文
北京工业大学计算机科学与技术学院，北京，100080，中国
摘要
从光场（LF）子空间（即子孔径图像（SAI）、宏像素图像（MacPI）和极平面图像（EPI）中提取空间-角度特征是光场图像超分辨率（LFSR）中的常见做法。虽然这种方法能够有效捕捉LF的领域特定属性，但现有方法往往由于对领域特定特征的利用不足或简单的特征融合策略，未能将这些独特的领域特定特征完全整合到单一特征图中，从而导致结果不佳。在这项工作中，我们提出了一种新的框架，用于提取同时保留多种领域特定属性的领域无关空间-角度特征。首先，我们引入了一个细节感知变换器层（DATL），作为一个在保留复杂细节方面表现优异的通用特征提取模块。通过对不同子空间应用DATL，我们提出了一个领域无关特征提取块（DAFEB），通过我们精心设计的特征处理方法来提取领域无关的空间-角度特征。首先，在SAI和MacPI域上依次提取空间信息。接下来，在EPI域上增强角度一致性。由于这种直接的域转换，空间细节会被削弱。我们提出了一种新的差异提取和重新增强机制来解决这个问题。具体来说，我们提取最后两步的差异特征以保留角度一致性属性，然后重新增强特征的空间细节，最终得到的特征将初始特征与这些增强后的细节结合，从而获得具有增强空间细节和保留角度一致性的领域无关特征。在LF基准测试上的广泛实验表明，我们的方法LF-DANet取得了具有竞争力的最佳性能。代码可在以下链接公开获取：
https://github.com/stanley-313/LF-DANet引言
光场（LF）成像作为一种变革性的计算摄影技术，通过位于主镜头和传感器之间的微透镜阵列捕捉空间和角度光信息。这种独特的架构使得能够一次性获取4D辐射数据，解锁了包括深度估计[1]、3D场景重建[2]、新颖视图合成[3]和捕获后重新对焦[4]等强大功能。然而，当前的LF系统面临一个根本的分辨率权衡：商业实现（例如Lytro Illum）通常产生的子孔径图像（SAI）分辨率为625×434像素，而研究级的全景相机仅保留292×292的空间分辨率以保持高角度采样[5]。这种严重的分辨率限制严重阻碍了其在多个领域的实际应用。在医学成像中，LF显微镜[6]需要亚微米级分辨率来进行精确的3D细胞结构分析，而工业应用如视觉测距则需要实时处理高分辨率LF数据以实现稳健的姿态估计[7]。最近在计算摄影领域的进展尝试通过各种超分辨率方法来解决这一挑战。传统的单图像超分辨率方法[8]、[9]无法保持角度一致性，而早期的LF超分辨率（LFSR）方法则存在计算复杂度过高和重建质量不佳的问题。
最近，提出了许多深度神经网络来改进光场超分辨率[10]、[11]、[12]、[13]、[14]、[15]、[16]、[17]、[18]、[19]、[20]、[21]、[22]、[23]、[24]、[25]、[26]、[27]、[28]。自从Yeung等人[10]首次引入2D空间-角度可分离卷积作为4D卷积的有效近似方法以来，从4D LF的不同子空间（即子孔径图像（SAI）、宏像素图像（MacPI）和极平面图像（EPI）中提取特征已成为一种主导且有效的设计范式。然而，我们发现这种范式存在一个根本性的局限性。从任何单个LF子空间提取的特征本质上都具有强烈的领域特定偏差。例如，从SAI和MacPI提取的特征往往包含更多的空间上下文信息，但缺乏强烈的结构约束或角度一致性。相比之下，从EPI提取的特征与场景深度密切相关，通常能捕获更多的结构信息，但会牺牲精细的空间细节。这些内在差异暴露了当前依赖子空间特定特征提取方法的两个主要问题。首先，在部分领域进行特征提取的方法，如LFT [21]（SAI和MacPI域）和EPIT [22]（EPI域），如图1所示，未能充分利用不同LF子空间的互补属性。结果，表示能力变得不平衡，它们要么捕捉空间细节，要么捕捉角度结构，但两者都不能兼顾，这使得它们在空间退化和差异变化下变得脆弱。其次，提取完整领域特定特征但通过启发式操作（例如HLFSR [18]）融合这些特征的方法，未能保留每个子空间的独特贡献，甚至可能中和这些贡献，导致表示效果减弱，空间或角度特征减弱。这些挑战表明迫切需要一种能够同时利用所有领域而不继承其个别偏差的表示方法。因此，我们提倡学习领域无关的空间-角度特征，即特征不会过度拟合任何单一子空间，同时保留丰富的空间细节和强烈的角度一致性。这样的表示对于重建高质量和几何精确的高分辨率LF图像至关重要。
为了解决上述问题，我们提出了两项关键创新。首先，我们提出了一个细节感知变换器层（DATL），它将局部性注入注意力机制和前馈网络中，以加强细粒度空间细节的建模。这种设计缓解了普通自注意力机制的已知局限性，后者表现为低通滤波器，会抑制高频信息[29]。因此，DATL作为跨不同LF子空间的通用特征提取器，能够捕捉细粒度特征。其次，在DATL的基础上，我们设计了领域无关特征提取块（DAFEB），从4D LF中学习领域无关的空间-角度特征。具体来说，我们首先使用DATL在MacPI和SAI域上提取视间和视内空间特征。随后，我们使用DATL处理水平和垂直EPI，以增强特征的角度一致性。由于特征最终在EPI域上提取，空间上下文信息会被抑制。一种直接的解决方法是对空间特征进行重新增强。然而，这种直接的域转换再次会削弱角度一致性。为了解决这个问题，我们提取最后两步的差异特征，并重新应用之前的DATL来增强这种结构受限特征的空间上下文信息，确保在空间特征提取之前保留几何属性。最后，将这种特征与最初的空间增强特征结合，生成具有增强空间细节和稳健角度一致性的领域无关特征。基于DAFEB，我们开发了一个名为LF-DANet的新网络，用于LFSR。
总结来说，本文的贡献如下：
- •
我们提出了一个领域无关特征提取块，可以从LF中提取领域无关的空间-角度特征，能够在单一特征图中同时保留空间细节和角度一致性。
- •
我们设计了一个细节感知变换器层，以促进在不同LF域上有效提取局部细粒度特征。
- •
我们基于上述设计开发了一个名为LF-DANet的网络。我们的方法在平均PSNR上比之前的最佳方法LF-DET提高了0.45dB，在×4 SR下参数减少了20%，推理时间减少了59%。
部分摘录
光场图像超分辨率
由于深度学习技术的快速发展，光场图像超分辨率（LFSR）近年来受到了越来越多的关注。Yoon等人[30]首次利用CNN对每个SAI进行超分辨率处理。然而，LFCNN的性能受到限制，因为在超分辨率过程中忽略了角度信息。因此，后续工作不遗余力地探索丰富的角度信息，通过各种策略（如堆叠）来提高性能
问题表述
LFSR的目标是生成高分辨率（HR）LF图像
，其中
U×
V是角度分辨率，
H×
W是空间分辨率，
α是上采样因子。根据[17]，我们仅对亮度分量进行超分辨率处理，并在其上计算定量指标，LF数据被组织成
U×
V SAI数组作为输入。
整体架构
LF-DANet的整体架构如图2所示。具体来说，我们首先应用浅层特征提取模块
数据集和实现细节
遵循之前的工作[17]，我们选择了BsicLFSR基准测试，其中包含五个LF数据集（即EPFL [47]、HCIold [48]、HCInew [49]、INRIA [50]）用于训练和测试。具体来说，我们选择中心5×5的SAI并将其裁剪成32×32/64×64的块，用于×2/×4的SR。然后，我们进行双三次下采样以生成低分辨率LF图像。与[17]类似，数据增强通过随机旋转和翻转来实现。在训练阶段，我们选择Adam作为
结论
在本文中，我们提出了一种名为LF-DANet的新网络，用于光场图像超分辨率。我们方法的核心是一个领域无关特征提取块（DAFEB），旨在捕获领域无关的空间-角度特征，有效地将详细的空间上下文与稳健的角度一致性结合起来。这是通过我们提出的细节感知变换器层（DATL）模块和精心设计的三阶段特征处理策略实现的。
CRediT作者贡献声明
王霞：撰写——原始草案、可视化、验证、软件、方法论、数据管理、概念化。姚璐：撰写——审阅与编辑、监督、项目管理、资金获取。王顺洲：撰写——审阅与编辑、验证、方法论、概念化。徐凌文：可视化、软件、数据管理、概念化。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
致谢
本工作部分得到了广东省关键领域专项项目（编号2022ZDZX1036）、深圳市基础研究自然科学基金一般项目（JCYJ20250604273228037）以及深圳市孔雀计划的支持。
