利用光场成像与空间-角度-时间融合技术实现视频语义分割的突破

《IEEE Transactions on Circuits and Systems for Video Technology》：Pioneering Video Semantic Segmentation With Light Field Imaging and Spatial–Angular–Temporal Fusion

　　

摘要：

视频语义分割旨在通过同时利用空间上下文和时间一致性，为视频中的每个像素分配语义标签，它对于自主感知和智能监控等应用至关重要。然而，传统的RGB视频缺乏全景线索，因此在视觉复杂的场景中，如物体遮挡、低光照环境以及透明表面情况下，分割结果并不可靠。光场成像通过微透镜阵列捕获空间信息和角度信息，提供多视角几何线索，从而增强场景表征并提高分割的稳定性。受这些优势的启发，我们研究了光场视频语义分割问题，并提出了光场空间-角度互补网络（LFCNet），以在具有挑战性的视觉环境下实现精确高效的分割。LFCNet首先采用高效的池化策略提取多尺度宏观像素空间上下文特征，然后引入角度建模模块（AMM）和上下文变化模块（CCM）来捕捉角度线索并处理因视角不同而产生的上下文变化。此外，我们还设计了时间-通道相关性模块（TCCM），通过选择性优化各帧间的通道表示来增强时间特征的一致性。为了支持训练和评估，我们基于宏观像素表示构建了一个光场视频数据集，作为该任务的基准。在四个数据集上的大量实验表明，LFCNet在分割精度和效率方面均表现优异。

I. 引言

视频语义分割的主要目标是通过利用空间和时间上下文信息，为视频帧中的物体分配准确的语义标签。这项任务在高级视觉理解中起着关键作用，可应用于自动驾驶、监控以及实时系统中的智能决策等领域[1]。深度学习的最新进展显著提升了算法性能，通过轻量级网络和快速特征变形机制降低了计算复杂度[2]、[3]、[4]、[5]。尽管这些进展提高了各种分割任务的处理速度和效率，但它们在处理具有复杂细节和物体遮挡的复杂场景时，往往存在精度不足的问题。为了解决这一局限，人们引入了基于注意力的机制，从而能够更好地建模视频帧之间的长距离依赖关系[6]、[7]、[8]，进而大幅提升了分割的精度和稳定性。然而，目前大多数方法仍局限于传统的RGB成像，而RGB成像由于采用2D高斯和平面成像方式，存在固有限制。这些方法难以捕捉到用于区分外观相似物体的角度信息，尤其是在物体遮挡、照明不均或表面半透明等复杂条件下。在这些情况下，基于RGB的方法往往会出现边界定位不准确、分割错误以及稳定性下降等问题。这凸显出需要更具表达能力的成像方案，能够提供更丰富的几何和角度信息，突破传统2D数据的限制，从而在视觉要求较高的环境中实现更准确、更稳定的分割。