TF-Net：基于傅里叶变换与边缘语义分割的视频预测方法

《Neurocomputing》：TF-Net:Video prediction method based on Fourier transform and edge semantic segmentation

　　

摘要

近年来，视频预测领域取得了显著进展，包括卷积神经网络、循环神经网络、生成对抗网络以及物理模型等。本文我们介绍了一种强大的视频预测模型——TF-Net。首先，它将频域方法引入时间视频预测任务中，以时频时方式运作。在复频域层面，它能有效捕捉时间上的突发信号，提升对变化的感知能力。其次，通过边缘跟踪算法，将时间数据分割为内容组件和边缘轮廓组件，并将边缘轮廓数据作为新的数据组，从而丰富数据集。最后，我们提出了一种新的交叉注意力模块，整合上述多尺度特征信息，同时捕捉空间纹理细节，进一步提升模型的预测能力。我们的方法在五个具有挑战性的数据集上取得了最先进的性能，在UCF101数据集上的SSIM值高达96.2%，PSNR值高达37.6，MSE值仅为22.9。

引言

视频预测的任务是根据输入的过去帧来预测未来的帧，无需额外的标注。这在气象灾害预测、人体姿态估计以及自动驾驶等领域发挥着重要作用[1]、[2]、[3]、[4]、[5]。然而，视频数据包含大量的时空信息，模型很难准确捕捉和理解这些信息。此外，视频中的动态变化、物体之间的相互作用以及场景的不确定性等因素进一步增加了预测的难度，导致结果不够清晰。

为了解决这些难题，人们开展了各种研究，取得了显著成效。从各种循环神经网络[6]、[7]、[8]、[9]到卷积神经网络，再到循环神经网络与卷积神经网络的组合，以及变换器[10]、[11]架构和不同的训练策略，都展现出了出色的性能。我们详细介绍了目前的预测成果，涵盖了从卷积神经网络预测、循环神经网络预测到光流估计等各种方法。

卷积网络

卷积网络在多个领域都发挥了重要作用。在视频预测领域，从GDL[12]开始就取得了显著进展。随后，DVF[13]利用卷积神经网络自编码器从相邻帧中重建体素。之后，PredCNN[14]在多种数据集上取得了超越前代产品的卓越性能。DPG[15]提出了一种分离运动和场景的新方法。SDC-Net[16]则提出了高分辨率视频帧预测技术。通过分层构建神经网络，可以利用卷积神经网络实现未来的语义分割[17]。在这些基础之上，像SimVP[18]这样的最新模型通过简单的卷积神经网络架构也展现了出色的性能。除了全卷积网络之外，还有将变换器与卷积神经网络结合用于视频预测的方法。VTN[19]在卷积提取后对时间维度应用滑动窗口注意力机制。[20]将相关方法扩展到3D维度后，提出了局部注意力图。Timesformer和Vivit[22]则提出了不同的时空注意力机制，取得了优异的性能。Mvit[23]通过构建多尺度金字塔结构，得到了最先进的预测结果。不过，所有这些方法都完全在时间域内运行，所使用的空间滤波器本质上对高频时间不连续性不够敏感。当运动突然或非线性时，它们无法区分快速的信号变化和背景信息，从而导致运动边界处的预测不准确。

循环网络

循环神经网络在预测任务中展现出显著的优势，因此受到了广泛关注。最初由LSTM与循环神经网络模块构成的结构，后来发展为ConvLSTM[24]，它通过使用卷积来捕捉时空相关性，从而扩展了全连接层的功能。MIM-LSTM[25]能够模拟视频的静态和动态特性。PredRNN[8]提出同时提取记忆特征和时间特征。其升级版本PredRNN++[6]解决了梯度传播困难的问题，能够捕捉长期依赖关系。E3d-LSTM[7]将3D卷积集成到循环神经网络中，并引入门控自注意力模块，显著提升了视频预测中的长期预测能力。dGRU[26]在编码器和解码器之间共享状态单元，以此降低计算和内存成本。此外，还有许多将循环神经网络与卷积神经网络结合使用的例子[27]、[28]、[29]。尽管有这些进步，基于循环神经网络的方法在长期预测时仍存在梯度消失的问题，这限制了它们处理长时间依赖关系的能力。而且，由于其顺序计算结构，难以实现有效的并行处理。与基于卷积神经网络的方法类似，它们也仅在像素域内建模时间模式，没有明确表示运动信号的频率特性，因此无法捕捉帧与帧之间的突然变化。

光流估计

光流估计是视频预测领域的一种创新方法。FVS[30]旨在通过整合输入帧序列中的语义图、实例图以及光流等补充信息来提升预测质量。受到逼真视频插值成功的启发，OPT[31]研究提出了专门为视频预测设计的优化框架。基于这些理念，DMVFN[32]在这一领域取得了进一步的发展。它拓展了密集体素流的概念，并引入了可微分路由模块，使模型能够更有效地捕捉和表示不同尺度下的运动。不过，基于光流的方法严重依赖于精确的光流估计，而在遮挡、快速运动或光照变化的情况下，光流估计的质量会大幅下降。此外，这些方法侧重于显式的运动建模，却忽略了细粒度的结构边缘信息，导致预测帧中的物体轮廓模糊不清。

综合来看，上述方法暴露出现有视频预测研究中的三个根本性局限。首先，基于时间域的卷积和循环方法本质上对高频的突发信号不够敏感，无法捕捉帧与帧之间的突然运动变化。其次，光流和语义分解方法忽略了细粒度的结构边界信息，导致预测帧中的物体轮廓模糊。第三，现有的多尺度特征融合策略未能充分利用局部纹理细节与全局运动模式之间的关联。为了解决这些问题，我们提出了TF-Net，这是一种具有三大创新点的视频预测框架，如图1所示。具体创新点如下：

• •
  我们提出将时间域数据转换为复频域数据，从而将时间域的预测问题转化为频域中的幅度和相位预测问题。通过频域方法捕捉高频成分，我们可以掌握时间域成分的变化，最后再进行逆变换将其显示在时间域中。这样就能更好地预测运动趋势和突发成分。
• •
  我们运用边缘跟踪算法将时间域数据语义化地分割为边缘轮廓语义图，并将它们作为新的数据组，从而丰富数据量，提升预测结果的表征能力。
• •
  我们提出了一种新的交叉注意力模块，该模块能够整合多尺度特征信息，增强不同尺度之间的关联性和局部精度。

章节节选

频域预测

利用频域方法处理时间问题，可以弥补时间域方法的不足。傅里叶变换被广泛应用于一维时间序列预测。FITS[33]通过学习频域中的线性插值方法来预测频域结果，然后再进行逆变换回到时间域，从而降低了模型的复杂度。MSGNet[34]则引入了FFT模块用于多尺度学习，强调了时间的周期性

方法

如图2所示，TF-Net是一种结构较为简单的模型。它由三个主要部分组成：频域变换预测模块、边缘一致性预测模块以及多尺度交叉注意力融合模块。我们通过频域变换来解决时间预测问题。在频域中，数据表示方式能够更简洁、更有效地描述时间数据的固有规律，同时还能通过频率变化来丰富时间特征。

数据集

我们在来自不同来源的五个不同数据集上测试了TF-Net方法。这些数据集包括Moving MINIST、UCF101、Caltech Pedestrian、KTH以及Human3.6。具体的实验设置如表1所示。

实验环境

实验环境如下：操作系统为Ubuntu 20.04，内存容量为40GB，GPU为RTX 3090（24GB），处理器为Intel(R) Xeon(R) Platinum 8255C，主频为2.50GHz。开发语言为Python 3.8，深度学习框架为PyTorch

结论

我们提出了TF-Net，这是一种更为简单却又功能强大的模型。我们证明了利用基于傅里叶的频域方法进行时间视频预测是有效的。通过从新数据组中获取语义分割标签来丰富视频数据，我们为视频预测提供了准确的上下文信息，这也是将语义分割技术应用于视频预测方法的第一步。我们的交叉注意力方法能够在不引入复杂结构的情况下取得理想的效果

利益冲突声明

作者声明，他们不存在任何可能影响本文研究成果的已知财务利益或个人关系。

陈苏婷目前是中国南京信息工程大学电子与信息工程学院的教授，同时也担任博士生导师。她的专业领域主要包括信号与信息处理、计算机视觉以及其他众多研究方向。在工业界，她拥有40多项授权专利，还在国内外发表了70多篇学术论文。

Su ting Chen|Zhi wei Chen

中国南京信息工程大学电子与信息工程学院