PWM-VFI：用于视频帧插值的多尺度分块窗口Mamba

《Knowledge-Based Systems》：PWM-VFI: Multi-scale partitioned window Mamba for video frame interpolation

　　

**PWM-VFI：** 用于空间相关性建模与高质量视频帧插值。
**多尺度分窗机制：** 缓解Mamba模型中的信息衰减问题。
**多尺度窗口融合：** 减少空间不连续性并共同捕获局部细节。
在高分辨率、复杂场景下实现了具有竞争力的感知质量。

## 引言

视频帧插值（VFI）是计算机视觉领域的一项重要任务，旨在根据给定的两幅相邻帧（I?为过去帧，I?为未来帧）预测中间帧I?。该方法能够提升视频质量与视觉沉浸感，使视频能在低性能设备和低带宽环境下流畅播放。同时，它在需要运动跟踪与分析的各种应用中也发挥着关键作用。提升视频帧插值的性能很大程度上依赖于对帧间运动信息的准确捕捉[1], [2]。因此，有效地对帧间运动信息进行建模至关重要。

基于深度学习的视频帧插值研究大致可分为以下几类：基于卷积神经网络（CNN）的方法、基于视觉Transformer（ViT）的方法[2]–[16]、基于扩散模型的中间帧生成方法[17]以及基于视觉Mamba（VMamba）的方法[1], [18]。基于CNN的方法通常采用编码器–解码器结构来提取光流并合成中间帧。然而，CNN的小型卷积核在面对复杂运动模式时，可能难以建模长程依赖关系。基于ViT的方法试图通过注意力机制捕捉长程依赖关系以克服CNN的固有缺陷。然而，此类方法依次处理空间信息和时间信息，难以充分捕捉动态的帧间运动。基于扩散模型的中间帧生成方法往往带来极高的训练和推理成本。由于缺乏由光流引导的I?和I?的显式像素级信息，此类方法需要更多的视频样本进行训练才能达到令人满意的效果，同时其推理延迟也极高。

状态空间模型[19]具有线性的计算效率和全局交互能力，是高分辨率视频帧插值的一个有前景的解决方案。然而，鲁棒的时空像素关系建模对其应用提出了三个核心挑战[18]：**第一，局部建模至关重要。** Mamba将二维图像转换为序列令牌，从而丢失了固有的空间特征，并且由于一维扫描的历史衰减（早期令牌的影响力随近期令牌而减弱），无法捕捉相邻像素。这一问题在高分辨率帧中尤为严重（空间相关性低、细节丰富），需要局部化扫描。**第二，扫描必须保持空间连续性。** 现有的窗口内局部扫描[18], [20]虽然实现了局部性，但导致了严重的窗口间不连续性。**第三，空间特征捕捉至关重要。** 例如，[1]采用选择性状态二维扫描，通过串行交错连续帧的令牌来捕捉帧间运动，但仅依赖全局扫描无法建模密集的高分辨率细节。[18]基于Hilbert曲线的扫描在高分辨率下存在不可忽视的历史衰减，导致模糊。为应对上述难题，我们提出的PWM-VFI在多尺度分窗Mamba模块（第3.3节）中纳入了三项对应的设计：（1）多尺度分窗机制，用于缓解历史衰减并增强局部建模；（2）多尺度窗口均值融合策略，用于在不同感受野下聚合局部运动信息，增强模型对不同尺度运动区域的特征表示能力，同时保持模型效率；（3）多方向扫描策略，用于更好地捕捉细粒度的高分辨率空间特征。

与现有的基于Mamba的方法相比，我们的方法更好地解决了这些问题，具有精细的感知质量，其主要区别在于：不同于[1]的单尺度帧间交叉扫描，我们采用多尺度窗口扫描来缓解长序列的历史衰减。而[18]仅通过窗口移位来缓解边界不连续性（无显式的跨窗口融合），我们的方法则对多尺度窗口分支特征执行均值融合——保留不同尺度的局部优势，并通过互补的感受野消除单窗口的不连续性，同时保持有利的计算效率。值得注意的是，我们在分窗建模之后，通过多尺度窗口的均值融合来确保空间连续性，这与现有方法不同。

为有效增强视频帧插值的特征表示能力，本文提出了一种新颖的多尺度分窗Mamba模型，命名为PWM-VFI。通过采用多尺度分窗建模策略，所提方法可以以局部化和细粒度的方式捕捉视频帧的时空信息。通过采用多尺度窗口融合策略，所提方法可以确保全局特征建模的完整性和时空一致性。具体而言，所提方法首先将特征图划分为多尺度窗口，然后采用Mamba在每个窗口内进行特征建模，最后对建模后的特征进行多尺度窗口融合。这样可以在保持空间连续性的同时，实现高精度的局部化建模。本文的贡献总结如下：

(a) 我们设计了一种多尺度分窗建模机制，用于建模高分辨率帧的局部空间特征，缓解历史衰减效应，并准确捕捉复杂的多尺度帧间动态运动。

(b) 我们提出了一种多尺度窗口融合策略，用于提升扫描过程中的空间连续性，在保证计算效率的同时确保局部特征建模的完整性和一致性。

(c) 我们进行了多次对比实验以验证PWM-VFI模型的有效性。结果表明，该模型在强运动和高分辨率输入下能够生成精细的插值帧，并在主流感知质量指标上取得了相当的性能表现。

## 相关工作

随着深度学习模型的出现，视频帧插值方法的性能得到了极大提升。现有的主流方法主要分为以下几类。

## 整体流程

给定两幅参考帧图像I?和I? ∈ ?^H×W×3，分辨率为H×W，视频帧插值的任务是重建对应目标时间t ∈ (0,1)的中间帧I?。如图1所示，PWM-VFI采用端到端的编码器–解码器架构，完整实现了从双帧参考图像到任意时间中间帧的插值生成。首先，它使用[40]中的运动估计器来估计双向光流，分别记为F?→?和F?→?。

## 实验设置

**数据集。** 为评估模型性能，我们采用视频帧插值领域中广泛使用的基准数据集：Vimeo90K [43]、DAVIS (2017) [42]和Xiph [41]。我们使用Vimeo90K [43]作为训练集，DAVIS (2017) [42]和Xiph [41]作为验证集。遵循[2]中的工作，我们选择这些视频数据集来评估VFIPS [44]和FloLPIPS [45]两种专为视频帧插值任务设计的感知指标。对于DAVIS数据集，我们进行了……

## 讨论

**局限性。** 尽管PWM-VFI在各种视频帧插值基准上取得了具有竞争力的性能，但仍存在一些局限性。首先，所提方法主要通过多尺度状态空间建模来提升时空特征表示，但并未显式估计或约束运动轨迹。因此，涉及极大运动位移、复杂非线性运动或严重遮挡的困难场景，仍可能导致不准确的……

## 结论

本研究旨在优化Mamba模型在视频帧插值任务中的时空建模能力，通过多尺度分窗策略增强空间连续性并减少信息损失。所提出的多尺度分窗建模与融合机制有效地平衡了局部与全局建模，并缓解了历史衰减和空间连续性不足的问题。实验表明，该方法显著提升了……

## CRediT作者贡献声明

**范士杰：** 撰写–初稿撰写，可视化，验证，软件，调研，正式分析，数据整理。
**殷梦晓：** 撰写–审阅与编辑，指导，方法论，调研，正式分析，概念化。
**梁志杰：** 撰写–审阅与编辑，验证，正式分析。

## 利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：殷梦晓报告曾获得广西自然科学基金的财务支持。如有其他作者，声明不存在已知的竞争财务利益或个人关系可能影响本文所述工作的内容。

## 致谢

本研究工作由广西自然科学基金资助（批准号：2026GXNSFHA00640030和2025GXNSFAA069359）。

范士杰 | 殷梦晓 | 梁志杰