MSEConv：一种统一的视频帧插值变形框架

《ACM Transactions on Asian and Low-Resource Language Information Processing》：MSEConv: A Unified Warping Framework for Video Frame Interpolation

复杂运动建模与视频帧插值融合的多尺度可扩展变形卷积方法，通过全局注意力机制分配不同扩展度的核权重，解决传统方法数据冗余和运动表征不精准问题，并引入遮挡掩膜增强鲁棒性，性能优于现有基于核的插值方法。

　　

摘要

在视频帧插值的背景下，复杂运动建模的任务是捕捉视频序列中移动对象在插值帧中的位置，以及如何保持运动的时间一致性。现有的视频帧插值方法通常采用固定大小的运动核或精细的光流来模拟复杂运动。然而，这些方法存在数据冗余和运动表示不准确的局限性。本文提出了一种统一的变形框架，称为多尺度可扩展变形卷积（MSEConv），用于同时进行复杂运动建模和帧插值。在该框架中，提出了一个具有全局注意力机制的深度全卷积神经网络，用于估计具有不同扩展程度的多个小尺度核权重，并为每个像素合成进行自适应权重分配。此外，大多数基于核的插值方法都可以视为所提出的MSEConv的特殊情况，因此MSEConv可以轻松应用于其他基于核的帧插值方法以提高性能。为了进一步提高运动遮挡的鲁棒性，引入了掩码遮挡操作。结果表明，我们提出的MSEConv在公共数据集上的性能与最先进的基于核的帧插值方法相当甚至更优。我们的源代码和可视觉对比的结果可在https://github.com/Pumpkin123709/MSEConv获取。