双层路由注意力机制与增强的时空不一致性学习在深度视频帧内干扰（Deep VFI）检测中的应用

《ACM Transactions on Multimedia Computing, Communications, and Applications》：Bi-Level Routing Attention and Enhanced Spatial-Temporal Inconsistency Learning for Deep VFI Video Detection

针对深度学习视频帧插值（Deep VFI）中存在的空间时序不一致性问题，提出双流识别网络BRA-ST。网络采用分层路由注意力机制结合高斯滤波增强空间不一致性，并叠加时间差模块与ConvGRU提取时序特征，通过跨流注意力聚合和整体部分自适应融合实现帧预测。实验表明BRA-ST检测准确率达99.73%，且对不同Deep VFI方法的识别率均达78.55%。

　　

摘要

随着基于深度学习的视频帧插值（Deep VFI）技术的成熟，合成过程中存在的时空不一致性问题得到了显著改善，但这给现有的VFI检测器带来了挑战。本文提出了一种基于双级路由注意力机制和增强型时空不一致性学习（BRA-ST）的双流识别网络来应对这一挑战。具体而言，Deep VFI中的时空不一致性主要体现在运动区域和移动物体边缘；因此，引入了高通滤波器来增强这些特征，并利用具有双级路由注意力的三层金字塔结构进行学习。为了充分利用Deep VFI视频中的时间不一致性，时间流中的时间差分模块与ConvGRU结合使用，以提取连续多帧之间的时间依赖特征。此外，两个流的中层通过通道注意力进行交互和聚合，最后一层从整体和部分的角度自适应地融合图像，以实现最终的帧预测。通过在五个最先进的Deep VFI方法构建的数据集上的实验验证，所提出的BRA-ST方法取得了99.73%的准确率，优于现有的Deep VFI检测器；同时，BRA-ST对不同Deep VFI方法的分辨率提升效果达到了78.55%。我们的源代码和数据集可访问于：https://pan.baidu.com/jiatang625/BRA-ST