360VFI:360度视频帧插值

《Journal of Visual Communication and Image Representation》:360VFI: 360-degree video frame interpolation

【字体: 大 中 小 】 时间:2026年09月18日 来源:Journal of Visual Communication and Image Representation 2.8

编辑推荐:

   •我们将360°VFI建模为一个互补的双域问题,其中ERP域流处理全局运动,立方体域流处理纹理细化。•我们提出了ERP域流,该流将等距圆柱投影感知卷积与标准卷积结合在串并行金字塔架构中,并配以自适应扭曲模块,以处理空间变化的多尺度运动。•投影切换的局部流和融合网络在立方体面上

  
  • •
    我们将360°VFI建模为一个互补的双域问题,其中ERP域流处理全局运动,立方体域流处理纹理细化。
  • •
    我们提出了ERP域流,该流将等距圆柱投影感知卷积与标准卷积结合在串并行金字塔架构中,并配以自适应扭曲模块,以处理空间变化的多尺度运动。
  • •
    投影切换的局部流和融合网络在立方体面上恢复精细纹理;在多个360°数据集上的实验结果表明,我们的方法在性能上超越了此前最先进的插值方法。

引言

视频帧插值(VFI)是计算机视觉中的一项关键任务,旨在通过在现有帧之间创建中间帧来提高视频的时序分辨率。该技术被广泛应用于提升有限的帧率以及克服商用视频摄像机短曝光时间的限制。
近年来,360°摄像机的普及和沉浸式技术的进步使得360°全景视频在展示现实世界场景方面变得越来越普遍,应用涵盖多个领域[1]、[2]、[3]、[4],包括虚拟现实[5]、[6]、虚拟导航[7]、[8]等。然而,针对360°全景视频的帧插值研究[9]仍然极为有限,尚有大量空间有待进一步探索。目前对于平面视频表现良好的VFI方法在应用于360°全景视频时面临巨大挑战。这种困难源于现有平面VFI模型及其训练数据集基于扁平图像表示,而360°视频使用球形表示[10]、[11]。这一根本性差异导致不可避免的投影畸变,使得在全景视频上使用平面VFI模型时性能下降。要有效地实现360°全景视频的帧插值,关键在于解决两大主要挑战(见图1)。
一个主要挑战是,360°视频中常用的等距圆柱投影(ERP)会导致纹理拉伸和特征分布不均匀。标准卷积核具有固定的感受野和平移不变的权重共享机制,难以从ERP格式图像中有效提取特征。为解决这一问题,我们提出了一种ERP特征提取模块,将等距圆柱投影卷积(ERPConv)与标准卷积相结合。如图5(a)所示,ERPConv通过调整可变形卷积核来校正投影畸变,而标准卷积则补充ERPConv留下的空白。这种创新性组合增强了ERP图像中纹理细节和空间变化运动信息的捕获能力。
另一个挑战出现在ERP格式的全景视频中:观测角度主要集中在南北纬度60度以内的区域。在这些区域,等距圆柱投影引起的运动通常远小于极附近的区域。相比之下,高纬度区域会经历显著的拉伸和畸变,导致非线性、大尺度运动。虽然平面模型可以有效处理小尺度或大尺度运动,但难以应对ERP帧中两种运动的共存。为应对这一挑战,我们提出了串并行金字塔网络与自适应扭曲模块。串并行网络通过分层结构将大尺度和小尺度运动转换为统一的运动尺度,有效解决了不同运动尺度共存的问题。同时,自适应扭曲模块采用可分离可变形卷积,利用估计的可变形参数准确预测中间帧。
此外,我们引入了一种基于重投影的局部细化网络,将ERP投影转换为立方体投影[12],从六面体的六个平面预测中间帧。这种方法有助于减轻等距圆柱投影造成的畸变,如图2(c)所示。
这些模块共享一个设计理念。ERP畸变、纬度依赖的运动尺度和高纬度纹理拉伸是耦合的,任何仅在单一域中工作的网络都无法消除所有这些问题。因此,我们将任务分解为两个互补的流并融合其输出:一个流在ERP中处理全局运动和畸变,另一个在立方体面上细化纹理。
总之,我们的360°视频帧插值方法做出了以下贡献。
  • 1.
    我们将360°VFI建模为互补的双域问题,其中ERP域全局流处理运动和畸变,立方体域局部流细化纹理。
  • 2.
    对于ERP域流,我们提出了串并行金字塔架构和自适应扭曲模块,后者分离水平和垂直偏移,使模型能够处理大尺度和小尺度运动的共存以及空间变化的畸变。
  • 3.
    我们引入了基于重投影的局部细化流,将ERP表示转换为六个立方体面并在无畸变域中合成中间补丁,同时配以融合网络整合两个流。我们进一步编制了三个覆盖不同运动特征的360°测试集,在这些测试集上,我们的完整框架始终优于此前最先进的方法。

章节片段

视频帧插值

传统的视频帧插值方法通常依赖于运动估计和运动补偿插值[13]、[14]。然而,这些方法如今已被基于学习的技术所超越。
基于学习的帧插值方法大致可分为直接方法、基于相位的方法、基于Transformer的方法、基于光流的方法和基于核的方法。直接方法使用无光流且纯端到端的CNN架构直接生成目标帧[15]、[16]、[17]、[18]。

方法

给定一对输入ERP帧 I0 和 I1,我们的目标是合成中间帧 It,其中 0<t<1。与传统的平面VFI不同,360°视频插值必须解决将球形帧投影到平面时产生的空间变化畸变,同时确保整个360°视野的连续性和一致性。我们的360VFI网络将这一思路实现为双流架构,如图4所示。全局网络在整个ERP上操作

实验与分析

在本节中,我们通过定量(表2、表4)和定性(图10、图11、图12)方式证明我们的方法在大多数评估数据集上优于先前的工作,并提供广泛的消融实验以验证各模块的有效性。

结论

本文提出了一种用于360°视频帧插值的双流框架,包含两个组成部分:一个在ERP域中运行的全局流以处理运动和畸变,一个在立方体域中运行的局部流以细化纹理。实验结果表明,我们的方法在各种基准测试中均优于其他方法。由于高分辨率分析需要对内容进行缩放,全帧4K推理超出了我们24GB GPU的能力范围。

作者贡献声明

李星:撰写——初稿、验证、软件、方法论、调查。周扬:撰写——审阅与编辑、监督、获取资助、概念构思。黄晓峰:可视化、数据整理。尹海兵:数据整理。孙尧奇:撰写——审阅与编辑、监督。李竹:撰写——审阅与编辑、监督。

利益冲突声明

作者声明不存在任何可能影响本文所报告工作的已知竞争性经济利益或个人关系。

致谢

本工作由国家重点研发计划(资助号2023YFB4502800)和浙江省自然科学基金(资助号LY21F020021)支持。
李星 | 周扬 | 黄晓峰 | 尹海兵 | 孙尧奇 | 李竹
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号