综述：提升视频的流畅度和清晰度：关于帧插值、超分辨率以及时空超分辨率技术的综合研究

《Displays》：Enhancing video smoothness and clarity: A unified survey of frame interpolation, super-resolution, and space–time super-resolution

视频增强技术对提升医疗影像、远程 sensing等领域的视觉质量至关重要，但低分辨率设备拍摄的视频存在空间和时序细节不足的问题。本文首次提出统一框架，系统综述了视频帧插值（VFI）、视频超分辨率（VSR）及时空视频超分辨率（STVSR）三大任务，涵盖超过100种基于深度学习的AI方法，包括扩散模型、Transformer架构和事件相机等新兴技术，并分析其共享技术基础与跨领域应用潜力。

　　

作者：朱志辰、姜新北、高天汉

东北大学软件学院，中国辽宁省沈阳市浑南区创新路195号，邮编110004

摘要

视频增强对于提升视频内容的视觉质量至关重要，这些应用包括娱乐、通信、医学成像、监控和遥感等领域。然而，由资源受限的设备拍摄的视频通常具有较低的空间和时间分辨率，导致细节不足和时间不连续性，从而阻碍了有效的视觉感知和后续分析。尽管深度学习在这些单独任务中产生了变革性影响，但现有的研究通常将视频帧插值（VFI）和视频超分辨率（VSR）视为独立任务，忽略了它们之间的内在时空协同作用。为弥补这一差距，本文首次在一个统一的框架内对视频帧插值、视频超分辨率和时空视频超分辨率进行了综合研究。我们提供了由人工智能驱动的100多种方法的全面分类，包括基础架构和利用状态空间模型、扩散模型以及事件相机等新兴方法。此外，我们还分析了共有的技术基础，回顾了广泛使用的数据集和评估指标，并探讨了多个领域的实际应用。通过识别这些技术之间的协同作用，本文最后讨论了面临的挑战和未来的研究方向，旨在为计算机视觉和显示技术社区提供基础资源。

引言

作为捕捉、存储和显示动态图像的媒介，视频在现代社会中发挥着重要作用，并支撑着娱乐、通信、安全和科学等关键的人工智能（AI）应用。[1],[2],[3] 视频内容的质量至关重要，因为它直接影响了人类观察者和智能系统对视觉信息的捕获、处理和解释方式。高保真视频数据不仅对于沉浸式虚拟现实（VR）体验至关重要[4]，也对准确的医学诊断[5]、可靠的监控[6]和详细的遥感图像[7]不可或缺。这些领域正受到持续AI进步的深远影响。

然而，获取高质量视频并不总是可行的。使用较旧或资源受限的设备拍摄的内容往往因技术限制或复杂的录制环境而具有较低的空间和时间分辨率。这种退化表现为细节不足或时间不连续性，与现代高刷新率和高分辨率显示面板的能力存在显著不匹配[8]。这种差距既影响了人类的视觉舒适度，也阻碍了基于机器的准确视频分析。

视频增强通过提升视频内容的整体视觉质量来应对这些挑战。该领域涵盖了许多任务，如低光校正[9],[10],[11]、去雨[12],[13]和去雾[15]。尽管如此，清晰度（空间分辨率）和流畅度（时间分辨率）这两个基本方面构成了现代增强研究的核心。本调查特别探讨了利用人工智能改进视频空间分辨率和帧率的最新进展，并将其分为三个主要任务：视频超分辨率（VSR），通过提高空间分辨率来增强清晰度；视频帧插值（VFI），通过合成中间帧来改善时间流畅性；以及时空视频超分辨率（STVSR），同时提升空间和时间分辨率。

传统的增强方法主要依赖于经典的图像处理技术，往往无法充分捕捉视频数据中的复杂时空相关性。最近，深度学习的快速进展，特别是扩散模型[16]和Transformer[17]架构的应用，彻底改变了这一领域。图1展示了在顶级AI和计算机视觉期刊中相关研究的快速增长，反映了人们对视频增强研究的兴趣和进展。尽管取得了显著进展，但现有研究往往分别讨论VFI或VSR。表1总结了现有研究及其各自的重点，突显了当前文献的碎片化和任务特定性。然而，这些任务本质上是相互关联的，并共享共同的技术框架和架构创新。统一的时空增强方法这一新兴趋势进一步强调了需要一个综合视角的必要性。

为解决这一差距，本文首次在一个统一的框架内对VFI、VSR和STVSR进行了综合研究。本调查的主要贡献如下：

• 1.
  统一框架：确立了一个全面的视角，识别了这三个增强任务之间的重叠、协同作用和混合方法的机会。
• 2.
  全面分类
  ：系统地分类了100多种方法，并突出了最近的人工智能驱动创新，包括基于扩散模型的方法、基于Transformer的方法以及事件相机等新型感测模式。
• 3.
  深入应用分析
  ：探讨了在增强现实、医学成像、遥感和游戏等领域的实际应用，同时研究了各种基于AI的方法如何应对实际挑战。

图2展示了我们调查的分类体系。本文的其余部分安排如下：第2节明确了任务定义，并回顾了常用的数据集和评估指标。第3节探讨了视频帧插值方法，第4节研究了视频超分辨率技术，第5节讨论了时空视频超分辨率，第6节讨论了视频增强的实际应用。最后，第7节总结了本文并概述了未来的研究方向。

节选内容

定义、数据集和评估指标

本节定义了视频增强的总体任务，包括视频帧插值、视频超分辨率和时空视频超分辨率，并将它们统一在一个框架下进行讨论。随后，回顾了常用的数据集和评估指标。

视频帧插值

视频帧插值（VFI），也称为时间超分辨率，旨在在视频序列中的现有帧之间合成一个或多个中间帧。其主要目标是提高视频的时间分辨率，从而实现更流畅的运动感知。VFI方法可以根据输入数据的不同进行分类。最传统的方法仅处理来自单个相机的标准RGB帧[54],[55],[56]；它们的主要优势在于应用范围广泛

视频超分辨率

视频超分辨率（VSR）的任务是从低分辨率（LR）视频重建高分辨率（HR）视频，旨在提升空间细节和感知质量。这项任务本质上是不适定的，因为单个LR帧可以对应无数个潜在的HR帧，且退化过程通常是未知的。虽然VSR建立在单帧超分辨率（SISR）的基础上，但它通过利用相邻帧的时间信息来区分自己。

时空视频超分辨率

时空视频超分辨率（STVSR）旨在同时提升视频序列的空间和时间分辨率。这项任务结合了VFI（提高时间分辨率）和VSR（提高空间分辨率）的目标。

该问题最初由[153]在经典优化框架内提出。在一段相对沉寂期后，随着深度学习技术的成功，STVSR研究在2020年左右重新兴起

应用

在过去十年中，VFI、VSR和STVSR领域取得了显著进展。因此，视频增强技术已经成熟到可以在多个行业中实际应用的程度。本节回顾了视频增强的关键应用领域，强调了这些技术如何集成到实际系统中以及它们所提供的功能改进。图10展示了视频增强方法的各种重要应用领域。

结论和未来方向

本调查提供了视频增强领域的统一和全面概述，展示了视频帧插值、视频超分辨率和时空视频超分辨率的发展历程。通过系统地分类和分析100多种人工智能驱动的方法，我们揭示了它们共同的技术基础，这些基础涵盖了从光流和可变形卷积到Transformer和扩散模型等技术

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。

致谢

本工作得到了国家自然科学基金的支持，项目编号为：52130403。