SCVQENet：压缩屏幕内容视频的质量提升方法

《Signal Processing: Image Communication》：SCVQENet: Quality enhancement for compressed screen content video

　　

• •
  我们提出了一种新的框架，用于提升压缩后的屏幕内容视频的质量，该框架充分考虑了时间上的突然变化、屏幕内容视频之间的高相关性以及空间上的不均匀相关性。
• •
  我们设计了ARC模块，通过使用屏幕内容特征词典为压缩后的屏幕内容视频中发生变化的区域提供额外的参考信息。
• •
  我们还设计了SDA模块，用于识别空间上相关的信息并对其进行动态聚合，从而减少无关空间信息的使用，优化质量提升过程。

引言

随着消费电子产品的不断普及[1]，屏幕内容视频在在线学习、娱乐直播以及商业演示等多个领域中发挥着重要作用，为人们带来优质的视觉体验。屏幕内容视频通常由数字设备生成，包含计算机生成的内容和真实场景，这些内容正在逐渐改变人们的学习、工作和生活方式。由于硬件性能和网络带宽的限制，人们通常采用HEVC-SCC[2]、[3]和VVC-SCC[4]、[5]、[6]等视频压缩技术来传输屏幕内容视频。然而，压缩后的屏幕内容视频容易出现压缩伪影，从而显著降低用户体验质量。这就迫切需要针对压缩后的屏幕内容视频设计专门的质量提升技术。

目前大多数现有的视频质量提升方法[7]、[8]、[9]、[10]、[11]、[12]、[13]、[14]、[15]、[16]、[17]、[18]、[19]、[20]、[21]、[22]、[23]、[24]、[25]、[26]、[27]、[28]、[29]、[30]、[31]主要是为压缩后的自然场景视频设计的，未能考虑到屏幕内容视频的独特特点。与自然场景视频相比，屏幕内容视频具有独特的时间、空间以及视频间的相关性。这些特点包括：（1）突然的不自然变化与自然的流畅变化交替出现：屏幕内容视频的相邻帧之间会随机出现不自然的突然变化，这类变化通常是由用户操作引发的，比如鼠标点击或键盘输入。如图1(a)所示，这类操作会导致屏幕内容视频中出现突然的场景或区域切换[32]、[33]、[34]。（2）色调不连续且边缘清晰：屏幕内容视频的帧，尤其是在文本和图形区域，往往包含高对比度的元素，如文字、图标和图形，它们位于颜色较浅的背景上。如图1(b)所示，这就导致了内容与其背景之间出现清晰的边缘和不连续的色调[35]。（3）不同屏幕内容实例之间的内容相关性较高：不同视频中的不同屏幕内容实例之间的内容相关性在屏幕内容视频中通常比在自然场景视频中更强。屏幕内容实例往往由计算机生成的内容组成，如文字、图形和图标，这些内容在许多屏幕内容场景中都很常见且相似，如图1(c)所示。这是因为即使是由不同的数字设备生成的，计算机生成的内容往往遵循相同的内容生成规则，比如使用类似的应用程序或代码。

近年来，已经有一些针对压缩后屏幕内容视频的质量提升方法被提出，包括基于单帧的[36]、[37]方法和基于多帧的[38]、[39]、[40]方法。现有的基于单帧的方法会利用预测模式和分块类型等编码信息来指导屏幕内容视频的质量提升。而对于基于多帧的方法，基于双分支的内容自适应模型（CAT）[38]通过运动补偿来提升图形质量，同时利用空间相关性来提升文本质量。此外，还有质量提升交叉融合方法（QECF）[39]，它使用无需对齐的交叉融合模块从多个帧中提取空间和时间信息。考虑到内容可能会发生剧烈的时间变化，还有时空自适应方法（STA）[40]，它从屏幕内容视频中提取时空变化信息，以指导单帧和多帧特征的适应性融合。这些方法考虑了屏幕内容视频的某些特点，能够在提升其质量方面取得不错的效果。不过，它们也忽略了屏幕内容视频的一些重要特点，还存在两个问题。

第一个问题是，这些方法假设物体运动遵循规律、流畅的模式，因而无法处理突然的内容变化。这种假设导致它们会将相邻的突然变化帧当作可靠的参考，而这往往会干扰质量提升的效果。因此，对于那些存在突然变化的区域来说，依赖这类参考是效率低下的。这就凸显出需要寻找其他策略，为这类区域提供高质量参考的必要性。

第二个问题是，这些方法无法有效处理屏幕内容视频中文本和图形区域存在的色调不连续以及边缘清晰的问题。它们通常依赖空间上相邻的帧来进行质量提升，但在颜色和内容变化频繁的区域，这可能会导致使用无关的相邻信息来进行提升。因此，有必要有选择地利用并动态聚合相关的空间信息，从而有效提升这些区域的质量。

鉴于屏幕内容视频的独特特点以及上述分析，我们提出了一种专为提升压缩后屏幕内容视频质量而设计的网络结构。该网络包含两个关键模块：突发区域补偿模块（ARC）和空间动态聚合模块（SDA）。ARC模块旨在为那些存在突然内容变化的区域找到高质量参考。它通过将突发区域的特征与突发内容特征词典进行匹配，选出最相关的参考，从而解决了那些缺乏高质量时间参考区域的突发变化问题。而SDA模块则通过斑块相似性匹配来识别空间上相关的相邻内容，并动态聚合这些信息，从而有效提升当前帧的质量。本文的主要贡献如下：

• (1)
  我们提出了一种新的框架，用于提升压缩后屏幕内容视频的质量，该框架充分考虑了时间上的突然变化、屏幕内容视频之间的高相关性以及空间上的不均匀相关性。具体而言，该方法还利用额外的词典作为补充参考，用于处理突发区域，同时合理利用空间参考信息来提升目标压缩区域的质量。
• (2)
  为了为存在突然内容变化的区域找到高质量参考，我们提出了ARC模块，该模块不仅从时间维度，还从突变内容特征词典中为压缩后的屏幕内容视频中发生变化的区域提供额外的参考信息，从而提升压缩内容的质量。
• (3)
  为了提高屏幕内容视频帧中空间信息的利用效率，我们提出了SDA模块，该模块能够识别空间上相关的信息并对其进行动态聚合，从而减少无关空间信息的使用，进而优化质量提升过程。

章节节选

压缩后自然场景视频的视频质量提升方法

目前已有多种方法被提出用于提升压缩后自然场景视频的质量，包括单帧方法和多帧方法。Dong等人提出了用于减少JPEG图像伪影的Artifact Reduction CNN（ARCNN）[7]网络。之后的研究[8]、[9]则侧重于提高空间信息的利用效率，但却忽视了时间数据，这限制了它们的效果。在多帧方法方面，Yang等人提出了多帧质量提升方法（MFQE）[13]，随后又有了基于斑块的空

屏幕内容视频特点的分析

在本节中，我们对屏幕内容视频的特点进行了统计分析，得出了关于屏幕内容视频低级特点的若干结论，这些结论有助于我们设计SCVQENet方法。

发现1： 尽管屏幕内容视频可能会出现不自然、突然的变化，但不同屏幕内容实例之间的相关性却很高。

分析：人类的操作，比如鼠标点击和键盘输入，常常会引发界面变化，以满足用户的需求，比如网页导航等

方法

图3展示了我们所提出的用于提升压缩后屏幕内容视频质量的网络的总体架构。对于因压缩而出现伪影的压缩后屏幕内容视频，我们的方法旨在去除这些伪影，提升视频质量。该架构由三个核心部分组成：时间补偿模块（TC）、ARC模块和SDA模块。

实验设置

数据集：我们收集了73个屏幕内容视频组成的数据集，这些视频涵盖了文本编辑、网页浏览、游戏以及各种常见应用程序界面等多种内容类型，非常适合用于屏幕内容视频质量提升任务的训练和测试。其中，52个视频用于训练，另外21个用于测试。测试数据集包括来自常见测试序列（CTC）[57]的12个视频，以及来自[58]的9个视频，我们在本文中将其称为AOMCTC。这些视频的分辨率各不相同

结论

在本文中，我们对屏幕内容视频的特点进行了全面分析。基于这些分析，我们提出了一种网络架构，该架构能够有效利用时间、空间信息以及额外的词典参考信息，从而提升压缩后屏幕内容视频的质量。为了解决屏幕内容视频中常见的突发区域问题，我们设计了ARC模块，该模块可以为这些区域提供高质量参考，同时还将未压缩屏幕内容实例中的高质量纹理传输过来，从而恢复压缩后视频中丢失的细节

CRediT作者贡献说明

Zhaoyi Tian：撰写——审阅与编辑，撰写——初稿，验证，软件，方法论，研究，概念设计。Shiwei Wang：撰写——审阅与编辑，撰写——初稿，方法论。Mengyao Li：撰写——审阅与编辑，撰写——初稿，验证，方法论。Feifeng Wang：验证，形式化分析。Liquan Shen：撰写——审阅与编辑，撰写——初稿，监督，项目管理，资金筹集。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究结果的已知利益冲突或个人关系。

Zhaoyi Tian|Shiwei Wang|Mengyao Li|Feifeng Wang|Liquan Shen