基于纳什均衡的、考虑梯度退化的VVC（视频编码）速率控制

《Journal of Visual Communication and Image Representation》：Gradient degradation-aware rate control for VVC using nash equilibrium

视频编码中VVC的率控制方法，提出区分跳过和非跳过CTU的比特分配策略，基于梯度相似度（GMSD）构建效用函数，并通过纳什均衡博弈论优化非跳过CTU的λ参数，实验验证其有效提升视频质量并降低比特率。

　　

陈鹏卢|曾焕强|赵超|陈静|林琪|郑慧杰

中国厦门华侨大学信息科学与工程学院

摘要

在多功能视频编码（VVC）中，基于$\lambda$的速率控制方法取得了显著的性能，能够在严格的比特限制下实现更高的视觉质量。然而，对于高分辨率视频，大部分编码树单元（CTUs）都是被跳过的块，使用来自跳过CTUs的更新参数可能导致不合理的比特分配。本文提出了一种新的VVC速率控制方法，该方法分别对跳过和非跳过的CTUs进行比特分配。跳过CTUs的比特可以根据帧的目标每像素比特数（bpp）一次性计算得出，无需单独计算。对于非跳过的CTUs，我们首先将比特分配问题构建为一个基于博弈论定义的纳什均衡问题。随后，我们设计了一个基于梯度幅度相似性偏差（GMSD）的效用函数来量化编码引起的梯度信息退化。根据该函数计算出非跳过CTUs的比特分配参数$\lambda$。所提出的方法已在VTM 13.0中实现，实验结果证实了其在提高视觉质量和显著降低比特率方面的有效性。

引言

根据思科的视觉网络指数[1]，视频流量占全球数据流量的80%。超高清（UHD）、高帧率（HFR）和高动态范围（HDR）等技术的出现带来了更加沉浸式的视觉体验。然而，这也导致了数据量的显著增加。为应对这一挑战，ITU-T VCEG和ISO/IEC MPEG合作提出了多个视频编码标准，包括高级视频编码（AVC，H.264）[2]、高效视频编码（HEVC，H.265）[3]和多功能视频编码（VVC，H.266）[4]、[5]。特别是最新的VVC编码标准，引入了多种新的编码工具，如跨分量线性模型预测（CCLM）、仿射运动补偿预测（AMCP）和自适应运动矢量分辨率（AMVR），这些工具显著提高了编码性能和视频质量，相比HEVC有了显著提升。

在视频编码中，速率控制对于实现高质量的视频播放至关重要，尤其是在有限的信道带宽下。速率控制通常涉及两个方面：首先，根据最小失真原则为目标图像组（GOPs）、帧和CTUs分配比特，这通常称为比特分配；其次，需要根据速率控制模型调整参数，以实现实际编码比特与目标比特之间的紧密对齐。现有标准都附带了相应的推荐速率控制模型，例如H.264/AVC的JVT-G012 [6]、H.265/HEVC的JCTVC-H0213 [7]和JCTVC-K0103 [8]以及H.266/VVC的JVET-K0390 [9]。李等人[8]改进了R-$\lambda$速率控制模型，使其在速率失真（R-D）性能上优于R-$Q$模型，并成为HEVC的默认速率控制方案。李等人[9]通过利用非跳过CTUs的平均比特数和$\lambda$来改进参数更新策略，这一方法后来也被VVC采用。这些方法传统上使用均方误差（MSE）作为失真度量，但需要更好地匹配感知到的视觉质量[10]。因此，人们开展了基于感知的比特分配方法的研究。这些方法可以分为两类[11]：基于质量度量的[12]、[13]、[14]、[15]、[16]、[17]、[18]和基于感知因素的[19]、[20]、[21]、[22]、[23]、[24]、[25]。基于质量度量的方法使用结构相似性（SSIM）等视觉上合理的度量来替代MSE。然而，这种替代引入了近似误差，并且在现有的基于MSE的编码器中实现SSIM优化可能很复杂。另一方面，基于感知因素的方法利用了视觉感知的基本方面，如视觉敏感性和可察觉差异（JND）。尽管如此，由于人类视觉系统的复杂性，使用简单模型进行有效模拟仍然极具挑战性。

默认的R-D模型未能充分描述跳过CTUs的R-D关系，导致基于帧级参数的非跳过CTUs的$\lambda$和量化参数（QP）值被不当裁剪[9]。然而，当前的方法很少区分跳过和非跳过CTUs的比特分配策略，可能导致比特利用不足。因此，本文将跳过和非跳过CTUs分开处理。对于跳过CTUs，比特根据帧级目标比特数进行分配；对于非跳过CTUs，我们提出了一种基于博弈论的CTU级比特分配方法，考虑了编码引起的梯度退化。本文的主要贡献如下：

• 1.
  我们设计了一个基于GMSD的效用函数，该函数考虑了编码引起的梯度退化，更好地捕捉了人类视觉系统的特性并提高了视觉质量。
• 2.
  我们将非跳过CTUs的比特分配建模为一个纳什均衡问题，从而解决了跳过和非跳过CTUs之间的不同R-D关系，实现了更公平和高效的比特分配。
• 3.
  我们将所提出的方法集成到VTM 13.0中，证明了其在提高视觉质量和降低比特率方面的有效性。

本文的其余部分组织结构如下：第2节简要概述了相关工作。第3节讨论了我们方法的动机并介绍了所提出方法的细节。第4节展示了实验结果，以证明所提出方法的有效性。最后，第5节对本文进行了总结。

部分内容

基于质量度量的速率控制

在基于质量度量的方法中，欧等人[12]使用SSIM作为质量度量，并基于此提出了一种比特分配方案。王等人[15]引入了一种两步速率控制方法，该方法利用SSIM并结合了受SSIM启发的除法归一化来构建一个感知上均匀的空间。周等人[13]将除法归一化扩展到离散余弦变换（DCT）域，实现了CTU级别的比特分配和全局

提出的方法

在实际的视频编码场景中，为了满足网络带宽或存储限制等特定约束，会使用不同的比特率进行视频编码，同时努力保持最佳图像质量。编码过程中的压缩会导致图像中梯度退化的程度不同。

实验设置

为了评估我们提出的方法的有效性，我们在VTM13.0 [36]中实现了该方法，并将其性能与之前的方法[14]、[36]进行了比较。所有实验均在共同测试条件（CTC）下进行。实验的目标比特率是在VTM 13.0中确定的，未使用速率控制，采用了22、27、32和37的固定QP值。

比特分配比较

本节比较了亮度分量的PSNR（Y-PSNR）和不同速率控制方法的比特率误差（BitErr）。Y-PSNR用于

结论

本文提出了一种基于梯度退化的VVC速率控制新方法。由于跳过和非跳过CTUs之间存在显著差异，我们分别对它们进行处理，并采用不同的比特分配标准。跳过CTUs的比特可以根据帧的目标bpp一次性计算得出，无需单独计算。对于非跳过CTUs，我们首先将比特分配问题构建为一个基于博弈论定义的纳什均衡问题。

CRediT作者贡献声明

陈鹏卢：撰写 – 审稿与编辑、验证、方法论、数据管理、初稿撰写、软件开发、调查、概念化、可视化、项目管理、正式分析。曾焕强：可视化、软件开发、方法论、正式分析、审稿与编辑、资源管理、数据管理、初稿撰写、监督、项目管理、资金获取、概念化。赵超：撰写 – 审稿与

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的财务利益或个人关系。

致谢

本工作部分得到了中国国家重点研发计划（项目编号2021YFE0205400）、福建省自然科学基金重点项目（项目编号2023J02022）、福建省杰出青年科学基金（项目编号2022J06023）、福建省自然科学基金（项目编号2022J01294）、厦门市重点科技项目（项目编号3502Z20231005）的支持