基于边缘检测驱动LightGBM的H.266/VVC快速帧内分区方法

《Journal of Visual Communication and Image Representation》：Edge detection-driven LightGBM for fast intra partition of H.266/VVC

本文提出了一种基于边缘检测与LightGBM（Light Gradient Boosting Machine）的快速编码单元（CU）分区方法，用于加速H.266/VVC（Versatile Video Coding）标准中的四叉树嵌套多类型树（QTMT）分区过程。该方法将CU分区重构为多分类问题，通过提取反映纹理复杂度和方向的边缘与梯度特征，输入LightGBM模型直接预测所有分区候选的概率，从而跳过低概率分区。实验表明，该方法在VTM-15.0上可实现44%~57%的编码时间节省，Bj?ntegaard Delta Bitrate（BDBR）损失仅0.96%~1.77%，性能显著优于现有方案。

　　

Highlight

先前的研究表明，纹理复杂度和方向与分区结果高度相关，例如，具有复杂纹理的编码单元（CU）倾向于进一步分区，而具有垂直（水平）方向的CU则倾向于进行垂直（水平）分区。因此，核心挑战在于识别一组能够准确表征纹理复杂度和方向的有效特征。受前人工作启发，边缘（即物体边界）和梯度被证明是刻画纹理特性的关键指标。

Motivation

我们基于边缘和梯度特征设计了一种轻量级决策方案。具体而言，首先应用边缘检测算子识别帧中所有边缘，生成边缘图；随后计算待分区CU的边缘和梯度特征，封装为特征向量并输入预训练的LightGBM模型，直接预测所有潜在分区的概率。该方法通过多分类框架替代传统的多级二分类器，显著提升决策效率。

Experimental Settings

数据集：采用覆盖6类（A1、A2、B、C、D、E）的22条标准测试序列，从中选取4条序列（B类BasketballDrive、C类PartyScene、D类BlowingBubbles、E类FourPeople）的前5帧作为训练集，在QP值为22、27、32和37下编码，构建训练数据。

Conclusion

本文提出了一种基于边缘检测的H.266/VVC快速CU分区方法。通过选取与分区高度相关的Canny边缘和梯度特征表征纹理复杂度和方向，结合QP值构建特征向量，输入LightGBM模型实现多分类预测。该方法在保证编码效率的同时大幅降低计算复杂度，为资源受限场景提供了实用解决方案。