一种结合CNN预测和自适应剪枝的VVC编码加速方法
施晓(Xiao Shi)、
林品涵(Pinhan Lin)和
魏庚(Geng Wei)
《Electronics》:A VVC Intra-Coding Acceleration Method Combining CNN Prediction and Adaptive Pruning
Xiao Shi,
Pinhan Lin and
Geng Wei
【字体:
大
中
小
】
时间:2026年04月23日
来源:Electronics 2.6
编辑推荐:
摘要
最新的H266/VVC标准因其卓越的压缩效率而获得了广泛的赞誉。然而,其极高的计算复杂性却成为VVC适应行业生态系统发展的阻碍,同时增加了硬件设计的难度和应用程序的成本。为了解决这个问题,我们设计了一种基于神经网络的高效帧内编码方案,该方案包含三个部分:首先,我们设计了
摘要
最新的H266/VVC标准因其卓越的压缩效率而获得了广泛的赞誉。然而,其极高的计算复杂性却成为VVC适应行业生态系统发展的阻碍,同时增加了硬件设计的难度和应用程序的成本。为了解决这个问题,我们设计了一种基于神经网络的高效帧内编码方案,该方案包含三个部分:首先,我们设计了一种基于神经网络的逆向预测算法,该算法巧妙地利用卷积神经网络(CNN)对较低层次块的建议结果来确定较高层次块的QTMT(Quarter-Talit Macroblock Partitioning)划分方式,巧妙地解决了现有模型对复杂VVC划分模式的适应问题——这是一种尚未被充分探索的决策逻辑。其次,我们设计了一种剪枝算法,这是首次将BT(Block Ticketing)分割的实时RDO(Rate-Distortion Optimization)成本与TT(Temporal Ticketing)分割方向动态结合的算法,实现了自适应决策。最后,我们设计了一个复杂性预筛选模块,该模块通过分析CU(Coding Unit)的纹理是否平滑,为VVC中引入的非正方形CU设置了四组自适应阈值。这些阈值可以根据CU的大小动态调整局部和全局阈值,从而能够对纹理进行尺寸敏感的评估,以确定当前块是否需要进一步划分。实验结果表明,与传统VTM4.0相比,我们的方法将平均编码时间减少了49.21%,同时BD-BR(Bit Rate-Bearing Rate)提高了1.61%,BD-PSNR(Bit Rate-Picture Quality Noise Ratio)降低了0.06 dB,充分展示了其优越性和性能平衡。
1. 引言
随着超高清、高动态范围、360°全景及沉浸式媒体内容的快速增长,对高效视频压缩技术的需求变得空前迫切。在这种背景下,新一代编码器——Versatile Video Coding(VVC)应运而生。VVC的设计目标是在保持等效主观视觉质量的同时,实现高达50%的比特率节省,以支持从4K/8K流媒体到虚拟现实等多种应用场景。VVC的核心技术突破在于引入了一系列先进的编码工具,其中最具代表性的创新是采用了嵌套的多类型树分割结构。这种结构结合了二叉树和三叉树分割方式,使得编码单元的划分更加灵活,从而能够更精确地匹配视频内容中的复杂纹理和运动特征。然而,这种灵活性也导致编码器时间的急剧增加,特别是在寻找每个编码块的最优分割模式时进行速率失真优化过程中,带来了显著的计算负担。为了在保持VVC出色压缩性能的同时应对编码复杂性的挑战,学术界和工业界正在积极寻求创新解决方案。近年来,深度学习技术在计算机视觉领域的广泛应用为视频编码优化开辟了新的途径。从图像质量评估到帧内/帧间预测,深度学习模型已经显示出替代或增强传统编码决策过程的潜力。受此启发,众多研究开始探索将深度学习应用于VVC的编码决策过程中,旨在通过神经网络预测显著减少冗余的计算过程,从而在压缩性能和编码器复杂性之间实现更好的平衡。鉴于这项技术在降低复杂性方面的应用价值,本研究提出了一种基于卷积神经网络的QTMT划分算法,旨在有效缩短编码时间。本研究的贡献包括:
1. 我们设计了一种独特的预测算法——逆向预测算法,该算法通过逆向利用神经网络输出的划分概率来决定使用QT划分还是BT划分,从而降低编码复杂性。
2. 通过比较BTV(Block Ticketing Horizontal)和BTH(Block Ticketing Horizontal)的速率失真优化(RDO)大小,我们确定了RDO相对较大的方向,在TT划分过程中禁止在该方向进行RDO计算,简化了计算过程并降低了计算成本。
3. 我们将复杂性预筛选模块与机器学习技术相结合,在进入RDO计算之前,识别出不需要提前划分的块,并禁止对这些块的划分,从而降低编码复杂性。
本文分为以下四个部分:第2节介绍了在VVC标准下降低编码复杂性的方法;第3节和第4节展示了我们的方法及其与其他改进方案的测试结果;第5节总结了我们的工作并介绍了未来的研究方向。
2. 相关工作
QTMT模式的引入使VVC编码器具备了更灵活的划分方式,但同时也使其编码复杂性相比高效视频编码(HEVC)增加了18倍[1],严重限制了VVC在实际应用中的使用。为了解决这个问题,许多研究团队提出了解决方案,包括统计方法、机器学习技术和神经网络方法。Chen等人[2]提出了一种基于方差和梯度的快速帧内分割算法,用于解决VVC中的矩形分割问题;Cui等人[3]引入了一种基于方向梯度的终止算法,用于跳过不必要的CU大小决策搜索;Park等人[4]在VVC编码背景下识别TT特征,并提出了一种简单的决策技术。
除了基于统计的方法外,还有基于机器学习的方法。Fu等人[5]提出了一种基于贝叶斯决策规则的快速划分算法,充分利用了新引入的水平二分信息;Wang等人[6]提出了一种QTBT决策树算法,动态推导QTBT的划分参数以适应局部特征,设计了联合分类器决策树结构,并控制错误预测的风险;Lei等人[7]提出了一种基于提前预测的编码单元大小剪枝算法,旨在提前识别不必要的分割方向;Amestoy等人[8]使用随机森林分类器确定每个编码块最可能的分割模式,并引入了分类器决策的风险区间,通过调整风险区间大小实现了编码复杂性降低与编码损失之间的可调节平衡;Yang等人[9]开发了一个快速QTMT划分决策框架,并利用梯度下降搜索探索了块大小和编码模式的分布特性,引入了快速帧内模式决策;Chen等人[10]从熵、纹理对比度和Haar小波效率中提取区分性特征来识别分割方向,并对不同大小的CU进行了SVM分类训练;Saldanha等人[11]使用有效的纹理、编码和上下文信息训练了五个LGBM分类器进行分割决策,跳过了不太可能最优的分割组合;Wu等人[12]提出了一种针对支持向量机(SVM)的快速CU划分算法,为不同大小的CU训练了SVM分类器,并为每个分类器设置了不同的阈值,利用纹理信息预测CU划分以提前终止冗余划分;Zhang等人[13]提出了一种加速CU划分和帧内模式决策的算法,通过RFC驱动的快速CU分割和基于纹理的快速预测模式增强实现了加速;Zhao等人[14]分析了不同大小CU的分割比率,根据最大比率选择了更可靠的相关特征,并设计和训练了两个SVM模型来决定是否进行分割;Shu等人[15]提出了一种复杂性控制算法,利用纹理信息根据CU的纹理熵值分配不同的编码时间。尽管这些方法取得了良好的结果,但它们的结构限制了捕捉复杂空间模式的能力。基于神经网络的方法可以有效弥补这一局限。Abdallah等人[16]应用了一种基于提前停止的层次化卷积神经网络的快速QTMT帧内划分算法,实现了24.49%的编码时间节省和0.18 dB的BD-PSNR降低;Li等人[17]提出了一种多阶段退出CNN模型,随后设计了用于训练MSE-CNN模型的自适应损失函数,并最终开发了一种多阈值决策方案,以跳过不必要的RDO成本过程来预测帧内CU划分;Zhao等人[18]提出了一种基于分段的纹理分类模型,用于均匀和复杂编码单元(CU),以及一种基于多特征融合的CNN用于边缘CU分类;剩余的CU则使用自适应CNN结构进行分类;Tech等人[19]在训练32×32块时推导了CNN损失函数,使用了所有参数组合和32×32块的Lagrange速率失真时间(RDT)成本,该方法将编码时间降低了50%,比特率提高了0.9%;Xu等人[20]提出了一种基于CNN的快速编码单元划分方法,并为不同大小的CU提出了分类器;通过预测纹理信息的划分模式并提前终止冗余模式,该算法加速了CU划分;Abdallah等人[21]为CNN二叉树水平(CNN-BTH)和CNN二叉树垂直(CNN-BTV)网络开发了快速QTMT分割算法;为了在使用两种网络时获得最佳效果,提出了一种新的快速QTMT帧内决策树算法;Park等人[22]开发了两种有效特征:显式VVC特征和衍生VVC特征,用于训练他们的LNN;Wu等人[1]提出了一个HG-FCN框架和层次化网格图(HGM)用于复杂CU的QTMT划分,采用双阈值决策方案将VVC内的编码复杂性降低了51.15%,BD-BR仅增加了1.17%;Tissier等人[23]提出了一种两阶段学习技术,其中卷积神经网络用于预测边缘分割的空间特征,决策树模型利用这些空间特征向量预测每个块最可能的分割方式,该方法将复杂性降低了47.4%,比特率提高了0.79%;Feng等人[24]使用分割图表示划分结构,利用Down-Up-CNN预测了最优划分图,并设计了后处理算法来调整网络输出的分割图;Tang等人[25]提出了一种可以适应不同大小CU划分的池化变量CNN。除了上述方法外,最近还有许多其他基于VVC的方法用于降低编码复杂性,这些方法从不同角度实现了降低编码复杂性的目标,为VVC的研究提供了多样的思路。Wang等人[26]提出了一种快速帧内预测算法,用于解决VVC屏幕内容编码中由多种模式和QTMT结构引起的高复杂性问题,该算法通过基于SATD差异跳过帧内检查、使用决策树终止BDPCM检查以及跳过MTS和LFNST检查有效减少了编码复杂性;Sainio等人[27]提出了一种VVC中的快速帧内模式决策方案,通过轻量级机器学习模型将帧内模式分为15个簇,并使用三种策略之一进行精细化选择;在实际UVG266编码器的最快配置下,该方法实现了比传统粗粒度模式决策更好的速率失真复杂性平衡;这是首次在真实VVC编码器中使用机器学习成功降低RMD复杂性的工作;Zeng等人[28]提出了一种层次化特征融合卷积神经网络(HFF-CNN),通过预测当前CU的最优帧内预测模式并利用相邻CU的模式概率跳过不必要的速率失真成本计算来降低复杂性;Wang等人[29]提出了一种快速色度帧内预测模式决策算法,该算法基于当前色度CU与最近编码的色度CU之间的模式相关性以及模值得变化来进行决策;Belghith等人[30]提出了一种基于CNN-TT的深度QTMT划分方法。通过建立一个包含CU分割深度的数据库,并开发一个三级CNN-TT模型,他们提前预测了32 × 32块的最佳帧内QTMT决策树,同时结合了阈值策略来平衡编码复杂性和效率。为了在不显著牺牲质量的情况下提高编码效率,我们提出的基于DCMFF-Net的高效帧内编码方案旨在加快QTMT分割过程,相较于现有的研究有更大的改进。实验表明我们的方法取得了良好的结果。接下来,我们将详细介绍我们的工作。
3. 提出的方法
我们提出了一种基于卷积神经网络的QTMT分割算法,该算法包括三个部分:首先是基于DCMFF-Net的逆向预测方法;其次是通过BT分割方向的RDO来确定TT分割方向的修剪方法;最后是一个用于联合纹理识别的复杂性预筛选模块。
3.1 基于DCMFF-Net的逆向预测方法
本文的部分研究工作基于我们之前提出的DCMFF-Net [31],它由DCFF网络和多尺度特征融合(MFF)组成。这种网络能够有效提取图像特征,准确预测分割模式,并实现多尺度特征图的融合功能。在显著降低编码复杂性的同时,编码质量的损失被控制在非常小的范围内。DCMFF-Net在HEVC中表现出色的性能。因此,本文将DCMFF-Net应用到VVC中,并基于DCMFF-Net提出了一种逆向预测方法。网络架构图如图1所示。在DCMFF-Net中,MFF1和MFF2是相同的模块;唯一的区别在于输入特征图。基于DCFF网络,使用了两个MFF模块,分别编号为MFF1和MFF2。它们是分层渐进且功能互补的核心组件,共同优化VVC帧内编码的QTMT分割预测。MFF1位于网络的浅层,专注于提取局部纹理和边缘细节,为分割决策提供基本特征;而MFF2作为基于神经网络的DCFF的最终输出,在更深层次上执行高级语义抽象,与仅提取浅层细节的MFF1不同。这种设计确保了从细微特征到宏观模式的全面覆盖,显著提高了分割精度。
图1. 双层卷积多尺度特征融合网络(DCMFF-Net)的结构。
与参考文献[31]相比,本文实现了三个核心突破。首先,它扩展了应用范围,从针对HEVC标准升级到解决更复杂的VVC标准,并且其QTMT分割结构使编码复杂性增加了约18倍。其次,它将方法论从单一模型升级为系统解决方案,并创新性地提出了三种基于DCMFF-Net的算法。
- 逆向预测算法:解决了神经网络模型与新VVC QTMT分割模式之间的适应性问题。
- 修剪算法:根据BT分割的RDO结果智能跳过冗余的TT方向计算。
- 复杂性预筛选模块:基于纹理特征提前终止平滑块分割过程。
最后,技术和性能的整合得到了显著提升。通过多个模块的协作,在VVC上取得了优异的结果。编码时间减少了49.21%,比特率仅增加了1.61%,远远超过了单一模型的潜力,形成了一个完整有效的VVC编码方案。
由于VVC引入了QTMT分割,与HEVC相比,额外的MTT分割使得分割模式变得更加复杂,并引入了显著的计算复杂性。仅使用神经网络来加速QT分割编码无法有效实现降低编码复杂性的目标。同时,我们使用的数据集主要是为HEVC网络训练的,不适合VVC的QTMT分割模式。因此,我们设计了基于DCMFF-Net的逆向预测算法来弥补数据集的局限性。我们的DCMFF-Net输出21个概率,每个概率对应21种分割方式。DCMFF-Net中21个输出概率的设计是基于VVC标准中的QTMT(四叉树加多类型树)分割结构的复杂性。VVC为每个编码单元(CU)提供了灵活的分割选项,包括四叉树(QT)、水平/垂直二叉树(BTH/BTV)和水平/垂直三叉树(TTH/TTV)等多种模式。对于典型的CU大小(例如64 × 64到8 × 8),总共有21种可能的分割组合,涵盖了从整体分割到细粒度分割的所有场景,如图2所示。图2中的64 × 64、32 × 32和16 × 16代表了当前图像中的最小CU大小。Pi表示两种模式,0(不分割)或1(分割),这些模式由神经网络输出的分割概率决定,并通过阈值进行过滤和组织。然而,由于我们获得的概率是针对QT分割的,它们无法有效跳过BT和TT分割的RDO计算。为了解决这个问题,我们设计了一种基于QTMT分割逻辑的方法,使用下一层的分割概率来决定上一层的分割模式。
图2. CU分割示意图。
我们提出的逆向预测算法利用神经网络预测小尺寸(16 × 16)CU的分割概率分布,并将这些分布分为六类,每类对应于大尺寸(32 × 32)CU的分割模式的合理约束假设。具体来说,不同的概率分布模式反映了当前图像区域在不同尺度上的纹理复杂性和结构模式。当16 × 16 CU表现出某种统一的分割倾向时,可以推断其父级32 × 32 CU中的某些分割模式在速率失真方面可能是多余的。因此,通过预先禁用这些模式可以减少搜索空间。同时,我们设计的组(6)保留了所有分割可能性,以防止在区域结构复杂或神经网络预测不够准确时错误地禁止实际上更好的二叉树或三叉树分割。这种分组约束机制本质上依赖于神经网络对图像局部结构的先验理解,在编码决策的早期阶段过滤掉明显不合适的分割选项,从而有效降低计算开销,同时确保压缩效率。
如图3所示,根据神经网络的预测结果,对于16 × 16大小的CU,所有概率分布被分为6组来预测32 × 32大小的CU。对于第(1)组中的分布,我们禁止了BTV和BTH分割;对于第(2)组,我们禁止了QT分割;对于第(3)组,我们同时禁止了BTV和QT分割;对于第(4)组,我们也禁止了QT分割;对于第(5)组,我们禁止了BTH和QT分割;对于第(6)组,我们没有进行任何处理,以防止整个区域更适合BT或TT分割的情况。
图3. 我们提出的算法和分割逻辑。
上述所有禁止操作都指的是跳过相关模式的RDO计算。流程图如图4所示。在神经网络输出概率之后,我们提出的逆向预测算法被用来根据16 × 16大小的16个CU的分割概率来确定四个32 × 32 CU的分割模式。VVC编码器根据图4中显示的策略依次进行条件判断。当检测到(1)-(5)中的任何条件满足时,它会执行图4中显示的相应操作来禁止相应的分割,并不进行禁止分割的RDO计算。
3.2 修剪算法
完成上述设计后,我们发现仅使用逆向预测算法来降低编码复杂性的效果并不令人满意。为了进一步降低VVC帧内编码的复杂性,我们研究了BT和TT分割之间的关系,发现如果BTVRDO > BTHRDO,则TT分割的TTVRDO > TTHRDO的可能性更高。利用这一洞察,我们设计了一种新的修剪算法,通过在编码过程中利用已完成的BT(二叉树)分割的RD成本信息,动态确定TT(三叉树)的分割方向,从而实现运行时修剪。这是首次将BT分割的实时RDO成本与TT分割方向动态结合,实现自适应决策。
图5. 修剪算法的流程图。
从一个新CU开始,首先初始化决策状态并在测试TT分割时触发。接下来,检查大小和模式条件。如果不满足条件,则对TT方向进行RDO计算。如果满足条件,则读取BT分割成本数据并执行决策逻辑。最后,根据实时结果,跳过一个TT方向的RDO计算以降低计算复杂性。该方法利用已完成的BT速率失真优化结果,充分利用现有信息,避免冗余计算。同时,当数据无效时自动降级为RDO测试,确保错误的决策不会导致编码质量下降。算法逻辑如下式(1)所示:
(1)
其中Ccurr表示当前非分割模式的最优编码成本,CBT_H表示最优水平二叉树(BT_H)分割的编码成本,CBT_V表示最优垂直二叉树(BT_V)分割的编码成本,M表示最大成本常数(MAX_DOUBLE)。
图5. 修剪算法的流程图。
由于修剪算法的特殊性,如果逆向预测算法修剪了BT分割的任何方向,我们设计的修剪算法将无法正常工作。
算法1. VVC/H.266的BT引导的TT方向选择
输入:W, H, bthCost, btvCost, BEST_NON_SPLIT_COST
输出:tt_direction(水平、垂直或无效)
1: 如果W ? {32, 16} 或 H ? {32, 16} 则
2: tt_direction ← INVALID; 返回 // TT不适用
3: end if
4: 如果BEST_NON splitted_cost = ∞ 则
5: tt_direction ← INVALID; 返回 // 没有有效的非分割结果
6: end if
7: 如果bthCost = ∞ 且 btvCost = ∞ 则
8: tt_direction ←_INVALID // 两种BT分割都无效,跳过TT
9: 否则 如果 bthCost ≤ btvCost 或 btvCost = ∞ 则
10: tt_direction ← HORIZONTAL // 水平BT更好,仅测试TT_H
11: else
12: tt_direction ← VERTICAL // 垂直BT更好,仅测试TT_V
13: end if
14: Apply: 仅测试获胜的TT方向,跳过其他
3.3 复杂性预筛选模块
在利用纹理信息和神经网络降低编码复杂性方面,我们的团队提出了一种结合Prewitt [32]运算符和CNN for HEVC [33]的算法,取得了良好的效果。然而,VVC与HEVC不同。VVC使用QTMT技术使块分割更加灵活。对于最优CU的选择,VVC使用穷尽的率失真优化(RDO)算法遍历所有CU单元来计算和比较不同分割组合的RD成本,以确定最小成本的分割方法。计算复杂性非常高。为了解决这个问题,我们考虑使用纹理复杂性方法来识别每个CU不需要计算的块,在RDO计算之前。因为我们不需要准确的边缘位置,只需要确定纹理的复杂性,所以我们选择将这种方法应用到VVC中。
在HEVC中,CU的大小是严格的正方形(如64 × 64、32 × 32、16 × 64、8 × 8)。然而,VVC采用了更灵活的QTMT编码方法,引入了二叉树和三叉树分割,因此CU可以是正方形的,也可以是矩形的(如64 × 32、32 × 16、16 × 32、32 × 64等)。这种不规则CU的出现给基于纹理复杂性的快速算法带来了新的挑战:不同形状和大小的CU对纹理复杂性的敏感度不同,单一阈值无法有效覆盖所有情况。为了解决这个问题,我们在整个计算过程中设置了四组自适应阈值。每组包含两个阈值:一个局部阈值用于衡量像素周围纹理的复杂性,一个全局阈值用于衡量整个CU纹理的复杂性。算法会根据CU的具体大小动态调整这两个标准,从而在编码质量和计算复杂性之间取得平衡。由于大尺寸的CU更可能包含丰富的内容,一旦判断错误,将导致编码质量显著下降;因此,其阈值设置得较低,只有纹理极其平滑的大CU才能提前终止编码。具体来说,对于边长大于或等于64的CU,我们将局部阈值设为2.0,全局阈值设为0.65。随着CU大小的减小,我们对纹理的容忍度适当提高。对于边长大于或等于32且小于64的CU,局部阈值提高到7.5,全局阈值提高到4.5,以实现复杂性和质量之间的平衡。对于更小的CU,由于分割带来的编码增益有限,我们采用了更为积极的剪枝策略。对于边长大于或等于16且小于32的CU,局部阈值设为7.0。全局阈值恢复到较低的0.65水平,以确保区域一致性判断的准确性。对于边长大于或等于8且小于16的最小尺寸CU,由于其计算量较少,我们设置了更高的局部阈值7.2,以便更多的此类CU能够提前终止编码;同时,全局阈值设为3.0,以考虑周围纹理的影响,防止在纹理变化区域出现误判。上述决策逻辑可以用以下公式表示:
其中blkSize代表当前块的最小边长,ThR代表均方根误差(RMSE)的阈值,The代表梯度幅度均方根(GMSR)的阈值。计算公式如下:
其中H和W分别代表CU的高度和宽度。I(x,y)表示坐标(x,y)处的像素值。μ代表CU内所有像素的平均值,SumG表示CU中每个像素的梯度幅度之和。如果RMSE的值小于或等于ThR且GMSR的值小于或等于ThG,则判定为纹理平滑区域。逻辑表示如下:
基于上述决策标准,所提出的快速CU分割算法的整体工作流程可以在图6中展示,复杂性预筛选模块的详细算法流程图显示在图6的蓝色框中。该过程从当前CU开始,首先确定其大小以选择相应的阈值对(ThR, ThG)。随后计算RMSE和GMSR值,以评估局部纹理复杂性和全局纹理一致性。算法然后进行双条件判断:只有当两个指标都低于各自的阈值时,才会跳过当前CU的后续处理;否则,继续进行完整计算。这种简化的决策路径在保持编码效率的同时有效减少了不必要的计算开销。
图6. 复杂性预筛选模块的流程图。
4. 实验结果
4.1. 实验设置
详细的实验设置和评估指标如下:使用VTM4.0作为实验平台,视频编码采用了四个量化级(QP)值:{22, 27, 32, 37}。神经网络使用CPHI数据集[34]进行训练。该数据集包含2000张不同分辨率的图像,每张图像的分辨率为4928 × 3264。预处理后,整个数据集被随机分为三个不相交的子集:训练集占85%,测试集占10%,验证集占5%。每个子集进一步分为四组,生成最终的训练集、测试集和验证集,并带有编码单元(CU)分割标签。
在训练阶段,我们选择了NVIDIA GeForce GTX 1650 GPU来训练神经网络。测试是在Intel Core i5-12400F处理器上进行的。GPU仅在加速网络训练时激活,在测试过程中保持休眠状态。网络框架基于TensorFlow 1.15实现。在模型训练过程中,所有可训练参数都随机初始化。初始学习率(η)设为0.01,批量大小参数设为n = 64。共进行了1,000,000次优化迭代。
4.2. 性能评估和测试序列
为了更好地评估我们设计的三种算法,我们采用了JCT-VC[35]提出的公平比较方案,并在21个不同的标准序列上进行了验证实验。这些序列分为六组:A1、A2、B、C、D和E。所有参数均按照Common Test Conditions(CTCs)的默认设置进行配置,详细参数列在表1中。本文使用的评估标准遵循VCEG-M33[36]规范,包括三个指标:ΔT、BD-BR和BD-PSNR。ΔT表示与VTM 4.0编码方案相比节省的编码时间;BD-BR和BD-PSNR衡量编码序列的图像质量。每个指标的数学表达式如下:
其中TVTM代表VTM4.0的编码时间,Tproposed代表我们方法所需的编码时间。在编码过程中,QP值可以是{22, 27, 32, 37}中的任意一个。BD-PSNR反映了原始编码器与采用我们提出的算法的编码器之间的平均峰值信噪比(PSNR)差异。其计算公式如下:
BD-PSNR = PSNRproposed ? PSNRVTM
表1. 本文采用的测试序列及其参数。
4.3. 消融实验
首先,为了评估我们设计的三个模块的性能,我们在相同的配置下分别对每个模块进行了实验。我们从A1、A2、B、C、D和E六类中各选取一个测试序列;在四个不同的QP(22、27、32、37)下测试每个序列;并取结果的平均值。实验结果如表2所示。
从表2的数据可以看出,仅使用基于DCMFF-Net的逆向预测算法时,编码时间减少了30.63%,而BD-BR增加了2.18%,BD-PSNR下降了0.07 dB。仅使用剪枝算法时,实验结果显示编码时间减少了33.23%,BD-BR增加了0.88%,BD-PSNR下降了0.03 dB。仅使用复杂性预筛选模块时,实验表明编码时间节省了9.08%,但BD-BR增加了0.28%,BD-PSNR下降了0 dB。显然,这三个模块的单独效果没有达到它们组合时的整体效果,但无疑每个模块都有降低编码复杂性的能力。
其次,为了验证逆向预测算法的有效性,我们在DCMFF-Net(仅包含QT分割预测)和基于DCMFF-Net的逆向预测算法之间进行了比较实验。实验结果如表3所示。从表3可以看出,与仅使用QT分割预测相比,我们设计的基于DCMFF-Net的逆向预测算法将编码时间减少了20.56%,BD-BR增加了1.53%,BD-PSNR减少了0.04 dB。这充分证明了所提出的逆向预测算法的有效性和合理性。值得注意的是,Food Market在四个QP下的平均编码时间相比原始编码器增加了1.3%。分析后发现,尽管实际编码时间确实减少了,但由于神经网络的预测时间较长,节省的编码时间无法抵消预测带来的额外开销,最终导致平均编码时间增加。这是在进行VVC时出现的正常现象,进一步说明了我们提出的逆向预测算法的必要性。
最后,为了评估我们提出的逆向预测算法、剪枝算法和复杂性预筛选模块,我们设计了两组消融实验。两次实验都使用了相同的配置并保持了一致的量化参数(QP)。如图7和图8所示,点代表六个序列(A1、A2、B、C、D、E)在不同QP下的平均结果。在图7中,我们比较了仅使用逆向预测算法(图中标记为(1)与使用逆向预测算法结合剪枝算法(图中标记为(2)的编码性能。在图8中,我们比较了(2)与结合复杂性预筛选模块(图中标记为(3)的效果。
从图7可以看出,与仅使用逆向预测算法相比,结合剪枝算法的编码效率显著提高(编码时间减少了20.6%),BD-BR平均增加了0.43%,BD-PSNR平均减少了0.02 dB。这种改进归因于我们提出的高效剪枝算法,该算法通过BT分割计算出的RDO来确定TT分割的方向,减少了多余的RDO计算,同时提高了编码质量。在图8中,与前两种算法组合相比,添加复杂性预筛选模块后比特率平均增加了0.09%,视频质量变化微乎其微。然而,这也降低了编码复杂度(平均降低了1.33%)。这种变化归因于纹理算法在CU进行分割和RDO计算之前能够判断每个块的纹理。如果块被确定为平滑纹理块,则跳过后续计算,不进行分割。这种方法虽然降低了编码质量,但提高了编码效率。尽管这种算法的效果不是特别显著,但它更好地平衡了编码效率和视频质量,为需要整体性能平衡的研究提供了启发。这些结果表明,我们的算法可以有效提高编码效率,降低编码复杂度,并在大多数评估指标上表现出色。
4.4. 测试结果
如表4所示,我们设计的算法在减少四种不同QP的编码复杂度的同时,对视频质量的损失最小。与原始编码器VTM4.0相比,我们设计的算法在QP分别为{22, 27, 32, 37}时,编码时间分别平均减少了49.45%、48.18%、48.86%和49.85%。BD-BR略有增加,为1.61%,而BD-PSNR的损失几乎可以忽略不计(-0.06)。实验数据表明,我们提出的算法在各种QP下表现良好。性能的提升归因于在三个层面同时采取的措施:在开始分区之前应用复杂性预筛选模块来初步分类CU;对于不需要分区的平滑区域,提前终止分区过程;在分区过程中用基于DCMFF-Net的逆向预测算法替换了穷举算法,并结合了剪枝算法。DCMFF-Net有效地整合了来自多个分支的多尺度特征图,以提取足够的特征信息来保证编码质量,而逆向预测和剪枝算法则进一步基于神经网络优化和降低了编码复杂性。视频质量的轻微变化表明,我们提出的算法对视频质量的影响在人眼可接受的范围内。表4展示了我们提出方法在标准测试序列上的测试结果。为了更好地展示本文的贡献,我们选择了五种帧内编码改进方案,并通过比较JCT-VC提供的21个准视频序列的编码性能来分析我们研究的优势。具体细节见表5。表5显示了我们方法与其他算法的比较结果。表3表明,本文的方法将编码时间减少了49.21%,这明显优于[21]中报告的31%的编码复杂性减少、[16]中报告的24.49%的编码复杂性减少以及[37]中报告的35%的编码复杂性减少。正如我们所见,在保持相同传输比特率的情况下,我们的算法在编码质量上优于这两种方法。[22]和[4]中采用的BD-BR值分别为0.44%和1.02%,T值分别为-27%和-34%。相比之下,尽管我们在BDBR方面的表现略差,但在降低编码复杂性方面具有显著优势。为了展示我们方法的速率失真(RD)特性,我们从测试序列中选择了四种视频质量损失最大的序列,包括BasketballPass、FourPeople、Johnny和KristenAndSara,并将其性能与VTM4.0进行了比较。图9显示了使用我们的方法和VTM4.0时这四种序列的RD曲线对比。显然,我们方法的速率失真曲线与原始编码器非常接近,有些曲线几乎完全重叠。这表明我们的方法具有良好的鲁棒性和稳定性,与原始编码方法的差异可以忽略不计。图9展示了我们提出的方案与VVC算法在四个序列上的RD性能比较。为了评估本文提出的方法的主观视觉质量,我们选择了具有显著质量损失或强烈运动的序列,包括BasketballPass、KristenAndSara和BasketballDrill,并从这些序列中获取I帧[38]作为测试对象,与QP=37条件下的VTM4.0编码结果进行主观视觉比较。图10展示了这两种方案在这些序列的局部细节放大图像。视觉观察显示,在放大区域,两种方法之间的图像质量几乎没有差异,人眼难以辨别差异。可以推断,我们算法引起的图像质量退化低于人眼能够检测到的感知阈值,主观影响可以忽略不计。在不同分辨率的序列中也得到了相同的结果。基于上述分析,我们的方法在视频质量和编码效率方面都具有显著优势。图10展示了我们方法与VTM4.0在四个序列(Johnny、BasketballDrill、BasketballPass和KristenAndSara;QP=37)上的局部放大区域对比。5. 结论与展望本文提出了一种高效的帧内编码方案,包括基于DCMFF-Net神经网络的逆向预测算法、剪枝算法和复杂性预筛选模块。这三种算法旨在加速VVC视频编码中的QTMT分割决策,从而降低VVC的编码复杂性。我们的贡献包括:1. 提出了一种逆向预测算法,仅使用一个CNN就无法预测两种分区方法;2. 提出了一种剪枝算法,根据BTH和BTV的RDO去除一个分区方向,无需计算TT分割的RDO;3. 我们设计并集成了一种复杂性预筛选模块,进一步降低了编码复杂性。实验结果表明,与传统的VTM4.0相比,我们的方法在JCT-VC测试序列上实现了平均BD-BR为1.61,平均BD-PSNR为-0.06,同时将编码复杂性减少了49.21%。然而,这项研究仍存在一些局限性。例如,帧间分割对实际编码的复杂性有显著影响,相关工作尚未完成。在后续工作中,我们的团队将进一步探索帧间预测,并将其与帧内预测结合,以进一步降低编码复杂性。我们用于实验的VTM版本相对较旧,我们将迁移到更新的VTM版本进行进一步开发和研究。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号