《Electronics》:Design and Analysis of a Colpitts-Type Crystal Oscillator Circuit
?shak Parlar and
?zge Kaya
编辑推荐:
最新版H.266/VVC(Versatile Video Coding,通用视频编码)标准因其卓越的压缩效率而广受赞誉。然而,其极高的计算复杂度已成为阻碍VVC适配产业生态的瓶颈,同时也增加了硬件设计的难度和应用成本。为解决该问题,研究人员设计了基于神经网络的
最新版H.266/VVC(Versatile Video Coding,通用视频编码)标准因其卓越的压缩效率而广受赞誉。然而,其极高的计算复杂度已成为阻碍VVC适配产业生态的瓶颈,同时也增加了硬件设计的难度和应用成本。为解决该问题,研究人员设计了基于神经网络的高效帧内编码方案,该方案由三部分组成:首先,研究人员设计了基于神经网络的反向预测算法,该算法独特地利用卷积神经网络(CNN)对较低层级块的分区预测结果来确定较上层级块的QTMT(Quadtree plus Multi-Type Tree,四叉树加多类型树)分区方式,巧妙地解决了现有模型对复杂VVC分区模式的适应问题——这一决策逻辑此前尚未被充分探索。其次,研究人员设计了剪枝算法,该算法首次将BT(Binary Tree,二叉树)分区的实时RDO(Rate-Distortion Optimization,率失真优化)代价与TT(Ternary Tree,三叉树)分区方向进行动态耦合,实现了自适应决策。最后,研究人员设计了复杂度预筛选模块。在分析CU(Coding Unit,编码单元)纹理是否平滑的基础上,该模块为VVC中引入的非方形CU设计了四组自适应阈值。这些阈值能够基于CU尺寸动态调整局部和全局阈值,实现尺寸敏感的纹理评估,以确定当前块是否需要进一步分区。实验结果表明,与传统VTM4.0相比,该方法平均编码时间降低49.21%,同时BD-BR(Bj?ntegaard Delta Bit Rate)增加1.61%,BD-PSNR(Bj?ntegaard Delta Peak Signal-to-Noise Ratio)降低0.06 dB,充分证明了其优越性和性能平衡性。
## 研究背景与问题提出
随着超高清、高动态范围、360°全景及沉浸式媒体内容的爆炸式增长,对高效视频压缩技术的需求变得空前迫切。在此背景下,新一代编解码器——VVC应运而生。VVC的设计目标是在保持同等主观视觉质量的前提下实现高达50%的码率节省,以支持从4K/8K流媒体到虚拟现实等多样化应用场景。
VVC的核心技术突破源于一系列先进编码工具的引入,其中最具代表性的创新是采用嵌套多类型树分区结构(QTMT)。该结构在传统四叉树分区基础上融合了二叉树和三叉树分区,使编码单元的划分更加灵活,从而能够更精确地匹配视频内容中的复杂纹理和运动特征。然而,这种灵活性导致编码器时间成本急剧上升,尤其在率失真优化过程中为每个编码块搜索最优分区模式时,计算负担显著增加。
为应对编码复杂度挑战并保持VVC优异压缩性能,学术界和工业界积极寻求创新解决方案。近年来,深度学习技术在计算机视觉领域的广泛应用为视频编码优化开辟了新路径。受此启发, numerous研究开始探索深度学习在VVC编码决策过程中的应用,旨在通过神经网络预测显著减少冗余计算过程,实现压缩性能与编码器复杂度之间的更好平衡。
## 研究内容、结论与意义
本研究提出基于卷积神经网络的QTMT分区划分算法,旨在有效缩短编码时间。该研究发表于《Electronics》期刊,其主要贡献包括:设计了独特的反向预测算法,通过逆向利用神经网络输出的分区概率来确定是否使用QT分区或BT分区以降低编码复杂度;通过比较BTV(Binary Tree Vertical,垂直二叉树)和BTH(Binary Tree Horizontal,水平二叉树)的RDO大小,识别RDO相对较大的方向,在TT分区过程中禁止该方向的RDO计算以简化计算过程;将复杂度预筛选模块与机器学习技术相结合,在进入RDO计算之前提前识别不需要分区的块并禁止其分区以降低编码复杂度。
## 关键技术方法概述
研究人员采用的技术方法主要包括三个核心模块。第一,基于DCMFF-Net(Double Convolutional Multi-scale Feature Fusion Network,双卷积多尺度特征融合网络)的反向预测算法,该网络由DCFF(Double Convolutional Feature Fusion)网络和多尺度特征融合(MFF)模块组成,用于预测16×16尺寸CU的分区概率分布,并据此推断32×32尺寸CU的分区模式。第二,基于BT分区RDO指导的TT方向剪枝算法,利用已完成BT分型的率失真优化结果动态确定TT分区方向,实现运行时剪枝。第三,复杂度预筛选模块,采用Prewitt算子计算纹理复杂度,结合均方根误差(RMSE,Root Mean Square Error)和梯度幅值均方根(GMSR,Gradient Magnitude Square Root)两个指标,为不同尺寸的CU设置四组自适应阈值(局部阈值与全局阈值),通过双条件判断决定是否跳过当前CU的后续计算。实验基于VTM4.0平台,采用CPHI数据集训练神经网络,在JCT-VC提供的21个标准测试序列上进行验证,QP(Quantization Parameter,量化参数)取值为{22, 27, 32, 37}。
## 研究结果
**反向预测算法基于DCMFF-Net**
研究人员将此前提出的DCMFF-Net应用于VVC标准,提出反向预测方法。DCMFF-Net输出21个概率值,分别对应VVC中21种可能的分区组合,涵盖从整体分割到精细分裂的所有场景。由于所获概率针对QT分区,无法有效跳过BT和TT分区的RDO计算,研究人员设计了基于QTMT分区逻辑的方法,利用下一层的分区概率来确定上一层的分区模式。
具体而言,该反向预测算法利用神经网络预测小尺寸(16×16)CU的分区概率分布,将这些分布划分为六组典型类别,每组对应大尺寸(32×32)CU分区模式的合理约束假设。当16×16 CU呈现某种统一分区倾向时,可推断其32×32父CU中某些分区模式在率失真方面将冗余,从而预先禁用这些模式以缩小搜索空间。同时,设计的第六组保留所有分区可能性,防止在区域结构复杂或神经网络预测不够准确时错误禁用实际更优的二叉树或三叉树分区。具体分组策略为:第一组禁止BTV和BTH分区;第二组禁止QT分区;第三组禁止BTV和QT分区;第四组禁止QT分区;第五组禁止BTH和QT分区;第六组不做任何处理。所有禁止均指跳过相关模式的RDO计算。该算法通过读取16个16×16 CU的分区概率来确定四个32×32 CU的分区模式。
**剪枝算法**
仅使用反向预测算法降低编码复杂度的效果尚不理想。研究人员进一步考察BT与TT分区的关系,发现若BTV的RDO代价大于BTH的RDO代价,则TT分区中TTV(Ternary Tree Vertical,垂直三叉树)的RDO代价大于TTH(Ternary Tree Horizontal,水平三叉树)的RDO代价的可能性较高。基于此发现,研究人员设计了新型剪枝算法,动态利用编码过程中已完成BT分区的RD代价信息来确定TT(三叉树)的分裂方向,实现运行时剪枝。这是首次将BT分区的实时RDO代价与TT分区方向进行动态耦合。
该算法从新的CU开始初始化决策状态,在测试TT分区时触发;检查尺寸和模式条件,若不符合则执行TT方向分区的RDO计算,若符合则读取BT分割代价数据并执行决策逻辑,最终基于实时结果跳过某一TT方向的RDO计算以降低计算复杂度。若反向预测算法已剪枝BT分区的任一方向,则该剪枝算法不工作。算法逻辑为:当当前非分割模式的最优编码代价C_curr为无穷大,或BT_H和BT_V的编码代价均为无穷大时,TT方向无效;否则若BTH代价小于等于BTV代价或BTV代价为无穷大,则选择水平TT方向,否则选择垂直TT方向,仅测试获胜的TT方向而跳过另一方向。
**复杂度预筛选模块**
VVC采用QTMT编码方式使CU不仅可为方形,还可为矩形(如64×32、32×16等),这对基于纹理复杂度的快速算法提出新挑战:不同形状和尺寸的CU对纹理复杂度的敏感度不同,单一阈值无法有效覆盖所有情况。
研究人员设置四组自适应阈值,每组包含局部阈值(衡量像素周围纹理复杂度)和全局阈值(衡量整个CU纹理复杂度),并根据CU具体尺寸动态调整。对于边长大于等于64的CU,局部阈值设为2.0,全局阈值设为0.65;边长大于等于32且小于64的CU,局部阈值提高至7.5,全局阈值提高至4.5;边长大于等于16且小于32的CU,局部阈值设为7.0,全局阈值降至0.65;边长大于等于8且小于16的最小尺寸CU,局部阈值设为7.2,全局阈值设为3.0。通过RMSE和GMSR的计算值与相应阈值比较,仅当两项指标均低于各自阈值时才判定为纹理平滑区域并跳过后续计算。
**消融实验结果**
单独使用各模块的实验表明:仅使用反向预测算法时,编码时间降低30.63%,BD-BR增加2.18%,BD-PSNR降低0.07 dB;仅使用剪枝算法时,编码时间降低33.23%,BD-BR增加0.88%,BD-PSNR降低0.03 dB;仅使用复杂度预筛选模块时,编码时间节省9.08%,BD-BR增加0.28%,BD-PSNR损失为0 dB。
与仅包含QT分区预测的DCMFF-Net相比,反向预测算法降低编码时间20.56%,BD-BR增加1.53%,BD-PSNR降低0.04 dB。反向预测算法与剪枝算法结合后,相比单独使用反向预测算法,编码时间进一步降低20.6%(平均BD-BR增加0.43%,平均BD-PSNR降低0.02 dB)。再加入复杂度预筛选模块后,码率平均增加0.09%,视频质量变化可忽略,编码复杂度平均降低1.33%。
**整体测试结果**
所设计算法在四个不同QP下降低编码复杂度的同时造成极小的视频质量损失。与原编码器VTM4.0相比,所设计算法在QP={22, 27, 32, 37}时平均分别降低编码时间49.45%、48.18%、48.86%和49.85%;BD-BR略微增加1.61%,BD-PSNR损失几乎可忽略(-0.06)。与其他方法比较,该文方法降低编码时间49.21%,优于文献报道的31%、24.49%和35%的复杂度降低幅度。RD曲线显示该方法的率失真曲线与原编码器紧密贴合,部分曲线几乎完全重叠。主观视觉质量比较显示,在QP=37条件下,该方法与VTM4.0编码结果在放大区域几乎无差异,人眼难以分辨。
## 讨论总结与结论翻译
该文提出的方案从三个层面同时采取措施实现性能提升:复杂度预筛选模块在分区开始前初步分类CU,对不需要分区的平滑区域提前终止分区过程;分区过程中以基于DCMFF-Net的反向预测算法替代穷尽算法,结合剪枝算法进一步优化和降低编码复杂度。DCMFF-Net有效整合多分支多尺度特征图以提取充足特征信息保证编码质量。视频质量的轻微变化表明所提出算法对视频质量的影响仍在人眼可接受范围内。
研究结论如下:
该文提出基于DCMFF-Net神经网络的高效帧内编码方案,包含反向预测算法、剪枝算法和复杂度预筛选模块。三个算法均旨在加速VVC视频编码中的QTMT分割决策,从而降低VVC编码复杂度。该文贡献包括:提出仅需单个CNN即可预测两种分区方式的反向预测算法;提出基于BTH和BTV的RDO去除一个分区方向的剪枝算法,无需计算TT分区的RDO;设计并集成复杂度预筛选模块进一步降低编码复杂度。实验结果表明,与传统编码器VTM4.0相比,该文方法在JCT-VC测试序列上平均BD-BR为1.61,平均BD-PSNR为-0.06,同时降低编码复杂度49.21%。
但研究仍存在一定局限性。例如,帧间分割对实际编码复杂度有显著影响,相关工作尚待完成。在后续工作中,研究团队将进一步探索帧间预测并将其与帧内预测相结合以进一步降低编码复杂度。此外,实验所用VTM版本相对较低,将迁移至更新版本的VTM进行进一步开发研究。