参数自适应网络在多功能视频编码中的大规模神经内环滤波应用
吴远生、
蔡帆、
宋晓丹、
左旭光
《Sensors》:Parameter Adaptive Network for Large-Scale Neural In-Loop Filtering in Versatile Video Coding
Yuansheng Wu,
Fan Cai,
Xiaodan Song and
Xuguang Zuo
【字体:
大
中
小
】
时间:2026年05月01日
来源:Sensors 3.5
编辑推荐:
摘要 高效的环路内滤波对于最新的视频编码标准——多用途视频编码(H.266/VVC)至关重要。虽然参数自适应机制在传统的自适应环路滤波器和过拟合的小规模神经环路内滤波中效果显著,但在大规模模型中应用时却存在困难,因为这两种方案都需要在比特流中显式传输参数,
摘要 高效的环路内滤波对于最新的视频编码标准——多用途视频编码(H.266/VVC)至关重要。虽然参数自适应机制在传统的自适应环路滤波器和过拟合的小规模神经环路内滤波中效果显著,但在大规模模型中应用时却存在困难,因为这两种方案都需要在比特流中显式传输参数,从而导致过高的开销。现有的参数生成网络避免了这些传输成本,但引入了过多的参数。为了解决这个问题,我们提出将卷积参数建模为预训练核的线性组合,其中权重通过输入驱动的注意力机制进行自适应估计。具体来说,我们提出了一种多尺度参数自适应卷积及其扩展版本,该版本结合了侧信息,能够在不产生传输开销或显著计算成本的情况下实现参数自适应。此外,我们还设计了一个高效的参数自适应环路内滤波网络,利用所提出的卷积技术来平衡参数效率和重建性能。为了提高侧信息提供的失真指导能力,我们引入了梯度信息。在VTM-11.0上的实验表明,对于Y、U和V分量,分别节省了7.89%、18.25%和19.15%的比特率,平均性能比固定参数的基线模型提高了1.41%,且计算开销可以忽略不计。
1. 引言
在过去的几十年里,视频和图像技术[1,2,3,4]经历了爆炸性增长。特别是监控系统的普及及其多样化的应用,对传输带宽和数据压缩算法[5,6,7,8,9]带来了巨大压力。这种对更高效率的需求推动了视频编码标准的重大进步。H.266/VVC[10]是由ITU-T和ISO/IEC联合视频专家团队(JVET)开发的最新标准,与之前的H.265/HEVC[11]相比,它实现了超过50%的压缩效率提升。与之前的标准类似,VVC采用了基于块的混合预测和变换编码框架来利用空间和时间冗余,如图1a所示。然而,这种框架的失真特性不可避免地在过滤前在重建的帧中引入了模糊、块状和振铃伪影,严重降低了主观和客观质量指标。图1. H.266/VVC编码框架概述以及所提出的环路内滤波过程的集成。(a) VVC编码流程。(b) 标准的VVC环路内滤波模块。(c) 结合了所提出的PAILF-Net的修改后的环路内滤波框架。为了恢复伪影并提高重建图像质量,VVC采用了多种环路内滤波(ILF)方法,包括带有色度缩放的亮度映射(LMCS)[12]、去块滤波器(DBF)[13]、样本自适应偏移(SAO)[14]和自适应环路滤波器(ALF)[15]。这些滤波器按顺序应用,如图1b所示。这些基于传统信号处理技术的手工设计的滤波器提高了重建的视觉质量和客观性能指标。值得注意的是,ALF由于具有固有的参数自适应能力而表现出优越的性能。
近年来,基于学习的环路内滤波取得了显著的性能提升。最初的工作使用了浅层残差CNN,例如VRCNN[16],随后出现了更深层和更复杂的架构[17,18,19,20]。考虑到视频压缩场景,研究人员引入了各种策略,包括使用辅助侧信息[19,21,22,23,24,25]、帧间滤波[26]、速率失真优化[19,21,27]和多帧处理[22]。尽管这些方法取得了有希望的结果,但它们通常会导致泛化时的计算成本增加。为了便于在边缘设备上部署,人们专注于轻量级设计,例如低复杂度的CNN[27,28,29]和具有动态网络结构的DILF[23],以及统一的QP依赖模型[25,30,31]以提高内存效率。然而,这通常是以压缩效率为代价的。同时,JVET[32]正在研究神经ILF的标准化,将这些方法[33,34]分为高操作点(HOP)、低操作点(LOP)和非常低操作点(VLOP)三类,以满足不同的需求,在性能和复杂性之间取得平衡。在本文中,我们将像HOP这样的网络归类为大规模模型,其特征是参数数量庞大且复杂度较高,尽管性能优越。
尽管这些现有方法具有优势,但大多数方法在训练后都使用固定参数,缺乏自适应性。最近的研究开始解决这一限制。对于小型网络,MSR[35]利用CNN生成多个假设,然后通过最小化均方误差(MSE)来线性叠加这些假设。线性系数在比特流中显式传输。同样,JVET[32,36]通过过拟合预训练模型并传输参数残差来研究内容自适应的LOP/VLOP环路滤波器,这在保持低推理复杂性的同时显著提高了性能。然而,将这些方案应用于大规模网络仍然具有挑战性,因为它们依赖于显式的参数传输,这会给大型模型带来高昂的开销。此外,这些方法通常需要额外的训练阶段。对于大规模网络,Meta-ILF[37]通过动态生成权重来避免这种传输开销;然而,它引入了一个复杂的辅助网络,需要大量的额外参数,并且难以有效训练。
在本文中,我们提出了一种参数自适应环路内滤波网络(PAILF-Net),它能够在不增加额外传输开销的情况下实现参数自适应。重要的是,它在参数数量适度增加的情况下实现了可忽略的计算成本。核心思想是通过多尺度注意力机制改进传统卷积,以自适应地聚合多个并行核,这一想法受到了动态神经网络[38]发展的启发。具体来说,我们开发了一种多尺度参数自适应卷积(MSPAConv)及其扩展版本——结合侧信息的S-MSPAConv(S-MSPAConv),其中包含了量化参数自适应和侧信息指导。此外,我们将这些模块集成到基于CNN的常规环路内滤波基线中,使用MSPAConv和S-MSPAConv残差块构建了PAILF-Net。另外,我们引入了梯度作为侧信息来指导失真恢复。本文的主要贡献如下:
- 我们提出了两种新的卷积层MSPAConv和S-MSPAConv,它们能够在不需要比特流传输的情况下实现参数自适应环路内滤波,从而在计算开销可忽略的情况下实现效率,并且参数数量增长适中。
- 我们通过结合战略设计原则开发了PAILF-Net架构,以平衡低参数数量和计算复杂性。此外,我们利用梯度信息作为侧信息来增强失真指导。
- 我们将所提出的PAILF-Net集成到VVC中进行性能评估,如图1c所示。广泛的实验表明,我们的PAILF-Net在保持计算开销可忽略的同时有效提高了重建质量。
2. 相关工作
2.1. 神经环路内滤波
基于神经网络的环路内滤波在减轻压缩伪影和提高编码效率方面取得了显著进展。早期的开创性方法使用了浅层残差CNN,例如VRCNN[16]。随后,更深入和更复杂的架构应运而生,包括用于高效信息流的残差高速公路CNN[17]、用于多级特征提取的密集残差CNN[39],以及基于注意力的挤压-激励网络[18]和多密度CNN[19]。最近的进展,尤其是SwinIR[20],进一步探索了变换器架构的潜力。这些创新还结合了辅助侧信息的集成到压缩系统中,例如残差信号[19,21,22]、分区信息[18,27]、预测数据[23,24]和边界强度[23]。此外,通过速率失真优化和多帧滤波[21,22]等优化策略提高了性能。
为了实际应用,提出了各种轻量级设计来平衡性能和复杂性,包括低复杂度的CNN[28,40]、可分离卷积[28]、统一的QP依赖模型[25,30,31]、适用于不同比特率场景的浅层或深层CNN[18,27]、查找表[29]和动态滤波[23]。JVET正在积极研究基于神经网络的ILF的标准化,根据计算约束将模型分为HOP、LOP和VLOP三类。这些研究表明,大规模和小规模模型都能满足不同的应用需求。然而,从自适应性的角度来看,大多数方法在推理过程中的模型参数仍然是固定的。由于图像内容、纹理和失真特征存在显著差异,这种固定范式本质上限制了神经网络的表现能力。
2.2. 参数自适应环路内滤波
参数自适应ILF技术在视频编码中得到了广泛探索。值得注意的是,ALF[15]通过应用基于维纳的滤波过程来提高主观质量,其中最佳滤波器系数在编码器处通过最小二乘法计算,并显式传输给解码器。与依赖预定义规则来减轻特定伪影的静态滤波器(如DBF[13]和SAO[14]相比,ALF通过使用内容自适应的维纳滤波器来最小化重建误差,有效恢复了简单滤波器经常忽略的高频细节。
对于小型网络,Ding等人[35]提出了一种基于多假设样本细化的神经自适应环路滤波器,该滤波器首先通过CNN生成多个假设,然后估计自适应权重系数。这些系数需要显式传输和比特流压缩。同样,JVET研究了LOP和VLOP的内容自适应环路内滤波[32,36],在编码器处进行模型过拟合,同时保持低推理复杂性。在这些方法中,过拟合的参数在比特流中传输,这需要额外的序列或帧级训练。然而,这些方法对于大规模模型来说不切实际,因为庞大的参数数量会导致显著的传输开销。作为替代方案,Meta-ILF[37]通过使用基于QP的辅助网络动态生成卷积参数来规避直接传输,从而提高了自适应性,而不需要参数传输。尽管有这些优势,辅助生成网络显著增加了整体模型大小,可能会引入推理延迟和训练不稳定。
在本文中,我们受到动态神经网络[38]发展的启发,将卷积参数建模为预训练专家核的线性组合,其中自适应权重由输入数据驱动的轻量级网络得出。因此,所提出的方法实现了无需传输的适应,并在仅产生可忽略的计算开销和适度参数增加的情况下提高了重建质量。
3. MSPAConv:多尺度参数自适应卷积
在本节中,我们首先详细介绍了所提出的MSPAConv的架构及其自适应参数机制。随后,我们介绍了结合侧信息的MSPAConv(S-MSPAConv)并分析了其自适应QP调制特性。最后,我们评估并比较了标准卷积、MSPAConv和S-MSPAConv之间的计算复杂性和参数开销。
3.1. MSPAConv架构
为了在保持轻量级设计的同时实现参数自适应ILF,我们提出了MSPAConv,其灵感来源于动态卷积网络。核心概念是将卷积参数生成为多个并行核的线性组合。这些权重通过多尺度注意力机制从输入特征图和侧信息中自适应得出。所提出的MSPAConv如图2所示,包括两个关键组成部分:
- (1) 多并行卷积核。我们将这些核表示为。这样的设计能够同时处理来自不同视角的输入特征。在处理具有不同纹理模式的特征图时,不同的核捕获不同的特征,从而提高了模型的容量和灵活性。
- (2) 自适应多尺度权重估计。为了以较低的计算成本实现固定预训练参数集的自适应滤波,我们为每个核引入了自适应权重,并将最终的卷积参数表示为基核的线性加权组合。
多尺度设计的动机是使滤波器能够区分具有相似全局特征但在局部细节上有所不同的内容。为了估计自适应权重,我们使用金字塔池化机制对输入进行多尺度采样,捕获不同尺度上的空间结构信息。这使得模型能够根据输入数据在全局和局部层面动态地为每个并行核分配适当的权重,从而灵活调整每个核对最终输出的贡献。具体来说,输入通过自适应平均池化(AAP)进行空间平均池化。然后,池化结果被重塑并连接起来形成多尺度上下文表示。
3.2. S-MSPAConv:结合侧信息的多尺度参数自适应卷积
在本文中,我们首先详细介绍了所提出的MSPAConv及其自适应参数机制。随后,我们介绍了结合侧信息的S-MSPAConv(S-MSPAConv)并分析了其自适应QP调制特性。最后,我们评估并比较了标准卷积、MSPAConv和S-MSPAConv之间的计算复杂性和参数开销。整体流程是(3)使用上述获得的核心和自适应权重,参数自适应卷积可以表示为(4)然后结果通过一个非线性激活函数。在我们的实现中,采用了PReLU作为激活函数,这遵循了大多数ILF网络的惯例。3.2. S-MSPAConv:侧信息调制的MSPAConv现有的ILF方法通常利用侧信息()作为辅助输入,以充分利用中间编码结果。然而,大多数网络只是在将它们传递到深度网络之前,将侧信息与重构帧()连接起来,这往往降低了侧信息的贡献效果。为了解决这个问题,我们提出了S-MSPAConv,它将侧信息调制到MSPAConv的权重中。该机制表示如下:(5)其中表示S-MSPAConv的输入,表示连接操作。下面,我们从理论上分析了S-MSPAConv如何通过使用量化参数(QP)作为特定形式的侧信息来缓解上述限制。由于通常需要一个模型来处理所有的QP,因此QP图经常被用作侧信息。我们首先证明,传统的卷积ILF网络仅通过偏置项来调制输入QP。相反,我们展示了S-MSPAConv将这种调制扩展到卷积参数上,从而实现了更全面的特征适应。(1)固定参数网络中的QP调制。在传统的ILF网络中,QP图通常与特征图和其他侧信息连接起来。然后这个组合输入通过具有固定权重和偏置的卷积层来实现QP适应,可以表示如下:(6)考虑到不同通道上的卷积操作,这个方程可以展开为(7)和分别表示应用于和的权重。重要的是要注意,QP通道内的所有元素都是相同的,因为在编码树单元(CTU)的自适应QP被禁用时,QP值在常见的测试条件(CTC)下保持不变。因此,QP图可以从方程(7)的第二项中分离出来,得到。可以观察到,将QP图作为输入通道连接起来在数学上等同于在偏置中引入一个依赖于QP的线性项。然而,是权重而不是偏置,从根本上决定了神经网络的表达能力和性能。(2)S-MSPAConv中的QP调制。所提出的S-MSPAConv自然地解决了这一限制。通过在方程(5)中将替换为,我们得到了以下表达式:(8)其中和分别表示应用于和QP图的参数。可以观察到,在S-MSPAConv中,QP图不仅在偏置项中被调制,而且直接在卷积参数中被调制。因此,S-MSPAConv在实现QP适应方面提供了更好的效果和鲁棒性。3.3. 参数和复杂性数学模型表明,S-MSPAConv和MSPAConv具有相同的结构逻辑,仅在输入特征空间上有所不同。我们特别引入S-MSPAConv是为了评估侧信息(SI)对基础MSPAConv操作符的影响,特别是在QP感知适应方面的优势。虽然S-MSPAConv中集成SI提高了性能和适应性,但也带来了额外的参数和计算成本。因此,在MSPAConv和S-MSPAConv之间的选择反映了性能提升和计算效率之间的权衡。表1比较了常规卷积、提出的MSPAConv和S-MSPAConv之间的计算复杂性和参数数量。与常规卷积相比,MSPAConv由于其线性加权的参数结构而保持了类似的复杂性。然而,它引入了参数的适度增加,这取决于卷积核和图2中显示的全连接(FC)权重。前者与k成正比,而后者与输入维度k和FC层的输出维度k的乘积成正比。对于S-MSPAConv,由于沿着的通道维度进行了连接,复杂性增加了倍,其中l表示的通道维度,c是的原始通道维度。因此,提出的MSPAConv和S-MSPAConv不应不考虑这些开销就简单地替代现有环路内过滤网络中的标准卷积。在我们的实现中,我们通过实验结果来经验性地确定超参数k。此外,我们仅使用QP图和图像梯度作为S-MSPAConv的额外侧信息,因为QP图对于全局噪声估计是一个关键因素,而梯度捕捉了图像细节,迫使网络更加关注局部变化。表1. 常规卷积、MSPAConv和S-MSPAConv之间的参数数量和计算复杂性比较。这里,C和c分别表示常规卷积的参数数量、计算复杂性和通道数量。变量k表示MSPAConv和S-MSPAConv中并行的核心数量,而l对应于S-MSPAConv中合并的侧信息的通道维度。4. PAILF-Net:参数自适应环路内过滤网络为了解决现有基于神经网络的环路内过滤方法中固定权重范式的局限性,本节提出了一个参数自适应的ILF网络(PAILF-Net),利用我们的MSPAConv和S-MSPAConv模块。我们首先介绍了PAILF-Net的整体流程,然后详细描述了其四个主要模块。4.1. 整体流程基于提出的MSPAConv和S-MSPAConv模块,PAILF-Net旨在适应不同的图像内容和不同程度的压缩伪影。与传统的固定参数卷积架构相比,我们的参数自适应机制增强了网络的适应性,使其能够更有效地处理复杂的编码失真,从而提高整体编码效率。图3展示了PAILF-Net的整体框架。该结构类似于腾讯的残差网络[41],后者在最近的JVET提案中已被广泛用于ILF,例如[34,42]。主要的新颖之处在于我们的参数自适应机制和边缘感知侧信息的集成。PAILF-Net主要由四个部分组成:(1)特征提取;(2)自适应融合;(3)自适应主干;以及(4)自适应重建。图3. 提出的PAILF-Nets。分别表示具有3、3、3和1通道的输入张量。特征提取模块中所有卷积的输出通道为64。在自适应融合模块中,MSPAConv的核大小和输出通道数量分别为和64。MSPAConv-RB和S-MSPAConv-RB块分别在图4b和图4c中展示。在我们的实现中,M、N和P分别设置为5、5和2,以便与基线JVET-AC0194进行公平比较。除非另有说明,否则所有卷积核的步长都设置为1。图4. 常规残差块、MSPAConv-RB和S-MSPAConv-RB的结构。MSPAConv和S-MSPAConv的核大小均设置为,所有卷积层的步长都设置为1。给定待过滤的重构和侧信息,即预测和梯度,特征提取模块(第4.2节)首先从每个源中提取特征以进行高效过滤。然后结果与QP图连接并通过自适应融合(第4.3节)进行融合,以便整合互补信息。随后,自适应主干和重建模块(第4.4节)执行自适应过滤和重建,最终输出高质量的恢复图像。4.2. 特征提取与[41]类似,所提出网络的输入包括重构帧、VVC编码期间生成的预测帧和QP图。由于和都在YUV420域中,我们将U和V分量上采样以匹配Y的分辨率,将它们统一在一个模型中。鉴于ILF的主要目标是恢复量化细节,直接在重构域中操作像素值可能会无意中导致网络优先考虑绝对强度值而不是结构差异。为了缓解这一点,我们采用Y分量重构的梯度作为引导信号来捕捉边缘并强调相邻像素之间的局部不连续性。位置处的梯度计算为(9)其中和分别表示位置处的水平和垂直梯度。随后,通过特征提取模块,每个源都经过专门的卷积和非线性激活函数处理。结果特征与图连接起来,生成后续网络的全面输入表示(10)。4.3. 自适应融合在连接之后,特征被送入融合网络。由于融合阶段发生在网络的早期阶段,并且,即,已经隐式或显式地文本-颜色-蓝色集成到融合输入中,我们采用MSPAConv操作符来进行参数自适应融合。这个过程表示为(11)通过结合方程(10)和(11),我们证明了这个融合过程在数学上等同于S-MSPAConv,其中侧信息定义为。随后,融合的特征图通过PReLU进行非线性激活。为了降低后续阶段的计算复杂性,采用了步长为2的卷积来进行特征下采样,这种设计选择与大多数最先进的环路内过滤器一致。4.4. 自适应主干和重建不同的图像内容通常会导致不同的结构失真,例如在复杂纹理区域出现振铃伪影,在平滑区域出现块状效应。为了减轻这些失真,传统的ILF网络采用暴力策略,如增加网络深度、扩展宽度或集成复杂的架构,如变换器。虽然这些方法可以逐步提高模型性能,但它们不可避免地会带来显著的计算负担。相反,我们通过提出的MSPAConv和S-MSPAConv模块引入了一个参数自适应机制,有效地增强了模型容量,同时计算开销的增加可以忽略不计。具体来说,我们使用了JVET-AC0194的基线架构,该架构主要由卷积残差块组成。为了促进适应性,我们设计了两个专门的参数自适应残差块:MSPAConv残差块(MSPAConv-RB)和S-MSPAConv残差块(S-MSPAConv-RB)。图4a-c分别展示了使用常规卷积、MSPAConv和S-MSPAConv的残差块的详细结构。与常规残差块相比,MSPAConv-RB用MSPAConv替换了初始的卷积层,以在尽可能早的阶段捕获自适应特征,同时限制参数的增长。S-MSPAConv-RB进一步整合了侧信息,以在整个中间层提供更好的指导。鉴于S-MSPAConv的计算复杂性随堆叠的SI通道数量而增加,我们选择性地仅整合和作为SI,其中编码纹理细节,反映了压缩引起的失真特征。自适应主干包括M个自适应块,后面跟着P个MSPAConv-RB。每个自适应块由一个S-MSPAConv-RB与N个MSPAConv-RB交错组成,以保持性能和计算复杂性之间的平衡。尾随的MSPAConv-RB的加入是为了确保与基线架构的公平比较,补偿了残差块总数不能被完美整除的情况。我们将这一阶段的最终输出特征表示为。4.5. 自适应重建最后,特征表示通过单个MSPAConv-RB进一步增强,然后通过PixelShuffle层进行上采样。最终过滤后的重建表示如下:(12)表示包含Y分量和上采样UV分量的输入重构帧,而表示网络的最终恢复输出。5. 实验结果本节的组织结构如下:首先,我们详细介绍了实验配置;接下来,我们展示了综合结果;最后,我们进行了消融研究、编码时间和内存使用评估。5.1. 实验设置5.1.1. 数据集和训练设置我们使用DIV2K [43]数据集来训练我们提出的过滤器,使用800张2K分辨率的训练图像。训练数据是使用VTM-11.0参考软件压缩这些图像生成的,所有环路内过滤器都禁用。我们采用的量化参数(QP)为,总共得到4000个训练样本。这些压缩图像被随机裁剪成块。因此,块的总数取决于批量大小和训练周期。在训练过程中,每个周期都会应用数据增强,包括随机旋转和水平翻转。所提出的网络在PyTorch 1.11.0中实现。初始学习率设置为,每迭代减半,下限为。模型总共训练了160,000次迭代,批量大小为16。训练过程在配备有Intel Core i7-14700F CPU和双NVIDIA GeForce RTX 4090 GPU的服务器上进行,大约需要3.5至4天的训练时间。最初使用平均绝对误差(MAE)作为损失函数来稳定训练,然后在80,000次迭代后改用均方误差(MSE)来微调收敛性。Y、U和V分量的损失权重分别设置为10:1:1。采用Adam [44]优化器进行网络优化。
在我们的实现中,我们几乎保持了基线JVET-AC0194的原始架构参数,以便进行公平比较,只是部分维度需要与提出的S-MSPAConv相匹配。为了与基线JVET-AC0194进行公平比较,M、N和P分别设置为5、5和2。k设置为4,以在性能和参数之间取得更好的平衡。训练完成后,网络被集成到VVC参考软件VTM-11.0中。如图1c所示,在所有帧内(AI)配置中,提出的滤波网络用于替换DBF和SAO。采用率失真优化(RDO)过程在传统滤波方法和提出的方法之间选择最优的滤波结果。此外,提出的滤波网络可以在编码树单元(CTU)级别和切片级别上选择性地启用或禁用。
在实现过程中,我们保持了基线模型JVET-AC0194的架构超参数,以确保公平比较,仅调整部分维度以符合S-MSPAConv的要求。为了进一步确保一致性,参数M、N和P分别设置为5、5和2,而k设置为4,以优化编码性能和模型参数之间的平衡。训练完成后,网络被集成到VVC参考软件VTM-11.0中。如图1c所示,在所有帧内(AI)配置中,提出的滤波网络替换了DBF和SAO。采用率失真优化(RDO)过程在传统滤波方法和提出的方法之间选择最优的滤波结果。此外,提出的滤波网络可以在编码树单元(CTU)和切片级别上选择性地启用或禁用,从而提供对滤波过程的灵活控制。
我们将比较的方法根据它们的参数适应机制分为两类:
(1) 固定参数网络。这类方法包括在推理过程中网络权重保持不变的方法,无论输入内容或编码条件如何:
QA-Filter [45]:专门针对量化参数(QP)的适应,通过优化的基于QP的处理来提高滤波性能。
SwinIR [20]:利用分层Swin变压器架构实现环路内滤波。
JVET-AA0088 [33] 和 JVET-AC0194 [34]:在最近的JVET会议上提出的基于神经网络的先进环路内滤波方法。
Meta-ILF的基线版本:作为对照的固定参数版本的Meta-ILF框架。
DILF [23]:一种用于环路内滤波的动态神经网络方法,可以处理QP和内容适应。与我们的方法不同,DILF通过动态修改网络结构来实现适应。
对于QA-Filter、Meta-ILF及其相应的基线SwinIR、JVET-AA0088和DILF,我们直接采用了它们原始出版物中报告的结果。对于提出的PAILF-Net,我们指定JVET-AC0194作为基线框架。为了确保严格和公平的比较,我们保持JVET-AC0194和我们的方法之间的训练配置相同,确保性能差异仅归因于网络架构。所有比较的方法都使用VTM-11.0作为参考基准。实验设置严格遵循JVET定义的通用测试条件(CTC)[46]。我们使用标准测试序列(即A1、A2、B、C和E类)作为测试集,并使用Bj?ntegaard-delta率(BD-rate)[47]来评估性能,峰值信噪比(PSNR)作为主要的质量指标。为了计算加权平均BD-rate,我们将Y、U和V分量分别按6:1:1的比例进行加权。计算复杂性以千次乘积累操作(kMACs)和网络参数的总数来评估。
提出的PAILF-Net的性能评估总结在表2中。如表所示,PAILF-Net平均实现了10.59%的BD-rate降低,Y、U和V分量的具体BD-rate降低分别为?7.89%、?18.25%和?19.15%。与基线JVET-AC0194相比,我们的参数自适应机制的集成使PAILF-Net在Y、U和V分量上分别实现了额外的0.77%、3.31%和3.43%的比特率降低,同时保持了相当的计算复杂性。它还显著优于JVET-AA0088。与Meta-ILF相比,我们的方法表现更佳,因为Meta-ILF的内容适应算法仅在其基线上实现了0.4%的微小提升。此外,与QP自适应的QA-Filter相比,我们的方法在Y、U和V分量上分别实现了2.76%、13.70%和13.82%的性能提升。此外,PAILF-Net在编码效率和计算开销方面也优于基于变压器的SwinIR。尽管DILF在BD-rate和复杂性方面表现更好,但它主要通过动态架构修改而不是参数适应来实现适应。
表2. 提出的滤波器与最先进方法在AI配置下的BD-rate(%)性能比较。负值表示比特率节省,表示编码效率更高。除了编码性能外,PAILF-Net的计算开销相对较低,大约为每像素1 kMAC,而JVET-AC0194的基线为每像素485 kMAC。这一结果与我们在第3.3节中的理论分析一致,证实了编码效率和计算复杂性之间的最佳平衡。虽然Meta-ILF试图降低复杂性,但其适应机制显著增加了模型大小。相比之下,我们提出的方法仅需要额外的M参数,这比Meta-ILF所需的M参数或基于变压器的SwinIR所需的M参数更加资源高效。此外,PAILF-Net在保持较低计算成本的同时实现了更好的率失真性能。总之,PAILF-Net在几乎不增加复杂性的情况下提高了视频编码效率,证明了其在实际视频编码应用中的实用性和架构优势。
表3详细展示了与JVET-AC0194基线的比较性能。如表所示,PAILF-Net在所有测试类别中一致提高了编码性能。在A2类中观察到的收益最为显著,Y、U和V分量的降低分别为、、和。虽然在E类中Y分量的降低相对较小,但U和V分量实现了和的显著提升。PAILF-Net在Y分量上始终提供了改进,率节省范围从到。值得注意的是,对于色度分量,增强的内核和我们的自适应机制允许进行更专业的处理。性能提升在U和V分量上分别达到了和。表3. 在AI配置下JVET-AC0194和PAILF-Net之间的详细BD-rate(%)比较。负值表示比特率节省,表示编码效率的提高。图5展示了BQTerrace、DaylightRoad2和BasketballDrill序列中Y、U和V分量的RD性能。显然,提出的PAILF-Net在所有测试比特率下始终优于JVET-AC0194和JVET-AA0088。特别是对于BQTerrace序列,在2091 kbps的比特率下,PAILF-Net为U分量实现了dB的峰值提升。此外,在10,140 kbps和3031 kbps的比特率下,我们的方法为V分量实现了高达dB的改进。虽然Y分量的性能提升也很明显,但与U和V分量相比相对较小。图5. 不同序列和分量之间的RD曲线比较。(a–i) 分别展示了BQTerrace、DaylightRoad2和BasketballDrill序列的Y-PSNR、U-PSNR和V-PSNR与比特率的曲线。为了验证提出的PAILF-Net的有效性,我们在随机访问(RA)和低延迟B(LDB)配置下评估了其性能。由于评估过程的计算复杂性较高,因此使用B类和C类序列进行RA,而使用B类、C类和E类序列进行LDB。对于每个序列,只压缩前64帧。表4和表5分别总结了与JVET-AC0194基线在RA和LDB配置下的比较结果。在RA配置中,PAILF-Net在所有评估类别中都显示出一致的改进,分别为B类{0.56%、6.46%、3.05%}和C类{0.43%、2.98%、2.87%}的Y、U、V分量节省了比特率。在LDB配置中,PAILF-Net也在所有测试类别中展示了性能提升,分别为B类{0.55%、5.29%、2.32%}、C类{0.53%、2.03%、2.82%}和E类{0.63%、6.62%、4.82%},平均节省了{0.56%、4.54%、3.11%}。这些结果在RA和LDB配置下进一步验证了提出的PAILF-Net的优越编码性能。
图6展示了VTM-11.0、JVET-AC0194和提出的PAILF-Net之间的视觉质量比较。我们使用DaylightRoad2、Cactus和CatRobot的前几帧(QP = 42编码)提供了三个视觉示例。可以看出,第一行的VTM-11.0重建在数字“7”和“16”周围出现了明显的伪影,严重降低了感知质量。尽管应用了JVET-AC0194可以减轻这些伪影,但残余退化仍然存在。相比之下,我们提出的方法展示了更优的主观质量。在第二行中,PAILF-Net在扑克牌上产生了更清晰、更明确的边缘,而VTM-11.0和JVET-AC0194的结果显得明显模糊。在第三行中,提出的方法有效地重建了“白点”,并且伪影显著减少。这些视觉结果一致证明了我们的自适应滤波机制提高了整体视频编码性能。虽然PAILF-Net显著提高了视觉保真度,但我们认识到仅靠环路内滤波无法完全消除编码过程中引入的所有伪影。
5.4. 消融研究
概述和关键改进的交互作用。提出的PAILF-Net主要通过集成参数自适应机制来提高编码性能。尽管不同组件之间可能存在交互作用,但全面评估所有组合在计算上是不可行的。鉴于PAILF-Net的整体改进是适度的,预计结合各种组件的协同收益将保持在一个有限的范围内。因此,我们通过系统地移除每个组件来进行消融研究,以评估其贡献。表6总结了归因于每个核心模块的性能收益,即多尺度自适应参数机制、S-MSPAConv中的QP集成以及S-MSPAConv中的特征。第一行代表完整的PAILF-Net配置。后续行展示了随着关键组件逐步移除的结果,最后一行对应于JVET-AC0194基线。可以观察到,梯度特征的集成带来了收益。移除梯度和基于QP的特征导致累积性能损失。此外,排除多尺度自适应参数机制导致BD-rate显著下降,性能从下降到。这导致Y、U和V分量分别额外损失了比特率。这些结果表明,虽然多尺度自适应参数机制是提高编码效率的主要因素,但其他模块也提供了必要的补充性改进。以下部分将对每个组成部分进行详细分析。表6展示了所提出关键组件的性能概述及其在比特率(BD-rate)方面的相互作用。负值表示比特率节省,表明相对于基线编码效率有所提升。每个模块中的参数自适应机制。为了验证所提出的参数自适应机制在各个模块(即特征提取、自适应骨干网络和自适应重建模块)中的有效性,我们进行了两组对比实验。第一组实验结果在表7的第二行中展示,其中特征提取和自适应重建模块中的MSPAConv和S-MSPAConv单元被替换为传统的卷积层。实验结果表明,比特率性能从下降到,分别对应于Y、U和V分量的性能损失。这表明传统的卷积层缺乏自适应调整能力,阻碍了提取和重建策略的灵活适应。相比之下,MSPAConv和S-MSPAConv可以根据量化参数和局部图像内容动态调整卷积核参数,从而灵活调节滤波器强度以改善适应性能。表7显示了在各个模块中对参数自适应机制的消融研究。负值表示比特率节省,表明相对于基准配置有性能提升。表7的最后一行将图3中自适应骨干网络中的MSPAConv-RB和S-MSPAConv-RB替换为图4a所示的传统残差块。结果显示,与完整的PAILF-Net相比,缺少MSPAConv-RB和S-MSPAConv-RB会导致平均比特率从下降到,Y、U和V分量的比特率分别增加了。网络骨干必须处理标准残差块难以有效表征的多样化图像特征。相反,我们提出的自适应参数机制可以根据图像内容调整卷积核参数,从而增强特征提取能力。通过利用量化参数和梯度信息来指导网络优化,我们的方法提高了模型的整体性能。
为了揭示所提出的MSPAConv的自适应特性,我们设置了并可视化了一个核的注意力权重分布。关于QP(量化参数)的调整,图7a展示了不同编码QP值下BasketballDrill的注意力权重分布。显然,当QP为42时,所有并行卷积核的权重幅度都比QP较低时更大。这可以解释为:随着QP值的增加,重建失真变得更加严重,因此需要更强的滤波强度。所提出的PAILF-Net能够有效捕捉不同QP值下的失真程度,并相应地动态调整卷积核权重,从而表现出更出色的图像恢复和自适应调整能力。图7展示了注意力权重分布的可视化结果。(a) 在不同编码s下BasketballDrill的最终层的分布。(b) 在相同编码下不同视频序列的初始层的分布。对于内容适应,图7b显示了不同视频序列的注意力权重分布。可以清楚地观察到,不同视频序列表现出不同的权重分布模式。鉴于内容特征的多样性,例如场景特征、纹理复杂性和色彩丰富度,失真模式存在显著差异,因此需要定制化的适应。不同视频之间观察到的权重分布变化证实了所提出的网络可以根据局部图像内容自适应选择最优卷积核以提取相关特征。
为了研究MSPAConv和S-MSPAConv中的多尺度机制对参数适应的影响,本节评估了一种简化的方法,仅使用AAP(1)配置来生成并行卷积核的注意力权重,如图2所示。具体来说,首先对输入特征应用全局平均池化以聚合空间信息,然后由全连接(FC)层进行处理。最后,FC层的输出通过Sigmoid激活函数转换为并行核的注意力权重。这种简化的参数自适应卷积方法应用于我们提出的PAILF-Net,实验结果在表8中标记为“w.o. multi-scale”。与完整的PAILF-Net架构相比,它在Y、U和V分量上的性能分别下降了。分析强调了多尺度机制的优势:在较大尺度上(即较小的AAP大小),核关注全局结构模式;而在较细的尺度上,它们专注于局部纹理特征。这种分层方法使生成的核参数能够有效适应多样化的图像内容和不同的失真程度,最终实现更准确的重建。表8显示了在MSPAConv和S-MSPAConv中多尺度机制和并行核数量k的影响。负值表示比特率节省,表明相对于基线有性能提升。为了评估增加MSPAConv和S-MSPAConv中并行卷积核数量k的影响,我们对所提出的PAILF-Net进行了实验。结果在表8中标记为“PAILF-Net ()”的列中展示。与使用默认值的PAILF-Net配置相比,平均比特率从提高到了,Y、U和V分量的比特率分别额外减少了。这些发现清楚地表明,增加并行核的数量可以在不增加推理计算开销的情况下提升亮度和色度分量的性能,从而突显出更优的适应性。然而,模型参数显著增加,从M增加到M。这种扩展需要延长训练时间和超参数优化,以降低收敛到局部最优解的风险。
为了验证梯度图的有效性,我们通过从PAILF-Net架构中移除梯度图进行了消融研究。在这种配置下,梯度图既不从重建图像中提取,也不输入网络。因此,在自适应骨干网络中,仅使用量化参数图来指导S-MSPAConv的学习。实验结果在表9中标记为“w.o. ”的列中展示。与完整的PAILF-Net相比,无梯度方法在所有Y、U和V分量上的性能都一致下降。具体来说,平均比特率性能从下降到,分别表示Y、U和V分量的性能损失。这些结果实证了梯度图作为结构先验在增强网络特征表示和整体编码效率方面的贡献。我们还研究了使用范数进行梯度评估的方法,具体是将定义为方程(9)中的替代方案。然而,这种方法在训练过程中未能实现收敛。这种不稳定性的主要原因可能是范数在原点处不可微分,这阻碍了所提出的神经网络架构中的反向传播过程。表9显示了在整合梯度图和量化参数时的消融研究。负值表示比特率节省,表明相对于基线有性能提升。为了进一步了解梯度图在提高重建图像感知质量方面的重要性,图8可视化了包含和不包含梯度先验的特征图。我们选择了四个代表性的视频序列:BasketballDrill、BQMall、PartyScene和RaceHorses。图8的第二行展示了第一个重建帧的梯度图。这些图有效地显示了纹理细节,例如BasketballDrill中的运动员动作和BQMall中的行人。此外,编码过程中产生的块状伪影表现为明显的异常梯度不连续性,例如PartyScene中可见的规则块状轮廓。图8展示了特征图上的梯度。第一行和第二行分别显示了在下的原始帧内信息和亮度重建梯度。第三行和第四行分别显示了自适应骨干网络中最终残差块的输出特征图,以及是否包含梯度图作为PAILF-Net中的辅助信息。出于隐私和版权考虑,第一行中原始帧的面部区域已被模糊处理。我们还在图8的第三行和第四行可视化了最终残差块的输出特征图,直观地展示了整合梯度先验的影响。具体来说,第三行和第四行分别显示了在将梯度图整合到网络骨干之前和之后,四个序列的第一帧的激活模式。可以清楚地观察到,第四行的图像在感知上更加清晰,细粒度纹理细节的保留得到了增强。通过利用梯度信息,网络更准确地恢复了边缘和细节特征,显著提高了主观图像质量。
为了研究MSPAConv和S-MSPAConv中的多尺度机制对参数适应的影响,本节评估了一种简化方法,仅使用AAP(1)配置来生成并行卷积核的注意力权重。首先对输入特征应用全局平均池化以聚合空间信息,然后由全连接(FC)层进行处理。最后,FC层的输出通过Sigmoid激活函数转换为并行核的注意力权重。这种简化的参数自适应卷积方法应用于我们提出的PAILF-Net,实验结果在表8中标记为“w.o. multi-scale”。与完整的PAILF-Net架构相比,它在Y、U和V分量上的性能分别下降了。分析强调了多尺度机制的优势:在较大尺度上(即较小的AAP大小),核关注全局结构模式;而在较细的尺度上,它们专注于局部纹理特征。这种分层方法使生成的核参数能够有效适应多样化的图像内容和不同的失真程度,最终实现更准确的重建。表8显示了在MSPAConv和S-MSPAConv中多尺度机制和并行核数量k的影响。负值表示比特率节省,表明相对于基线有性能提升。为了评估增加MSPAConv和S-MSPAConv中并行卷积核数量k的影响,我们对所提出的PAILF-Net进行了实验。结果在表8中标记为“PAILF-Net ()”的列中展示。与使用默认值的PAILF-Net配置相比,平均比特率从提高到了,Y、U和V分量的比特率分别额外减少了。这些发现清楚地表明,增加并行核的数量可以在不增加推理计算开销的情况下提升亮度和色度分量的性能,从而突显出更优的适应性。尽管如此,模型参数显著增加,从M增加到M。这种扩展需要延长训练时间和超参数优化,以降低收敛到局部最优解的风险。
为了验证梯度图的有效性,我们通过从PAILF-Net架构中移除梯度图进行了消融研究。在这种配置下,梯度图既不从重建图像中提取,也不输入网络。因此,在自适应骨干网络中,仅使用量化参数图来指导S-MSPAConv的学习。实验结果在表9中标记为“w.o. ”的列中展示。与完整的PAILF-Net相比,无梯度方法在所有Y、U和V分量上的性能都一致下降。具体来说,平均比特率性能从下降到,分别表示Y、U和V分量的性能损失。这些结果实证了梯度图作为结构先验在增强网络特征表示和整体编码效率方面的贡献。我们还研究了使用范数进行梯度评估的方法,具体是将定义为方程(9)中的替代方案。然而,这种方法在训练过程中未能实现收敛。这种不稳定的主要原因可能是范数在原点处不可微分,这阻碍了所提出的神经网络架构中的反向传播过程。表9显示了在整合梯度图和量化参数时的消融研究。负值表示比特率节省,表明相对于基线有性能提升。为了进一步了解梯度图在提高重建图像感知质量方面的重要性,图8可视化了包含和不包含梯度先验的特征图。我们选择了四个代表性的视频序列:BasketballDrill、BQMall、PartyScene和RaceHorses。图8的第二行展示了第一个重建帧的梯度图。这些图有效地显示了纹理细节,例如BasketballDrill中的运动员动作和BQMall中的行人。此外,编码过程中产生的块状伪影表现为明显的异常梯度不连续性,例如PartyScene中可见的规则块状轮廓。图8展示了特征图上的梯度。第一行和第二行分别显示了在下的原始帧内信息和亮度重建梯度。第三行和第四行分别显示了自适应骨干网络中最终残差块的输出特征图,以及是否包含梯度图作为辅助信息。由于隐私和版权考虑,第一行中原始帧的面部区域已被模糊处理。我们还在图8的第三行和第四行可视化了最终残差块的输出特征图,直观地展示了整合梯度先验的影响。具体来说,第三行和第四行分别显示了在将梯度图整合到网络骨干之前和之后,四个序列的第一帧的激活模式。可以清楚地观察到,第四行的图像在感知上更加清晰,细粒度纹理细节的保留得到了增强。通过利用梯度信息,网络更准确地恢复了边缘和细节特征,显著提高了主观图像质量。
为了研究量化参数在指导网络学习方面的有效性,我们进一步通过从S-MSPAConv的骨干网络中移除梯度图进行了消融研究,同时保持全局QP作为整个网络的输入,以便进行公平比较,即既不引入梯度图也不引入量化参数图。其余实验设置与PAILF-Net保持一致。结果在表9中标记为“w.o. 和 ”的列中展示。可以观察到,与PAILF-Net“w.o. ”配置相比,Y、U和V分量的比特率分别从变化到。具体来说,在S-MSPAConv中整合QP图后,Y分量的性能得到了提升,而U和V分量的性能分别下降了和。考虑到在视觉编码中亮度分量比色度分量更受重视,我们证明了将QP作为S-MSPAConv的指导机制的合理性。
5.5. 编码时间和内存使用尽管我们在第3.3节分析了理论复杂性和参数数量,我们还评估了在CPU上的编码时间和内存使用情况,以弥合实际应用方面的差距。为了提高效率,我们使用QP对每个序列编码10帧。时间测量方法遵循CTC(Controlled Transmission Coding)。内存使用情况每两秒采样一次,然后对结果进行平均。每个类别的最终时间和内存指标进行几何平均,与CTC一致。表10显示了评估结果,其中。观察到,基准JVET-AC0194编码平均需要1301.00秒和1138.04 MB的内存。所提出的PAILF-Net需要1351.07秒和1365.15 MB的内存。与JVET-AC0194相比,PAILF-Net在时间和内存方面的比率分别为和。这表明所提出的方法产生的计算开销可以忽略不计,且由于参数数量增加导致的内存消耗仍在实际部署的可接受范围内。此外,通过比较A1和A2类别,我们观察到即使对于相同分辨率的序列,编码时间也会发生变化,反映了在相同QP设置下不同比特率的影响。表10显示了在AI配置下CPU上的编码(Enc.)时间和内存(Mem.)消耗的比较。
6. 讨论实验结果表明,与固定参数网络相比,所提出的自适应机制在所有帧内、随机访问和低延迟B编码配置以及测试序列中均实现了更优的性能。然而,我们当前的策略无法理论上保证在所有序列和编码设置中都能获得更优的性能,因为学习到的自适应权重有时可能会被全局优化的固定权重所超越。为了确保稳健的性能,未来的一个方向是整合权重融合稳定策略:(1) 可以将来自固定网络的预训练权重整合到我们提出的架构中作为基线。例如,这些权重可以被分配到所提出的自适应网络相应层的任何元素上,并在训练过程中被固定下来,从而确保静态参数设计成为我们自适应框架的一个特例。通过调节自适应权重来启用一个手动控制的权重融合机制,我们可以确保自适应网络的性能至少与传统的固定参数滤波器一样可靠,通常甚至更优越。7. 结论在本文中,我们提出了一种参数自适应的神经内环滤波网络(PAILF-Net),以解决大规模模型的参数适应问题。核心贡献是提出的多尺度参数自适应卷积(MSPAConv)及其扩展——侧信息调制MSPAConv(S-MSPAConv),其中卷积参数被建模为预训练核的线性加权组合,权重由输入依赖的注意力机制估计得出。此外,还结合了梯度图来增强对失真的感知能力。实验表明,我们的自适应机制在几乎不增加计算开销的情况下提高了重建质量。虽然我们当前的研究关注的是在受控架构尺度内的参数适应效率,但未来一个有趣的研究方向是自适应机制与网络深度之间的关系。我们相信这一探索可以进一步揭示我们的方法在不同模型复杂度水平上的可扩展性。未来的工作还将包括开发自适应策略来更有效地控制并行核的数量,并将该框架扩展到小规模模型。