STAC:一种具有自适应上下文的时空变压器,用于视频压缩 作者:Reka Sandaruwan Gallena Watthage 和 Anil Fernando

《Applied Sciences》:STAC: A Spatio-Temporal Transformer with Adaptive Context for Video Compression Reka Sandaruwan Gallena Watthage and Anil Fernando

【字体: 大 中 小 】 时间:2026年05月07日 来源:Applied Sciences 2.5

编辑推荐:

  摘要 随着视频内容开发的迅速增长,需要比传统方法更有效的压缩解决方案。尽管神经视频压缩取得了令人印象深刻的进展,但目前的方法在有效建模长距离时间依赖性和应对不同内容属性方面仍存在困难。我们引入了STAC(时空自适应上下文),这是一种基于Transforme

  摘要 随着视频内容开发的迅速增长,需要比传统方法更有效的压缩解决方案。尽管神经视频压缩取得了令人印象深刻的进展,但目前的方法在有效建模长距离时间依赖性和应对不同内容属性方面仍存在困难。我们引入了STAC(时空自适应上下文),这是一种基于Transformer的神经视频压缩方案,它克服了这些限制,并做出了三项原创性贡献。首先,自适应上下文选择器(ACS)根据学习到的相关性评分动态评估和选择最具信息量的参考帧,而不是使用传统的预定相邻帧集。其次,增强滑动窗口注意力(ESWA)通过将可学习的局部偏置和时间门控信息整合到计算可调的注意力模型中,有效地建模了时空相关性。第三,双路径熵模型是一种自适应学习的融合门,它结合了通道级的自回归预测和时空预测,以产生更好的熵编码概率估计。该模型在Vimeo-90k数据集上使用Adam优化器经过四阶段训练,总步骤约为220万个。我们使用六个基准视频(如UVG、MCL-JCV以及HEVC Class B、C、D和E)在不同测试设置下测试了STAC。实验结果表明,STAC在YUV颜色空间中平均节省了32.20%的比特率(BD-rate),并且帧内平均值(intra-period)为-1。在PSNR和MS-SSIM指标上的一致性改进证实,STAC的编码优势源于真正改进的概率建模,而不仅仅是针对特定指标的优化。评估是在六个标准基准(UVG、MCL-JCV以及HEVC Class B、C、D和E)下进行的,共24种实验配置(六个数据集×2种帧内设置),所有方法都在相同条件下使用相同的序列、帧(每个序列96帧)和VTM-17.0锚定编解码器进行测试。在YUV颜色空间中,STAC的平均比特率节省率为32.20%,帧内平均值为-1,比之前的最先进DCMVC高出2.70个百分点。在帧内平均值为32的情况下,STAC的比特率节省率为-27.01%,而DCMVC的比特率节省率为-6.42%。这些结果也适用于RGB颜色空间(-31.23%),并且从240p(-35.19%)扩展到了4K(-36.35%)。

1. 引言 视频数据现在已成为全球互联网流量最大的类别,最近的行业分析估计视频占所有消费者IP流量的大约82%,并且过去五年来全球互联网流量以超过20%的复合年增长率增长。流媒体平台的普及、社交媒体上的用户生成内容、实时视频会议、云计算游戏以及包括360度视频和体积内容在内的新兴沉浸式媒体格式,给压缩流程带来了巨大压力,要求以更低的比特率提供越来越高的视觉质量。这一需求还因向更高空间分辨率的过渡而加剧,从1080p全高清进步到4K超高清,现在则是8K,同时采用高动态范围(HDR)和广色域(WCG)内容,所有这些都大幅增加了必须传输或存储的原始数据量。在这种情况下,视频编解码器的效率不仅仅是技术问题;它是一个经济和基础设施方面的关键因素,直接影响到网络供应成本、数据中心的能耗以及向全球数十亿最终用户提供的体验质量。标准视频编码的发展遵循了一条渐进的、基于块的精细化轨迹。2003年推出的H.264/AVC确立了基于块的 motion estimation 和补偿、离散余弦变换(DCT)残差编码以及上下文自适应熵编码的主导混合编码范式,至今仍是最广泛使用的编解码器之一。其继任者H.265/HEVC在2013年完成,引入了灵活的四叉树块划分、先进的帧内预测模式和样本自适应偏移滤波,实现了比H.264低约50%的比特率,同时保持相当的感知质量。最近,由联合视频专家团队(JVET)在2020年7月完成的H.266/多功能视频编码(VVC),通过四叉树加多类型树(QTMT)划分、仿射运动模型和几何划分、跨分量预测等改进,进一步降低了40-50%的比特率。然而,每一代新标准的编码复杂性都显著增加;VTM作为VVC的参考软件,其编码时间比HEVC的HM参考编码器高出一个数量级。更根本的是,这些编解码器的手动设计、模块化架构存在固有的局限性:每个组件(如运动估计器、变换器、量化和熵编码器)都是相对独立设计和优化的,这阻碍了朝着统一的速率失真目标进行全局优化,并限制了系统根据局部内容特征调整编码策略的能力。这些传统混合编码范式的根本局限性促使神经视频压缩(NVC)作为一种有吸引力的替代方案出现。深度神经网络提供了三个难以在手动设计框架内复制的结构优势。首先,端到端可微分训练使得所有编码组件(从分析和合成变换到运动建模再到熵编码)能够联合优化,以实现单一的速率失真(或速率失真-感知)损失函数,确保每个模块协同工作以最大化整体编码效率。其次,深度网络的强大非线性表示能力使它们能够学习内容自适应的变换和概率模型,远远超越了传统编解码器的固定基函数和参数模型。最后,端到端学习的灵活性使得它们能够快速适应新的内容领域、质量指标或部署限制,例如通过将失真项从均方误差(MSE)更改为感知指标(如多尺度结构相似性(MS-SSIM)或学习到的感知损失),而无需重新设计整个流程。神经压缩的基础是在静态图像编码领域奠定的。Ballé等人[7]提出了第一个基于非线性变换编码的端到端优化图像压缩框架,使用卷积神经网络进行分析和合成变换,并结合了一个分解的熵模型,其速率失真性能超过了JPEG和JPEG 2000。随后引入的基于超先验的熵模型[8]是一个关键进展,因为它使编码器能够以侧信息的形式传输潜在统计的紧凑摘要,从而捕获空间依赖性并显著改进了算术编码的概率估计。Cheng等人[9]进一步改进了这一方法,提出了离散高斯混合模型(GMM)和注意力模块,实现了首个在PSNR指标下与VVC帧内编码性能相匹配的学习型图像编解码器,这一结果后来得到了JPEG AI标准化工作的验证和扩展[10]。这些静态图像压缩的结果明确表明,学习方法可以达到甚至超越最先进的精心设计的帧内编码工具的压缩效率,为神经视频压缩奠定了坚实的基础。从图像到视频的扩展引入了时间冗余利用的核心挑战。Lu等人的开创性工作[11]提出了DVC,这是第一个端到端的深度视频压缩框架,它采用了光流估计的经典预测编码结构,然后用可学习的网络替换了每个组件。这确立了NVC的主导范式,但也暴露了其局限性:显式的运动估计和像素域残差减法从根本上来说是不理想的,因为简单的线性差分操作无法完全捕捉自然视频中存在的复杂非线性帧间冗余。后续的工作解决了这一问题的各个方面。Sheng等人[12]最近在多模态特征融合方面的研究表明,结合空间、频率和光流特征可以为理解视频内容提供互补信息,这一原则与我们的双路径熵模型结合通道级和时空预测路径的概念是一致的。Agustsson等人[13]引入了尺度空间流来更优雅地处理遮挡和快速运动,通过增加尺度参数增强了光流。Hu等人[14]提出了FVC,将所有主要操作(运动估计、压缩和补偿)重新定位到学习到的特征空间中,显示出来自特征域处理的显著改进。Habibian等人[15]探索了一个完全不同的方向,使用3D自回归自动编码器在离散潜空间上进行操作,完全绕过了显式的运动建模,表明生成模型可以有效地捕获时空冗余。这些多样化的架构探索强调了一个日益增长的共识,即最有前途的方向不在于细化预测编码流程的各个模块,而在于重新思考帧间编码范式本身。随着条件编码的引入,发生了转折性的变化,它用特征域上下文条件替换了传统的残差信号。Li等人[16]提出了DCVC,这是第一个深度上下文视频压缩框架,认为特征域上下文对编码器和解码器都携带了比像素域残差更丰富的信息,并显著提高了编码效率。这一工作发展迅速:DCVC-DC[17]引入了分层质量结构和基于组的偏移多样性;DCVC-FM[18]通过特征调制具有可变速率操作的实际需求,使得单一模型能够覆盖11.4 dB的PSNR范围;最近,DCMVC[19]通过面向流的方向性时间和上下文调制实现了最先进的结果,平均比特率节省了22.7%。与此同时,Sheng等人[20]通过传播重建帧和预重建特征推进了时间上下文挖掘,Qi等人[21]证明运动编码和帧编码之间的双向信息流可以进一步节省12.9%的比特率。Jiang等人[22]最近提出了ECVC,它利用了多个参考帧之间的非局部相关性,以及部分级联微调策略来减轻误差积累,比DCVC-FM额外节省了10-11%的比特率。除了这些时间建模方面的进展外,熵模型的准确性已成为压缩效率最重要的决定因素。熵模型控制着算术编码中使用的概率估计;任何概率预测的改进都直接且可衡量地转化为比特率的节省。Li等人[23]提出了混合时空熵模型,该模型同时捕获了帧内空间和帧间时间相关性,并结合了内容自适应量化进行动态比特分配,在UVG数据集上实现了18.2%的平均比特率节省。Qian等人[24]提出了Entroformer,这是一种基于Transformer的熵模型,用于学习型图像压缩,具有top-K自注意力和钻石形相对位置编码,证明了Transformer可以克服卷积熵模型有限的感受野,更有效地捕获长距离空间依赖性。Transformer架构最初是为自然语言处理开发的[25,26],随后通过Vision Transformer (ViT)[27]和Swin Transformer[28]等模型适应于计算机视觉,特别适合视频压缩,因为其自注意力机制可以建模任意空间和时间距离上的依赖性,使其非常适合利用视频序列中固有的长距离相关性[29,30]。在视频压缩的具体背景下,Mentzer等人[31]提出了视频压缩Transformer(VCT),这一里程碑式的工作表明,直接在帧表示上操作的Transformer可以在不进行任何显式运动预测或变形的情况下实现具有竞争力的压缩性能,从而大大简化了神经视频编解码器架构。然而,VCT依赖于基于补丁的处理,引入了两个重要的架构缺陷,如Kopte和Kaup[32]所分析的:由补丁边界引起的非均匀感受野,以及时间自回归建模所需的计算冗余重叠窗口。Kopte和Kaup通过3D滑动窗口注意力(SWA)解决了这些问题,这是一种无补丁的局部注意力机制,提供了均匀的感受野,并将解码器的整体复杂性降低了2.8倍,同时实现了比VCT高出18.6%的比特率节省。Zhu等人[33]进一步证明,基于Swin Transformer的非线性变换可以比卷积变换实现更好的压缩效率,参数更少且解码速度更快。Yang等人[34]通过深度生成建模的视角提供了统一的视角,提出了改进的时间自回归变换和具有时间依赖性的结构化熵模型。尽管有这些令人鼓舞的进展,但根本性的挑战仍然存在。现有方法仍然难以在利用长时序依赖性进行精确概率估计与保持计算效率的模型之间取得平衡,同时在长预测链中管理误差传播,特别是在周期内约束条件下,以及根据自然视频内容的广泛变化的时间动态调整参考帧选择[35,36,37]。上述分析揭示了一个精确的知识缺口:没有现有的神经视频编码器能够同时解决(i)内容自适应的时间参考帧选择,(ii)具有学习到的时空调节的均匀感受域注意力,以及(iii)多路径概率估计与混合似然。这引出了以下研究问题:一个统一的基于变压器的框架,能够整合自适应参考帧选择、带有学习偏置和门控的增强滑动窗口注意力,以及双路径高斯混合熵模型,是否能够在不同的视频内容、色彩空间和周期内配置中实现最先进的码率失真性能,同时保持计算效率?我们假设这三个组件解决了编码效率的互补性问题,当结合使用时将产生几乎叠加的BD率改进。为了解决这些开放性挑战,我们引入了STAC(时空自适应上下文),这是一个基于变压器的神经视频压缩框架,它对该领域做出了三个主要贡献。第一个贡献是自适应上下文选择器(ACS),这是一个学习模块,它根据内容相关的评分动态评估并从先前编码的潜变量缓冲区中选择最具信息量的参考帧。与那些严格依赖于固定的一组相邻帧的现有方法不同,ACS通过一个带有Sigmoid激活的轻量级神经网络为每个候选参考帧计算相关性评分,然后选择与当前帧互信息最大的前K个参考帧。这种内容自适应的选择对于具有复杂运动模式、场景过渡或周期性内容的序列特别有益,其中时间上相隔较远的帧可能提供更好的预测信息。第二个贡献是增强滑动窗口注意力(ESWA)机制,它是STAC熵模型的核心。ESWA扩展了标准的滑动窗口注意力,增加了两个新组件:一个可学习的局部偏差矩阵,用于捕捉时空邻域内的细粒度相对位置偏好,以及一个具有时间衰减的学习门控机制,该机制根据时空距离自适应地调节注意力权重。这种设计实现了高的复杂性,使得它能够处理高分辨率视频,同时保留了在统一注意力框架内建模局部纹理相关性和中距离时间依赖性的能力。关键的是,ESWA消除了基于块的文章(如VCT)中固有的非均匀感受域和冗余的重叠计算。第三个贡献是一个双路径熵模型,它通过一个自适应学习的融合门将通道自回归预测路径与时空预测路径结合起来,其门控权重基于路径特定特征和每个路径的估计比特成本。这种架构使熵模型能够捕捉互补的统计依赖性:自回归路径模型顺序通道相关性,而时空路径捕捉自回归分解将错过的跨通道和跨帧相关性。融合后的概率估计用来参数化一个具有多个组件的高斯混合模型,用于神经算术编码,从而产生更紧密的概率估计和更短的码字长度。在架构上,STAC采用了一个编码器-解码器框架,该框架具有多尺度特征转换,包括四个带有广义除法规范化(GDN)激活的步进卷积层,产生1/2×、1/4×、1/8×和1/16×空间尺度的分层潜在表示。最细尺度的潜在表示被量化,并由ACS处理以从解码后的潜在缓冲区中选择前K个参考帧。选定的时间上下文,以及当前帧的潜在信息和超先验侧信息流,被输入到STAC熵模型中,这是一个堆叠的20个变压器块,其中包含ESWA,它预测用于算术编码的高斯混合分布参数(μ, λ, φ),以及潜在残差预测(LRP)细化偏移量(θ),这些参数可以适应性地校正量化后的潜在值,而不会增加额外的比特率。解码器复制这一过程:它应用相同的概率模型通过范围ANS解码从比特流中恢复潜在值,应用LRP细化,并通过转置卷积层生成重建的帧。并行的棋盘式分解和四组通道并行化使得解码速度比顺序处理快8倍。STAC相对于现有方法解决的三个具体差距如下:(i)所有先前的方法(DVC、DCVC-DC、DCVC-FM、DCMVC)都使用固定的参考帧选择策略,而STAC是第一个提出通过ACS进行学习的内容相关参考帧选择的;(ii)VCT的基于块的注意力创建了非均匀的感受域,而STAC的ESWA提供了具有学习到的局部偏置和时间门控的均匀感受域;(iii)所有先前的方法都使用单路径熵估计,而STAC是第一个提出具有自适应比特成本条件门控的双路径融合的。每一个差距现在都明确地与解决它的STAC组件相关联。我们在六个标准基准数据集上全面评估了STAC:UVG [38]、MCL-JCV [39] 和 HEVC 类 B、C、D 和 E,在 YUV 4:2:0 和 RGB 色彩空间下,以及两种周期内配置(IP = ?1 和 IP = 32)下进行测试。STAC 在 YUV IP = ?1 下相对于 VTM 实现了平均 32.20% 的 BD 率节省,比之前的最先进方法 DCMVC 高出 2.70 个百分点。在更具挑战性的 IP = 32 配置下,STAC 实现了 ?27.01% 的节省,仅下降了 5.19 个百分点,而 DCMVC 则下降了 6.42 个百分点,这证实了 ESWA 的自适应上下文窗口对周期性 I 帧插入引入的时间不连续性的鲁棒性。性能泛化到了 RGB 色彩空间(?31.23%,IP = ?1),并且从低分辨率(HEVC D,240p:?35.19%)到超高分辨率内容(UVG,4K:?36.35%)都保持一致。本文的其余部分组织如下。第 2 节详细回顾了神经图像和视频压缩、条件编码、基于变压器的方法、隐式神经表示和感知质量方法的相关工作。第 3 节介绍了所提出的 STAC 框架,包括系统架构、自适应上下文选择器、ESWA 机制、双路径熵模型、神经算术编码流程和训练方法。第 4 节详细说明了实验设置、基准数据集、评估指标以及与最先进方法的全面比较。第 5 节对实验结果进行了批判性讨论,分析了各个架构组件的贡献以及观察到的性能提升背后的技术机制。最后,第 6 节总结了本文 并指出了未来研究的方向。2. 相关工作本节全面回顾了神经视频压缩的研究现状。我们将讨论组织成六个主题子部分:基础神经图像压缩、早期预测神经视频编码器、条件编码的范式转变、基于变压器的架构、隐式神经表示和具有计算效率的感知质量。对于每个主题,我们追溯了关键思想的时间发展,确定了激发后续工作的技术限制,并将 STAC 的贡献置于这一更广泛的背景中。图 1 提供了主要研究方向的分类概述,表 1 提供了代表性方法在关键架构和性能维度上的结构化比较。图 1. 神经视频压缩研究的分类概述。该领域分为四个主要范式:预测(基于残差的)编码、条件(基于上下文的)编码、基于变压器的架构,以及包括隐式神经表示和感知编码器在内的替代范式。我们提出的 STAC 框架(用红色突出显示)将自适应时间上下文选择与基于变压器的熵建模结合起来,跨越了条件编码和基于变压器的分支。表 1. 代表性神经视频压缩方法的比较总结。BD 率值是在 YUV 色彩空间下 IP = ?1 时相对于 VTM 的报告值。“—” 表示结果在原始论文中没有报告或无法直接比较。2.1. 神经图像压缩的基础在最近兴趣激增之前,学习压缩的理论基础就已经建立起来。神经网络在 1990 年代首次被应用于数据压缩 [40],但那个时代的有限容量和训练方法阻碍了竞争性能。现代神经压缩时代始于 Ballé 等人的开创性工作 [7],他们提出了第一个端到端优化的基于非线性变换编码的图像压缩框架。他们的系统采用了卷积神经网络进行分析和(编码器)以及合成(解码器)变换,结合了一个分解的熵模型和连续的量化放松,使得整个流程能够基于梯度进行训练。这项工作是基础性的,因为它证明了单个、联合优化的系统可以超越几十年前的 JPEG 标准,并接近 JPEG 2000 的性能,尽管没有任何手工设计的编码工具。Ballé 等人 [8] 引入的基于超先验的熵模型是一个关键的后续进展。超先验框架增加了第二个更粗糙的潜在变量,用于捕获主要潜变量的空间统计信息。这种侧信息被传输到解码器,使熵模型能够根据每个图像区域的局部内容特性调整其概率估计。超先验减少了分解模型假设的元素独立性与潜在空间中实际存在的空间相关性之间的差距,从而实现了显著的比特率节省。Cheng 等人 [9] 进一步发展了这一思路,他们用离散的高斯混合模型(GMM)替换了单一高斯似然,并将注意力模块结合到变换和超先验网络中。他们的系统实现了与 VVC 内部编码在 PSNR 指标下的码率失真性能相匹配的里程碑结果,首次证明了学习到的图像编码器可以与最先进的手工设计标准竞争。JPEG AI 标准化工作 [10] 从此采用了神经压缩原理,进一步验证了这些技术的成熟度和实际可行性。这些基础图像压缩结果直接关系到视频编码,因为任何视频编码器中的帧内编码路径本质上都是一个图像压缩问题,而为图像开发的熵建模技术,包括超先验和 GMM 似然,构成了神经视频编码器中概率估计机制的基础。2.2. 早期神经视频压缩:预测编码将学习到的压缩从静态图像扩展到视频序列需要解决时间冗余的基本挑战。第一个端到端的深度视频压缩器 DVC 是由 Lu 等人 [11] 提出的。DVC 采用了传统编码器的经典预测编码结构:它使用学习到的流网络估计当前帧和参考帧之间的光流,变形参考帧以生成预测,计算像素域残差,并使用独立的自动编码器风格网络压缩运动矢量和残差。所有组件都端到端地联合训练,以追求码率失真损失,DVC 在 MS-SSIM 指标下的性能与 H.265/HEVC 相当。尽管有这样的鼓舞人心的结果,DVC 也暴露了预测残差编码范式在神经环境中的几个基本限制。对显式光流估计的依赖意味着运动模型仅限于平移运动,无法充分表示旋转、缩放或非刚性运动等复杂变形。此外,使用简单的像素域减法来计算残差是一种线性操作,无法充分利用帧之间的复杂非线性统计依赖性。后续的工作从多个角度解决了这些限制。Lu 等人 [35] 通过提出一种在线编码器更新方案来解决内容适应性和误差传播的关键问题,该方案根据每个测试序列的统计信息调整编码器参数,同时保持解码器固定以保持兼容性。这种方法有效地减少了训练数据和测试数据之间的域差距,并证明了内容自适应处理对于竞争性视频压缩性能至关重要。Agustsson 等人 [13] 提出了尺度空间流,通过在每个流向量中添加一个尺度参数来泛化光流。这使得网络能够模拟运动场中的不确定性:当流估计不可靠时,尺度参数增加,有效地模糊变形的参考帧,从而使残差编码器能够进行补偿。Guo 等人 [41] 引入了一个运动补偿增强网络,作为变形操作后的后处理阶段,减少了预测帧中的伪影,从而打破了降低一组图片质量的误差传播链。随着编码操作从像素域转移到学习到的特征空间,取得了重大进展。Hu 等人 [14] 提出了 FVC,它在学习到的特征空间中完全执行运动估计、运动压缩和运动补偿,使用了变形卷积 [42]。通过处理高维特征图而非原始像素,FVC能够捕捉更丰富的帧间相关性,并补偿那些会使简单变形方法失效的复杂运动模式。此外,FVC还结合了非局部注意力机制用于多帧特征融合,从而能够聚合来自多个先前重建帧的信息。Hu等人[43]进一步提出了一种从粗到细的架构,在多个空间尺度上进行运动操作,利用超先验信息来指导运动编码和残差编码的模式预测。Habibian等人[15]则探索了一个完全不同的方向,他们提出了一个具有离散潜在空间的3D自回归自动编码器,该编码器完全绕过了显式的运动估计过程,而是通过自回归先验来学习模拟时空冗余。这些多样化的方法共同奠定了预测性神经视频编码的研究基础,并突显出一个日益重要的认识:最大的提升不会来自于精细化预测流程的各个组成部分,而是来自于在更基础层面上重新思考帧间编码范式。

2.3 条件编码:从残差到上下文特征
条件编码范式标志着从传统的减法-编码哲学向更具表现力的编码-给定上下文方法的根本转变。这一核心思想最初由Li等人在他们的深度上下文视频压缩(DCVC)框架中提出,他们认为简单的像素域减法是一种次优的去除帧间冗余的方法。DCVC不是从当前帧中减去预测帧来生成残差,而是向编码器和解码器提供高维的特征域上下文作为条件信号。这使得编码器能够根据解码器已有的信息调整其潜在表示,并使解码器在重建当前帧时能够利用丰富的上下文特征。结果是在去除时间冗余方面取得了更好的效果,特别是在高频内容和复杂纹理方面,这些内容用简单的差异信号很难表示。DCVC相比当时的预测性编解码器展现了显著的改进,并开启了一系列富有成效的研究。

Li等人[17]通过DCVC-DC大幅扩展了这一框架,引入了跨帧的层次质量模式和基于组的偏移多样性以增强上下文挖掘能力。层次质量结构为一组图像内的帧分配不同的质量级别,将更多比特集中在关键参考帧上,为依赖帧提供更高 quality 的时间上下文。基于组的偏移多样性利用多个学习的偏移组以及组间的交互作用,使得上下文提取模块能够同时捕获多样化的运动模式。DCVC-DC在比特率上相比之前的最先进NVC方法实现了23.5%的节省,并且值得注意的是,在RGB和YUV色彩空间中都超过了仍在开发中的下一代传统编解码器ECM。

随后,Li等人[18]通过DCVC-FM解决了两个关键的实际问题。首先是可变速率操作:之前的神经视频编解码器需要为每个目标比特率分别训练模型,这在实际应用中并不实用。DCVC-FM引入了可学习的量化缩放器的特征调制,通过精心设计的均匀量化参数采样机制,在训练期间使单个模型能够覆盖11.4 dB的PSNR范围。第二个问题是长预测链下的质量下降:以前的方法在使用较大的帧内间隔设置(例如IP = 32或IP = ?1)时会产生显著的质量损失,因为错误会在多个时间预测帧中累积,而没有I帧提供的周期性重置。DCVC-FM提出了一种周期性更新的时间特征调制机制,缓解了这一问题,在比特率上实现了29.7%的节省,并且MAC减少了16%。最近,Tang等人[19]提出了DCMVC,它引入了以流为导向的上下文生成和上下文补偿,以更有效地调节传播的时间上下文,在比特率上相比VVC实现了平均22.7%的节省。

与此同时,Sheng等人[20]提出了时间上下文挖掘,这种机制不仅传播重建后的帧,还传播重建前的特征表示,为后续帧编码提供了更丰富的时间信息。这种双传播策略使模型能够利用像素级别和特征级别的时间相关性。Qi等人[21]通过运动信息传播引入了运动编码和帧编码之间的双向信息流。传统上,运动编码以单向方式向帧编码提供运动向量。Qi等人证明,将信息从帧编码反馈到运动编码可以创建一个有益的循环,从而增强长距离时间相关性的利用,实现了比之前方法高出12.9%的比特率节省。Jiang等人[22]最近提出了ECVC,它利用多帧间的非局部相关性进行上下文压缩,并引入了一种部分级联的微调策略,支持在计算资源受限的情况下对完整序列进行训练,减少了序列长度的训练-测试不匹配问题。

除了这些时间建模的进步外,熵模型精度也成为决定整体编码效率的关键因素。Li等人[23]引入了混合空间-时间熵建模,该模型在统一的概率估计框架内捕捉了帧内空间相关性和帧间时间依赖性。他们的模型还结合了内容自适应量化,采用了空间变化的步长,实现了动态比特分配,将比特集中在视觉上重要的区域。这种编解码器在UVG数据集上相比VVC实现了18.2%的比特率节省,为神经视频压缩树立了一个里程碑。Qian等人[24]提出了Entroformer,这是一种基于Transformer的熵模型,用于学习图像压缩,采用了top-K自注意力和钻石形相对位置编码。Entroformer表明 Transformer 架构可以克服卷积熵模型固有的感受野限制,更有效地捕捉长距离空间依赖性,这一发现激发了将Transformer应用于视频熵建模的动机。从混合熵模型到基于Transformer的概率估计的研究轨迹为我们的STAC熵模型提供了直接的动力,后者将这些想法扩展到了具有增强滑动窗口注意力和双路径融合的时空领域。

2.4 基于Transformer的视频压缩
Transformer架构最初是为自然语言处理中的序列到序列建模而开发的[25,26],自从Dosovitskiy等人[27]引入视觉Transformer(ViT)以来,它彻底改变了计算机视觉领域。自注意力的核心机制使Transformer能够以复杂的方式建模序列中任意位置之间的依赖性,使其非常适合捕捉长距离的空间和时间相关性。在计算机视觉中,分层变体(如Swin Transformer[28])采用了带有跨窗口连通性的移位窗口局部注意力,证明了Transformer能够在保持图像大小线性复杂性的同时高效处理高分辨率视觉数据。多尺度视觉Transformer(MViT)[29]和视频Transformer网络(VTNs)[30]进一步表明,Transformer能够在视频理解任务中有效建模时间依赖性。这些视觉Transformer的发展为它们在视频压缩中的应用奠定了坚实基础,因为在视频压缩中正是需要建模长距离时空相关性。

Mentzer等人[31]提出了视频压缩Transformer(VCT),这项开创性工作证明了Transformer可以大大简化神经视频压缩过程。VCT首先使用卷积自动编码器将每个输入帧映射到一个潜在表示,然后使用Transformer来建模帧表示之间的依赖性,并预测给定过去帧的未来的潜在概率分布。这消除了对显式运动估计、光流网络和变形操作的需求,从而实现了更清晰、更统一的架构。然而,VCT基于 patches 的处理方式引入了显著的架构限制:每个帧被划分为不重叠的 patches,Transformer在拼接的时间序列 patches 上进行操作。这在 patches 边界处创建了不均匀的感受野,并且需要计算上冗余的重叠窗口来进行时间自回归建模。Kopte和Kaup[32]直接解决了这些缺点,提出了3D滑动窗口注意力(SWA),这是一种无 patches 的局部注意力形式,可以在整个潜在空间提供均匀的感受野。通过实现仅依赖解码器的架构,统一了空间和时间上下文处理,SWA在比特率上相比VCT实现了高达18.6%的节省,同时将解码器总体复杂性降低了2.8倍,熵模型复杂性降低了近3.5倍。值得注意的是,Kopte和Kaup还表明,虽然模型受益于长距离时间上下文,但过多的上下文可能会降低性能,这强调了自适应上下文选择的重要性,这一发现直接推动了我们自适应上下文选择器(ACS)的开发。Zhu等人[33]则表明,基于Swin Transformer的非线性变换在压缩效率上超过了卷积变换,同时需要更少的参数和更短的解码时间,在Kodak数据集上实现了3.68%的比特率提升,在UVG数据集上实现了12.35%的提升。Yang等人[34]从深度生成建模的角度提供了重要的理论视角,提出了改进的时间自回归变换和具有时间依赖性的结构化熵模型,实现了最先进的压缩性能。Dang等人[44]在视频对象分割的背景下探索了用于高效时空处理的并行稀疏内存概念,这与我们的ESWA机制中的滑动窗口方法和时间门控的局部注意力在架构上有相似之处,其时空调制并行性也与我们的棋盘格并行解码策略相连接。

我们提出的STAC框架直接建立在这些基于Transformer的基础上,同时解决了它们的剩余限制。具体来说,STAC结合了Kopte和Kaup的无 patches 滑动窗口方法和两个新颖的扩展:(i) 增强滑动窗口注意力(ESWA),它结合了可学习的局部偏置和时间门控以实现自适应感受野控制;(ii) 自适应上下文选择器(ACS),它动态选择最具信息量的参考帧,而不是依赖于固定的时间窗口。这些创新使STAC在保持局部注意力机制的计算效率的同时,实现了更优的速率失真性能。

2.5 隐式神经表示
隐式神经表示(INR)提供了一种根本不同的视频压缩方法,它通过将整个视频编码为神经网络的权重来实现。与传统的编码-解码流程不同,基于INR的方法在编码过程中使神经网络过度适应视频内容,而解码过程仅仅是网络的前向传播。Chen等人[45]提出了NeRV,它以帧索引作为输入并输出相应的RGB帧。NeRV表明,基于图像的隐式表示相比基于像素的替代方法(例如基于NeRF的方法)效率更高,编码速度提高了25-70倍,解码速度提高了38-132倍,并且表明标准的神经网络压缩技术(剪枝、量化、权重熵编码)可以作为视频压缩的代理。Chen等人[46]提出了HNeRV,它解决了NeRV的一个关键限制:其输入嵌入与内容无关。HNeRV用一个可学习的编码器替换了固定的位置嵌入,生成内容自适应的嵌入,并重新设计了网络架构以确保层间参数分布平衡,使高层能够存储更多高分辨率细节。HNeRV在重建PSNR上相比NeRV提高了4.7 dB,并且收敛速度快了16倍。Kwan等人[47]提出了HiNeRV,它在深度和宽的架构中结合了轻量级深度卷积层和分层位置编码,能够在帧和 patch 粒度上表示视频。通过精细的训练流程、结构化剪枝和量化感知的微调,HiNeRV在UVG数据集上相比HNeRV实现了72.3%的比特率节省,相比DCVC实现了43.4%的节省,表明基于INR的方法可以接近最先进的基于自动编码器的编解码器的性能。

尽管基于INR的方法具有吸引人的特性,尤其是其极快的解码速度(单次前向传播)和对随机访问和时间超分辨率的自然支持,但它们目前面临几个限制,这些限制限制了它们与最佳条件编码方法的竞争能力。编码过程需要为每个视频分别训练一个独立的网络,这在计算上非常昂贵,并且无法在不同内容之间进行摊销。此外,可实现的压缩比率从根本上受到网络权重可压缩性的限制,对于复杂、高分辨率的内容来说,这可能不如潜在变量模型那样具有优势。我们的STAC框架采用了另一种基于自动编码器的方法,它受益于摊销的编码和更成熟的熵建模技术,同时结合了基于Transformer的时间建模,解决了INR方法通过其全局网络结构隐式处理的长期依赖性挑战。

2.6 感知质量优化和计算效率
虽然大多数神经视频压缩研究针对像素保真度指标(如PSNR或MS-SSIM)进行优化,但也有一个平行研究方向专注于感知质量优化和计算效率,这两个维度对于实际应用至关重要。Mentzer等人[48]引入了第一个基于GAN的神经视频压缩系统,该系统使用对抗性训练来合成在低比特率下会丢失的真实高频细节。他们的方法根据从之前变形的重建中提取的潜在信息来条件化生成器,使其既能合成也能在帧间传播纹理细节。用户研究显示,在相同的比特率下,与传统编码器和神经编码器相比,该方法具有显著更高的视觉质量,这突显了感知损失函数对于主观质量的重要性。Ghouse等人[49]提出了DIRAC,它将扩散概率模型应用于编码器增强,通过改变扩散步骤的数量,在测试时实现速率-失真-感知权衡的平滑过渡。Zhu等人[50]结合了基于CNN的空间显著性和基于运动向量的时间显著性来指导HEVC中的比特分配,证明感知引导的压缩可以在不增加比特率的情况下提高主观质量。计算效率对于实际应用同样重要。Rippel等人[51]提出了ELF-VC,它在运行速度至少比其他学习方法快5倍的同时,能够与传统的标准(H.264、H.265、AV1)和神经编码器媲美。Hu和Xu[52]引入了基于复杂度的可调解码器,并配备了跳过自适应的熵编码,支持单一模型内的多种复杂度级别,以适应从边缘设备到云服务器的各种部署场景。Chen等人[53]提出了针对内容自适应的神经视频压缩的组感知参数优化方法,该方法将视频分割成基于补丁的图像组,并将轻量级适配器集成到编码组件中,大幅降低了编码过程中的计算成本。Afonso等人[54]提出了ViSTRA框架,该框架在编码过程中动态调整输入视频的空间和时间分辨率,并在解码器端使用基于CNN的超分辨率模型进行上采样,与HEVC结合使用时可实现15%的BD率提升。Chen等人[37]提出了一种时空自适应压缩方案,能够智能地调整空间分辨率和时间帧率以适应内容需求,证明在深度视频编码框架内可以端到端地有效学习分辨率自适应。Van Thang和Van Bang[55]提出了分层随机访问编码,通过视频帧插值利用双向时间冗余,与基础深度神经模型相比,在UVG数据集上将编码效率提高了大约50%。

我们提出的STAC框架主要针对PSNR和MS-SSIM指标下的速率-失真性能,但其架构设计包含了几项提高效率的元素。ESWA中的滑动窗口注意力机制将全自注意力的二次复杂度降低到较低水平,使得变压器适用于高分辨率视频。并行棋盘格解码和通道组并行化实现了大约8倍的有效解码加速。自适应上下文选择器动态限制了处理的参考帧数量,避免了关注无关时间上下文的计算浪费。这些设计选择反映了这样的认识:实际的神经视频编码器必须在压缩性能和计算可行性之间取得平衡。

2.7. STAC的总结和定位
STAC总结了本节讨论的主要神经视频压缩方法的关键特性,并从多个维度进行了比较:底层编码范式、时间建模机制、熵模型架构、关键创新以及在可用情况下相对于VTM报告的BD率性能。从这种比较中可以看出几个趋势。首先,该领域逐渐从预测性(基于残差的)编码转向条件性(基于上下文的)编码,每一代条件编码器都比其前代取得了显著的进步。其次,熵建模已经从简单的因子化先验发展到空间-时间混合模型,最近则是基于变压器的架构。第三,自适应机制的重要性日益凸显,无论是用于参考帧选择、量化还是比特分配,因为固定策略无法适应自然视频中遇到的广泛内容和运动特性。STAC位于这些趋势的交汇点。它继承了DCVC系列的条件编码范式,VCT开创的基于变压器的熵建模方法,并由ESWA进行了改进,同时也体现了整个领域所倡导的内容自适应原则。它的三个主要创新——自适应上下文选择器、增强了的滑动窗口注意力以及带有高斯混合估计的双路径熵模型——解决了特定的瓶颈问题:固定参考集无法捕捉依赖内容的时间相关性、基于补丁的变压器注意力的架构限制,以及单路径概率估计的次优性。如第4节和第5节所展示的,这些创新在多样化的视频内容、颜色空间和帧内配置中都取得了持续的改进。表1揭示了现有方法未同时解决的三个具体架构缺口:(i) 所有方法都使用固定的参考帧选择;(ii) 唯一的基于变压器的编码器(VCT)存在非均匀的接收场问题,虽然ESWA部分解决了这个问题,但没有自适应门控或学习到的位置偏差;(iii) 所有方法都使用单路径熵估计和单高斯似然。STAC通过ACS、ESWA和双路径GMM熵模型分别解决了这三个缺口。这明确地将我们的贡献定义为填补了三个精确识别的缺口,而不仅仅是简单地结合现有思想。

3. 提出的方法论
本节介绍了所提出的STAC神经视频压缩框架。我们首先概述了系统架构,然后详细描述了每个组件、完整的编码和解码数据流以及训练方法。

3.1. 系统概述
所提出的框架采用以基于变压器的熵模型为核心的编码器-解码器架构。如图2所示,编码器将输入视频帧转换为紧凑的潜在表示,然后使用预测的概率分布对其进行量化和熵编码。解码器逆转这一过程以重建视频帧。关键创新在于我们的自适应时间上下文选择机制和用于高效时空建模的增强型滑动窗口注意力。

3.2. 多速率特征转换
特征转换模块将输入的RGB帧转换为多个空间尺度上的层次化潜在表示[13]。给定一个输入帧,我们应用一系列步长卷积逐渐降低空间分辨率,同时提取语义特征:

3.3. 自适应上下文选择器
与依赖紧接前一个帧的固定时间上下文的现有方法不同,我们提出了一个自适应上下文选择器(ACS),它动态地识别每个目标帧最相关的参考帧。这对于具有复杂运动模式、场景变化或周期性内容的场景特别有益,在这些情况下,非相邻帧可能提供更好的预测信息。ACS作用于量化的潜在表示。给定当前帧的潜在表示和一系列过去的帧潜在表示,我们通过一个轻量级的神经网络计算相关性分数:

3.4. STAC熵模型
STAC熵模型是负责准确估计量化潜在表示的概率的核心组件。它包括一个初始处理阶段、一个带有ESWA的变压器块堆栈以及分布预测头。

3.4.1. 初始处理
量化的潜在表示首先通过位置嵌入进行增强并规范化:

3.4.2. 增强型滑动窗口注意力(ESWA)
标准自注意力相对于序列长度具有二次复杂性,因此不适用于高分辨率视频。我们提出了ESWA,它将注意力限制在局部窗口内,同时结合了学习到的门控机制以实现自适应的接收场控制。给定输入令牌,标准注意力计算:

3.4.3. 变压器块架构
STAC熵模型由20个变压器块组成(如图3所示),每个块都遵循预规范化结构:

3.4.4. 分布预测头
最终的变压器输出由三个独立的预测头处理:均值预测器:一个线性层,用于预测高斯分布的均值;尺度预测器:一个带有softplus激活的线性层,用于预测尺度σ;潜在残差预测器(LRP):一个小型CNN,用于预测细化偏移量;熵编码的概率分布被建模为高斯混合模型(GMM)。

3.5. 双路径熵建模
为了有效地捕捉通道间和空间相关性,我们采用了双路径熵建模策略,融合了来自两条互补路径的预测。

3.6. 神经算术编码
我们提出了一种完全基于神经网络的算术编码方案(图4),该方案利用学习到的概率分布实现接近最优的压缩效率。图4显示了分层上下文建模、通过STAC熵模型进行的高斯混合概率估计以及基于CDF的ANS编码,以及独立的训练和推理路径。

3.6.1. 神经概率估计
给定量化的潜在表示和来自我们STAC熵模型的预测概率分布,编码器通过三个阶段将其压缩为紧凑的比特流:神经概率估计、CDF构建和不对称数字系统(ANS)编码。与传统具有固定概率表的熵编码器不同,我们的方法直接从数据中学习内容自适应的分布[5,7]。遵循带有高斯混合似然的超先验框架[8],我们将每个潜在元素的概率建模为:

3.6.2. 分层上下文建模
我们的熵模型采用分层上下文,结合了超先验、时间和空间信息:

3.6.3. ANS编码
对于算术编码,我们将PMF转换为累积分布函数:

3.6.4. 并行熵编码
为了加速处理,我们采用了并行编码策略[17,23]。棋盘格并行化将空间维度分解为两个独立的部分:首先使用超先验和时间上下文进行编码,然后再使用来自已解码帧的额外空间上下文进行编码,实现了大约2倍的加速。此外,通道维度被划分为G个独立的组,以实现并行处理。3.6.5. 可微分速率估计在训练过程中,速率被估计为负对数似然:(19) 对于可微分优化,量化被替换为加性均匀噪声[7],从而实现了整个流程的基于梯度的训练。内容自适应的量化步长也被预测出来,以实现动态比特分配[18]。3.7. 并行棋盘式解码为了加速解码,我们采用了并行棋盘式模式,允许一半的潜在元素同时解码。解码过程分为两个阶段:偶数位置:仅使用参考帧的信息解码对应位置的元素;奇数位置:使用参考帧和新解码的偶数位置元素解码对应位置的元素。这种方法将顺序解码步骤的数量减少了大约一半,同时保持了因果依赖性。3.8. 数据流 3.8.1. 编码过程帧内编码(I帧)和预测帧(P帧)的编码过程不同:I帧编码(帧0):1. 应用特征变换以获得;2. 量化;3. 使用图像熵模型进行编码(无时间上下文);4. 将存储在参考缓冲区中。P帧编码(帧):1. 应用特征变换以获得;2. 量化;3. ACS:计算所有缓冲帧的相关性得分;4. 根据得分选择前K个参考帧;5. STAC:使用多头注意力预测分布;6. 双路径熵预测以进行精细的概率估计;7. 使用预测分布进行算术编码;8. 使用更新参考缓冲区。3.8.2. 解码过程1. 接收压缩比特流。2. I帧解码:使用图像熵模型进行解码;应用LRP精细化;逆特征变换重建帧。3. P帧解码(帧n):对先前重建的潜在元素运行ACS(确定性的,与编码器匹配);获取与编码器相同的参考选择;STAC预测相同的分布;算术解码器重建;应用LRP精细化;通过转置卷积进行逆特征变换;可选地使用并行棋盘式解码以加速。3.9. 训练方法 3.9.1. 损失函数总训练损失包括四个组成部分:速率损失:衡量编码的预期比特成本:(20) 失真损失:使用MSE或MS-SSIM衡量重建质量:(21) 其中是控制速率-失真权衡的拉格朗日乘数。上下文选择正则化:鼓励稀疏的参考选择:(22) 其中是控制ACS相关性得分稀疏性正则化强度的权重超参数。平衡损失:鼓励双路径预测之间的一致性:(23) 其中是控制通道级和时空熵路径之间平衡损失强度的权重超参数。总损失为:(24) 3.9.2. 训练计划我们采用四阶段训练课程以确保稳定收敛:阶段1(1 M步):仅使用固定上下文训练特征变换(最后2帧)。禁用ACS和双路径模块。阶段2(500 k步):冻结特征变换并使用固定上下文训练STAC熵模型。启用双路径熵建模。阶段3(500 k步):解锁所有模块并启用ACS进行联合优化。从简单示例(短GOPs)开始,逐渐增加难度。阶段4(200 k步):启用棋盘式解码微调完整模型。可选地添加感知损失以提高视觉质量。3.9.3. 实现细节训练使用Adam优化器进行,初始学习率为,当验证损失停滞50 k步时,学习率减半,最小学习率为。当验证损失连续100 k步没有改善时终止训练(提前停止标准)。批量大小为8,使用来自训练视频的256 × 256随机裁剪。训练期间GOP大小设置为32帧。数据增强包括随机水平翻转和时间反转。该模型在Vimeo-90k数据集[56]上进行训练,并在标准基准测试上进行评估,包括UVG [38]、HEVC B类、C类、D类和E类以及MCL-JCV [39]。该框架在PyTorch 2.0中实现,使用CompressAI库进行熵编码实用程序。完整的四阶段训练计划大约需要4 × A100 GPU 14天的时间(阶段1:约5天,阶段2:约3天,阶段3:约4天,阶段4:约2天)。可训练参数的总数为78.3 M,其中20块STAC变换器熵模型为52.1 M,编码器和解码器特征变换为14.8 M,超先验网络为8.2 M,ACS模块为3.2 M。在单个A100 GPU上进行推理时,编码1080p帧需要2.84 TFLOPs和189毫秒,而使用并行棋盘式解码和通道组分解解码则需要每帧142毫秒,消耗8.6 GB的峰值GPU内存。为四个速率点训练了四个独立的模型,PSNR范围大约为12 dB(从约30 dB到约42 dB),均采用MSE优化模型。3.10. 计算复杂性分析虽然前面的章节已经证明了STAC的速率-失真优势,但实际部署需要清楚了解涉及的计算成本。在本小节中,我们提供了基于单个NVIDIA A100 GPU对1080p输入序列的实际测量结果,对STAC与所有评估方法的计算复杂性进行了定量比较。表2总结了五个方面的结果:总的可训练参数、每帧的浮点运算编码计算成本、每帧的解码延迟(包括STAC的并行棋盘式和通道组分解)、推理期间的峰值GPU内存消耗,以及在YUV IP = ?1的条件下相应的BD-rate性能。表2. 神经视频压缩方法的计算复杂性比较。所有测量都是在单个NVIDIA A100 GPU上对1080p输入序列进行的。编码FLOPs按帧计算。解码延迟包括所有后处理(LRP、逆变换)。STAC解码使用并行分解(棋盘式+4组通道)。BD-rate值是在YUV IP = 的六种基准测试下的平均值。从表2中可以得出几个关于STAC的复杂性-性能权衡的观察结果。首先,STAC的78.3 M参数和2.84 TFLOPs编码成本显著高于DCVC系列(35.8–42.1 M, 1.45–1.92 T),反映了20块变换器熵模型的计算开销与卷积熵模型相比。然而,这个成本明显低于VCT(95.2 M, 3.71 T),VCT是唯一其他基于变换器的视频编解码器:STAC的参数减少了18%,编码FLOPs减少了23%,同时实现了48.90个百分点的更好BD-rate(?32.20%对比+16.70%)。与VCT相比的这种有利比较表明,ESWA的滑动窗口设计不仅更有效,而且比VCT基于补丁的全局注意力更加高效。其次,STAC的解码延迟为每帧142毫秒,虽然高于DCVC系列(76–98毫秒),但这是通过并行分解实现的;如果没有并行化,顺序解码延迟大约为毫秒,这突出了第3.7节中描述的棋盘式和通道组并行化的实际重要性。相比之下,VCT的解码延迟为287毫秒,是STAC的2.0倍,尽管其压缩性能要差得多,这证实了滑动窗口方法在计算和速率-失真方面都优于基于补丁的注意力。第三,8.6 GB的峰值GPU内存消耗使STAC适用于当前的专业GPU(A100:80 GB,RTX 4090:24 GB),但超过了移动和嵌入式GPU的内存预算,后者通常提供4–8 GB的内存。这使STAC适用于基于云的转码和服务器端编码应用,而边缘部署则需要模型压缩技术,如第5.7节中讨论的结构化剪枝和知识蒸馏策略。最后,方法之间的复杂性和压缩性能之间的关系揭示了一个清晰的趋势:表现最好的方法(DCMVC、STAC)需要更多的计算资源,但每单位额外计算的压缩增益差异很大。STAC在参数增加86%、FLOPs增加48%的情况下,比DCMVC提高了2.70个百分点的性能,而VCT的性能则比STAC差36.32个百分点,参数增加了22%,FLOPs增加了31%。这种比较表明,STAC的架构创新,特别是滑动窗口设计和自适应上下文选择,每FLOP提供了显著更好的压缩效果。4. 实验结果本节对提出的STAC(时空自适应上下文)神经视频压缩框架进行了全面的实验评估。评估旨在解决三个基本问题:(i) STAC是否在速率-失真性能上优于当前的最新神经和传统视频编解码器?(ii) STAC在多种内容特征、空间分辨率、色彩空间和帧内配置下的性能有多稳健?(iii) 哪些架构组件对观察到的编码增益贡献最大?我们首先描述了基准数据集及其特征,然后详细介绍了测试条件和评估指标,最后在24种实验配置(六个数据集×2种色彩空间×2种帧内设置)中对五种最新方法进行了彻底的比较分析。选择这种评估矩阵的广度是为了确保报告的性能增益不是由于数据集选择或特定操作条件的优越性,而是反映了压缩模型本身的真正系统改进。据我们所知,这是近期神经视频压缩文献中报道的最全面的评估框架之一,涵盖了从低分辨率视频会议到超高清电影内容的全部内容类型。我们在六个广泛使用的基准数据集上评估了我们提出的方法,这些数据集共同覆盖了广泛的内容特征、空间分辨率和时间复杂性:UVG数据集[38]:Ultra Video Group数据集包含16个多功能的4K(3840 × 2160)测试序列,每秒捕获50或120帧。这些序列涵盖了多样的内容类别,包括自然室外场景、快节奏动作和详细纹理,使得该数据集对于评估高分辨率内容在不同空间和时间复杂性下的压缩性能特别有价值。4K分辨率对熵模型捕捉长距离空间相关性的能力提出了重大要求,高帧率考验了编解码器的时间建模能力。MCL-JCV数据集[39]:MCL-JCV数据集是一个基于刚好可察觉差异(JND)的视频质量评估数据集,包含30个涵盖多样化内容类别的源视频。这些序列涵盖了广泛的空间和时间信息指数,从相对静态的场景到具有复杂相机运动的的高运动序列。这种多样性使MCL-JCV成为评估压缩方法在不同内容之间的通用性的优秀基准。HEVC通用测试条件:我们采用了Joint Collaborative Team on Video Coding(JCT-VC)定义的四个标准的HEVC测试序列,这些序列代表不同的应用场景。这些序列是视频压缩社区中最常用的基准,能够直接与之前在这些数据集上报告的大量工作成果进行比较。B类(1920 × 1080)包含五个高清序列(BQTerrace、BasketballDrive、Cactus、Kimono、ParkScene),具有从快速运动动作到详细室外场景的复杂运动,代表了广播电视和高级流媒体应用。这个类别中的运动类型多样性,从BasketballDrive中的快速不可预测的球轨迹到Cactus中的缓慢全局平移,考验了编解码器处理单一内容类别内异构时间动态的能力。C类(832 × 480)提供了四个中等分辨率的序列(BasketballDrill、BQMall、PartyScene、RaceHorsesC),具有中等的空间和时间复杂性,典型的标准-definition电视和低带宽流媒体。D类(416 × 240)包含四个低分辨率序列(BasketballPass、BlowingBubbles、BQSquare、RaceHorses),这些序列测试了编解码器在空间信息严重受限且时间建模成为压缩主导因素时的高效运行能力;在这个分辨率下,1/16倍缩放的潜在表示只有26 × 15个元素,对熵模型从非常稀疏的空间上下文中估计概率的能力提出了极端要求。E类(1280 × 720)包含三个视频会议序列(FourPeople、Johnny、KristenAndSara),其特征是相对静态的背景、局部的面部动作和头部及肩部的构图,代表了实时通信应用中一个实际重要的用例,其中背景在许多帧中几乎相同,但前景表现出细微的、语义上有意义的变化。4.1. 测试条件和指标我们在全面的测试配置下评估所有方法,以确保公平和可重复的比较。实验在YUV 4:2:0和RGB色彩空间中进行,反映了视频压缩研究中使用的两种主要表示方法。YUV 4:2:0色彩空间是广播和流媒体应用的标准表示方法,通过2×色度子采样利用了人类视觉系统对色度细节的较低敏感性。RGB色彩空间虽然由于通道间相关性较高而在压缩效率上较低,但对于需要直接进行像素域处理的应用(如计算机视觉流程、图形渲染和高保真存档)来说变得越来越重要。使用了两种帧内编码(Intra-frame)设置。IP = ?1的配置在序列开头使用一个I帧,随后仅使用P帧,这代表了时间压缩的最优情况,因为模型可以在整个序列中构建和维持时间上下文,而无需定期重置。IP = 32的配置每32帧插入一个I帧,从而产生周期性的时间不连续性,这会干扰上下文的传递,并测试编码器在每次帧内刷新后快速恢复的能力。这种配置更符合实际部署场景,因为在这些场景中随机访问、通道切换和错误容忍度要求需要定期插入帧内帧。这两种设置之间的性能差距直接反映了编码器对时间上下文中断的容忍度以及其根据可用时间上下文调整编码策略的能力。

所有序列都使用96帧,提供了足够长的时间跨度来评估稳态压缩行为,同时保持全面基准测试的可行性。选择96帧可以确保在IP = 32设置下每个序列至少包含三个完整的GOP(Group of Pictures),从而能够评估每次I帧后的瞬态质量下降以及随着时间上下文缓冲区填充而达到的稳态质量。VTM-17.0是H.266/VVC的参考软件,作为所有BD-rate(比特率)计算的基准编码器,代表了目前最先进的标准化视频编码器。VTM配置为低延迟P模式,并使用默认编码参数,以匹配神经方法的编码条件,这些方法在严格因果、前向预测模式下运行,不使用B帧。我们评估了每种方法的四个比特率点,涵盖了从低比特率操作(需要强烈压缩且方法之间的质量差距最明显)到高比特率操作(所有方法都趋向于接近无损质量)的范围。这四个比特率点选择了一个大约12 dB的PSNR(Peak Signal-to-Noise Ratio)范围内的实际相关范围,从视觉质量下降约30 dB到接近透明质量的40 dB以上,确保BD-rate计算能够整合比特率-失真曲线的代表性部分,而不是仅由单一操作点主导。

性能通过三个互补的指标进行评估。PSNR(峰值信噪比)[57,58]提供了一个以分贝为单位的像素级重建保真度的直接衡量标准,并且是视频压缩文献中报告最广泛的指标,从而能够与以往的工作进行直接比较。MS-SSIM(多尺度结构相似性指数)[59]通过比较多个空间尺度上的亮度、对比度和结构信息来评估感知质量,比PSNR更能接近主观视觉质量。BD-rate(Bj?ntegaard Delta-rate)[60]通过积分两种编码器在相同质量水平下的比特率差来计算平均比特率差异,提供了一个相对压缩效率的单一标量摘要;负的BD-rate值表示相对于基准编码器的比特率节省。

4.2. 与最先进技术的比较
我们将我们提出的STAC方法与五种具有代表性的最先进神经视频压缩方法进行了比较,这些方法涵盖了该领域的主要架构范式,从早期的预测编码到现代的条件编码以及基于Transformer的方法:
DVC [11]:开创性的端到端深度视频压缩框架,建立了基于学习的预测编码范式。DVC使用光流估计进行运动建模,并使用独立的自动编码器网络进行运动矢量和残差压缩。它作为第一代神经视频编码器的基准。
VCT [31]:视频压缩Transformer,使用Transformer架构来模拟帧表示之间的时间依赖性,而无需任何显式的运动估计或变形操作。VCT代表了基于Transformer的视频压缩的纯粹方法,是我们的ESWA机制的直接比较点。
DCVC-DC [17]:具有多样化上下文的深度上下文视频压缩,引入了分层质量模式和基于组的偏移多样性,以在条件编码范式内进行更丰富的时间上下文挖掘。
DCVC-FM [18]:带有特征调制的DCVC,通过可学习的量化缩放器和周期性刷新的时间特征来满足可变比特率操作和长时间预测链的实用性要求。
DCMCVC [19]:带有上下文调制的DCVC,是目前最新且性能最好的方法,引入了面向流的上下文生成和上下文补偿,以更有效地利用参考信息。DCMCVC代表了当前的最先进水平,STAC的改进正是针对这一水平进行测量的。

所有比较方法都使用其公开发布的模型和代码库进行评估(如果可用),或者使用它们原始出版物中报告的结果。对于存在多个模型变体的方法(例如,MSE-优化和MS-SSIM优化的方法),我们使用MSE优化的变体进行基于PSNR的BD-rate计算,以确保比较的一致性。我们强调所有方法都在相同的测试条件下进行评估:相同的输入序列、相同的帧数(96帧)、相同的色彩空间和相同的帧内编码设置。VTM基准编码器在所有评估中都使用相同的量化参数(QP)集进行编码,以确保BD-rate曲线是在可比较的质量范围内计算的。这种对共同测试条件的严格遵守消除了混淆变量,确保性能差异反映了真正的架构优势,而不是评估方法、测试数据或操作点选择的不同。

4.2.1. 比特率-失真性能
图5使用PSNR和MS-SSIM指标展示了三个代表性数据集(UVG、MCL-JCV和HEVC Class B)的比特率-失真曲线。这六个图表共同说明了每种方法在整个比特率范围(从激进的低比特率操作到接近无损的高比特率编码)的压缩性能范围。从这些曲线中可以得出几个重要观察结果。首先,STAC在所有六个图表中始终表现出最佳的比特率-失真性能,其曲线位于所有竞争方法的左侧上方,表明它在等效比特率下提供更高的质量,或者在更低比特率下提供相同的质量。即使在这些图表的尺度上,STAC与次优方法DCMCVC之间的差距也非常明显,这突出了改进的统计显著性。其次,STAC的性能优势在低到中等比特率区域尤为明显,这是流媒体和广播应用中最实际的相关操作范围,在这些应用中带宽非常宝贵。在低比特率下,熵模型的准确性成为压缩性能的主要因素,因为通过更好的概率估计节省的每个比特都直接转化为质量提升;STAC在这个范围内的出色表现验证了我们双路径熵模型的有效性,该模型使用高斯混合估计提供了更紧密的概率界限。在这些操作点,双路径融合门为提供更紧密概率估计的路径(无论是通道自回归还是时空路径)分配更多权重,从而在比特稀缺时最大化信息论效率。第三,PSNR和MS-SSIM指标上的一致改进表明,STAC的收益不仅限于像素保真度的优化,还扩展到了感知质量,表明我们增强的时间建模保留了对人类视觉感知重要的结构和纹理信息。这种双重指标的一致性很重要,因为针对一个指标进行优化的方法有时会在另一个指标上牺牲性能;STAC同时在两个指标上都表现出改进,表明其编码收益来自于真正更好的概率建模,而不是特定于指标的伪影。

图5. 使用PSNR和SSIM比较的基准视频数据集的比特率-失真性能:(a) UVG PSNR, (b) MCL-JCV PSNR, (c) HEVC Class B PSNR, (d) UVG MS-SSIM, (e) MCL-JCV MS-SSIM, (f) HEVC Class B MS-SSIM。所有图表都进行了缩放以便于更好的视觉比较。在UVG和HEVC Class B数据集上计算的VMAF分数证实,STAC在等效比特率下获得了最高的VMAF分数,平均比DCMC提高了3.2 VMAF分数(在0.05bpp以下)。我们解释了STAC在感知上表现良好的原因:ESWA机制的可学习局部偏置矩阵在熵建模过程中保留了细纹理和边缘信息,而双路径融合门在纹理区域优先选择时空路径,因为在这些区域时间参考提供了强大的结构预测。这些架构特性自然保留了感知指标(MS-SSIM, VMAF)旨在测量的结构信息。

比特率-失真曲线还揭示了竞争方法的相对定位。作为最早的神经视频编码器,DVC在所有数据集中的性能明显低于VTM,这表明第一代预测编码方法已经被更先进的架构所取代。VCT的表现参差不齐,在某些内容类型上表现出竞争力,但在其他类型上表现不佳,这反映了它依赖于固定窗口块基注意力机制,无法适应多样化的内容特性。DCVC系列方法(DCVC-DC、DCVC-FM、DCMCVC)显示出逐步改进,每一代都通过更复杂的时间上下文利用实现了更好的比特率-失真性能。STAC进一步扩展了这一轨迹,STAC与DCMCVC之间的差距在不同数据集中是一致的,表明这是一种系统性的架构优势,而不是针对特定内容的调整。

观察比特率范围极端端的方法的行为也很有意义。在高比特率下,所有现代方法(DCVC-DC及更高)开始趋向于VTM的性能,因为充足的比特使得即使效率较低的熵模型也能以高保真度表示信号。因此,神经编码器的实际重要性主要体现在低到中等比特率范围,而这正是STAC展示最大优势的地方。这是双路径熵模型产生更紧密概率界限能力的直接结果:当比特预算严重受限时,通过更好的概率估计每符号节省的每个比特都会在数百万个潜在元素上累积成可测量的质量改进。此外,PSNR和MS-SSIM评估中的一致改进证实了STAC并没有为了像素级保真度而牺牲感知结构。ESWA机制的可学习局部偏置在熵建模过程中保留了细纹理和边缘信息,确保压缩后的潜在信息保留了MS-SSIM旨在测量的结构细节。

4.2.2. 在YUV色彩空间下的BD-Rate分析
表3展示了在IP = ?1配置下的YUV色彩空间下的BD-rate比较,这种配置代表了时间压缩的最优情况,因为整个序列被编码为单个预测链,无需定期帧内重置。我们的STAC方法平均比特率节省了32.20%,显著优于所有比较方法。这一结果值得注意,因为VTM本身代表着数十年来手工设计的视频编码优化的成果,而相对于这一基准编码器实现了32%的比特率降低,证明了当配备了有效的时空建模时,学习压缩方法的巨大潜力。为了将这一成就置于上下文中,VVC被设计为相对于其前身HEVC能够实现大约40–50%的比特率节省;STAC相对于VVC的32%节省实际上缩小了VVC与这些测试条件下信息论最优编码器之间的大部分差距。

表3. 在YUV色彩空间(96帧,IP = ?1)下神经视频压缩方法的BD-rate(%)比较。检查每种方法的比较,STAC平均比最近的竞争者DCMCVC高出2.70个百分点(?32.20% vs. ?29.50%)。虽然从绝对值上看这可能看起来不大,但考虑到该领域正处于收益递减的阶段,每个额外的BD-rate百分点都需要越来越复杂的建模,这代表了一个有意义的进步。为了将这一差距放在正确的视角下,从DCVC-DC到DCVC-FM的改进是?0.95个百分点,从DCVC-FM到DCMCVC的改进是?11.07个百分点,从DCMCVC到STAC的改进是?2.70个百分点;后者代表了该领域中连续最先进方法之间进步率波动情况下的一致性步骤。这一改进在所有六个数据集中都是一致的,从UVG上的1.93个百分点(两种方法已经实现了大幅改进)到HEVC Class E上的3.48个百分点(视频会议内容的独特时间特性特别受益于我们的自适应上下文选择)。在UVG数据集(?36.35%)和HEVC Class D数据集(?35.19%)上观察到了最大的绝对BD-rate节省,这两个数据集分别处于分辨率谱的相反端。这表明STAC的多尺度特征变换和自适应上下文选择在广泛的空间分辨率范围内都有效,时间建模在低分辨率下补偿了空间信息的减少,同时充分利用了高分辨率下的丰富空间细节。STAC(-32.20%)与VCT(+16.70%)之间显著的性能差距值得特别关注。这两种方法都使用了基于变换器的熵建模,但VCT依赖于具有固定时间窗口的块处理,而STAC采用了自适应上下文选择器和增强滑动窗口注意力(ESWA)。这两种基于变换器的方法之间48.90个百分点的差距强调了(i)内容自适应参考帧选择和(ii)具有学习到的局部偏见和时间门控的无块注意力至关重要。这些正是STAC与以往基于变换器的方法的区别所在。此外,DVC的较差性能(+67.93%)说明了在神经网络环境中简单的光流加残差编码的根本不足;DVC与STAC之间100.13个百分点的差距代表了从第一个端到端的神经视频编码器到当前最先进技术之间的总体进步,这一差距是通过逐步采用条件编码、变换器架构和自适应机制来弥补的。

表4展示了在更具挑战性的IP = 32配置下的结果。每32帧插入一个I帧会创建时间上的不连续性,从而重置时间预测链并破坏累积的时间上下文。每个I帧都使用图像熵模型独立编码,没有时间条件限制,这比P帧消耗更多的比特,紧随其后的帧必须从头开始重建时间上下文,而只有一个高质量的参考帧可用。因此,这种配置测试了两种不同的能力:(i)编码器在每个I帧后快速建立有效时间模型的能力,在每个新的GOP的前几个P帧内实现强大性能;(ii)在可用时间上下文最多仅限于31帧而非整个序列长度时维持压缩效率的能力。IP = 32的设置比IP = -1更能代表实际应用场景,因为随机访问需求、频道切换延迟目标和广播、流媒体及实时通信中的错误恢复约束都要求以0.5到2秒的间隔周期性插入帧内帧。尽管存在这些挑战,STAC仍然保持了稳健的性能,平均比特率节省了27.01%,再次以较大的优势超越了所有比较方法。表4显示了在YUV色彩空间(96帧,IP = 32)下神经视频压缩方法的比特率(%)比较。从IP = -1到IP = 32的降级为每个方法对时间上下文中断的抵抗能力提供了特别有用的衡量标准。对于STAC,这种降级为5.19个百分点(从-32.20%降到-27.01%),与竞争方法相比表现良好:DCMVC的降级为6.42个百分点(从-29.50%降到-23.08%),表明DCMVC的上下文调制机制对时间不连续性更敏感;DCVC-DC的降级为2.42个百分点(从-19.38%降到-16.96%),绝对降级较小但基线性能也较低;DCVC-FM的降级为0.37个百分点(从-18.43%降到-18.06%),降级最小,这反映了DCVC-FM明确设计的周期性刷新机制,但基线性能仍然较低;DCVC的降级为111.70个百分点(从+67.93%降到+179.63%),这种灾难性的降级说明了早期预测编码器对时间上下文丢失的脆弱性。

STAC对周期内设置的这种抵抗能力是其两个架构特性的直接结果。首先,自适应上下文选择器根据可用的时间上下文动态调整其参考帧选择:在I帧之后立即,ACS会意识到可用的高质量参考帧较少,因此将其注意力集中在最近解码的帧上;而在预测链的更深层次,它可以从更丰富的、时间多样化的参考帧缓冲区中选择。这种动态行为与使用固定参考帧集的方法形成鲜明对比,后者要么浪费容量在不可用的参考帧上,要么在解码更多帧时无法利用不断增长的上下文缓冲区。其次,增强滑动窗口注意力机制根据可用上下文的质量和相关性自适应调节其时间门控,有效地减少了对不可用或过时参考帧的依赖,而不是从中断的预测链中传播错误。ESWA的门控矩阵中的学习到的时间衰减允许每个注意力头独立控制其对时间上远距离上下文的权重分配,当上下文被I帧中断时,衰减机制自然会抑制长距离依赖性,并专注于最可靠的局部信息。这些机制的结合使STAC能够在IP = 32的限制下优雅地降级,同时保持对所有竞争方法的有效性能优势。

这种抵抗能力在实际应用中的重要性不可低估。在现实世界的部署中,周期内设置由应用程序需求决定:实时广播通常使用IP = 32或更短的帧间隔以减少频道切换延迟,自适应流媒体要求周期性随机访问点以实现搜索功能,而容易出错的传输通道需要频繁的帧内刷新以控制错误。一个在IP = 32下性能下降的编码器,无论其IP = -1下的数字如何,实际价值都有限。STAC即使在IP = 32下也能保持27.01%的比特率优势,超越所有竞争神经编码器,因此不仅仅是一个学术上的改进,而是向神经视频压缩实际应用迈出的真正一步。

表5和表6展示了在RGB色彩空间下的比特率结果,为YUV结果提供了重要的补充评估。RGB色彩空间的评估有几个重要原因。首先,它测试了熵模型学习到的概率分布是否可以泛化到本质上更可压缩的解相关YUV表示之外。在YCbCr变换中,亮度通道集中了大部分信号能量,而色度通道包含相对稀疏、低方差的数据;这种解相关性简化了熵模型的任务。相比之下,RGB通道表现出强烈的通道间相关性(自然图像的红色、绿色和蓝色成分高度相关,因为它们都反映了相同的场景照明),熵模型必须学会利用这些跨通道依赖性,而没有显式解相关变换的好处。STAC在RGB评估下保持强劲性能的事实表明,STAC的变换器通过其注意力机制直接学习了跨通道依赖性。其次,越来越多的实际应用,包括计算机视觉流程、图形密集型游戏和高保真内容创建,都在RGB域中运行,使得RGB压缩性能直接相关于部署。第三,像JPEG AI这样的新兴标准正在开发中,并支持原生RGB,进一步增加了对RGB域评估的重要性。

正如预期的那样,所有神经编码器在RGB色彩空间下的比特率性能都略有下降,这归因于YCbCr色彩变换中固有的亮度-色度解相关性,该相关性促进了更高效的色度子采样并减少了通道间冗余。然而,STAC在两种色彩空间下都保持其性能优势。性能下降幅度适中且在方法之间非常均匀,表明YUV到RGB的差距是表示本身的属性,而不是任何特定编码器架构的弱点。在IP = -1下(表5),STAC相对于VTM实现了31.23%的平均比特率节省,比DCMVC高出2.61个百分点(-31.23% vs. -28.62%)。检查每个数据集的结果,STAC在UVG上实现了-35.26%的节省,在HEVC Class B上实现了-34.17%,在HEVC Class D上实现了-34.13%,这些都在RGB域中取得了显著改进,并且与相应的YUV结果紧密一致。在IP = 32下(表6),STAC实现了26.20%的比特率节省,相对于DCMVC保持了3.81个百分点的优势(-26.20% vs. -22.39%)。值得注意的是,STAC在RGB下的优势(3.81个百分点)比在IP = -1下的优势(2.61个百分点)更大,进一步证实了我们的自适应上下文机制在最具有挑战性的操作条件下的稳健性。IP = 32下这一差距的扩大表明,当色彩空间和周期内配置产生更困难的编码条件时,STAC的ACS和ESWA机制提供了更大的好处;换句话说,问题越复杂,STAC的自适应架构就越能从固定编码策略的方法中脱颖而出。

STAC在YUV和RGB色彩空间之间的性能差距非常小:在IP = -1下约为0.97个百分点(-32.20% vs. -31.23%),在IP = 32下约为0.81个百分点(-27.01% vs. -26.20%)。这种狭窄的差距在所有比较方法中都是一致的,表明它反映了色彩空间表示的基本属性,而不是任何特定方法的局限。作为比较,DVC在IP = -1下显示出3.40个百分点的差距,在IP = 32下显示8.98个百分点的差距,而DCMVC分别显示出0.88个百分点和0.69个百分点的差距。较新和更复杂的方法显示出的色彩空间差距更小,表明高级熵模型越来越能够补偿缺乏显式解相关性的问题。重要的是,STAC相对于竞争方法的相对改进在两种色彩空间中都保持稳定,表明我们的熵模型学习了不依赖于色彩空间特定解相关性的通用概率估计。这种不受色彩空间影响的性能表明,STAC的变换器多头注意力机制捕获了潜在空间中的统计依赖性,这些依赖性超越了特定信号表示,这对于在输入格式可能在不同应用之间变化的异构编码环境中的部署是一个理想的属性。

在YUV IP = -1下(表3)对每个数据集结果的详细检查揭示了STAC的架构组件如何与不同内容特征互动的有益模式:高分辨率内容(UVG,3840 × 2160):STAC在UVG数据集上实现了最大的比特率节省,为-36.35%,比DCMVC高出1.93个百分点。UVG中的4K序列包含丰富的空间细节、复杂的相机运动(包括平移、缩放和跟踪镜头)以及从自然景观到城市环境的各种场景内容。在这个分辨率下,STAC的20块变换器结合ESWA注意力可以访问大量潜在令牌,使其能够利用较浅或表达能力较弱的模型错过的细粒度时空相关性。此外,四层分级的多尺度特征变换在1/16×分辨率下为4K内容提供了高度紧凑但信息丰富的潜在表示,自适应上下文选择器通过动态选择最能预测当前帧内容的参考帧而受益于这些序列中的丰富运动多样性。高清内容(HEVC Class B,1920 × 1080):在HEVC Class B序列上,STAC实现了-35.23%的节省,与UVG的性能紧密相关,并比DCMVC高出2.14个百分点。Class B序列(BQTerrace、BasketballDrive、Cactus、Kimono、ParkScene)包含具有复杂纹理的高运动内容,对时间预测是一个苛刻的考验。特别是BasketballDrive包含快速且不可预测的对象运动,这对基于运动的方法构成了挑战,而ParkScene包含精细的重复纹理(草地、树叶),这些纹理受益于准确的空间熵建模。STAC在这个数据集上的强劲性能证实了ESWA机制学习到的局部偏见有效地捕捉了广播质量高清内容中存在的多样化运动模式。UVG(4K)和HEVC Class B(1080p)之间近乎相同的性能尤其值得注意:这表明STAC的多尺度特征变换在1/16×分辨率下产生的潜在表示无论原始空间分辨率如何都具有类似的信息量,表明了有效的层次化特征学习,抽象出了与分辨率无关的特性。中等分辨率内容(MCL-JCV和HEVC Class C):在MCL-JCV和HEVC Class C上,STAC都实现了-29.20%的比特率节省。MCL-JCV数据集的30个多样化序列最初被选为跨各种几乎难以察觉的差异阈值,全面测试了编码器在不同感知特征内容类型上的通用性。这种一致的性能验证了STAC的内容自适应机制的稳健性,表明自适应上下文选择器和双路径熵模型可以在不需要手动调整或特定内容选择的情况下处理内容多样性。在HEVC Class C(832 × 480)上的匹配性能表明,尽管分辨率显著较低,但STAC的自适应方法能够很好地适应不同的分辨率范围。时间建模有效地补偿了空间信息的减少。与DCMVC相比,这些数据集上的改进率为3.26个百分点,这明显高于高分辨率内容上的差距(UVG上为1.93个百分点,HEVC Class B上为2.14个百分点)。这表明,当空间分辨率限制了空间特征的分类能力时,STAC的自适应上下文选择提供了更大程度的好处,因为ACS可以通过选择时间上更丰富的参考帧来补充缺失的空间上下文。

在低分辨率内容(HEVC Class D,416 × 240)上,尽管空间分辨率非常有限,STAC仍然实现了-35.19%的比特率节省,其性能与4K内容相当。这一反直觉的结果可以通过空间压缩和时间压缩之间的相互作用来理解。在低空间分辨率下,每个潜在元素对应于原始帧的更大区域,这些粗粒度表示之间的时间相关性更为可预测。1/16倍分辨率下的潜在表示每个帧只有26 × 15个元素,这意味着整个帧的上下文可以在一个适度的注意力窗口内被处理,ESWA机制可以有效地关注每个潜在帧的整个空间范围,而不需要在高分辨率下所需的局部性约束。STAC通过ACS和ESWA进行的时间建模有效地捕捉了这些强的时间依赖性,而双路径熵模型即使在空间上下文受限的情况下也能提供准确的概率估计。在低分辨率下,通道自回归路径特别有价值,因为有限的空间范围意味着空间邻居提供的条件信息较少,使得通道间的依赖性对准确的概率估计更为重要。与DCMVC相比(HEVC Class D上的比特率节省率为-35.19% vs. -33.04%),这一改进表明,自适应参考选择无论在何种空间分辨率下都能带来一致的好处,并且STAC的多尺度架构在其设计的操作范围内不会遇到分辨率不匹配的问题。

在视频会议内容(HEVC Class E,1280 × 720)中,HEVC Class E序列(FourPeople, Johnny, KristenAndSara)带来了独特的编码挑战:内容的背景相对静态,运动主要局限于头部和肩部区域,时间动态是重复的(轻微的头部动作、面部表情、嘴唇同步)。传统的编码器通过跳过模式和较大的块大小来处理这种内容,但神经编码器必须从数据中隐式学习这些效率策略。STAC实现了-28.02%的比特率节省,虽然这在六个数据集中绝对值上是最低的,但仍比DCMVC提高了3.48个百分点。值得注意的是,这是所有六个基准测试中每个数据集的最大改进幅度,表明STAC的自适应上下文选择器对于视频会议内容特别有效。这种不成比例的优势的原因在于视频会议的时间结构:头部姿势、表情和手势是准周期性的,这意味着几秒钟前的帧(具有相似的头部姿势)可能比立即前面的帧(具有不同的表情)提供更好的预测上下文。ACS可以通过其学习的相关性评分机制识别这些语义上相似但在时间上不同的参考帧,这是固定参考选择策略所缺乏的能力。此外,ESWA中的门控机制学会了抑制对静态背景区域的关注,将时间建模能力集中在活跃的前景上,那里的熵减少最为显著。这些内容自适应机制的结合解释了为什么STAC在自适应性最重要的内容类型上取得了最大的优势。

4.2.5 实验结果总结
在所有24种实验配置中(六个数据集×两种颜色空间×两种帧内设置),STAC在每种配置中都实现了最佳的比特率性能。平均比特率节省范围从-26.20%(RGB,IP = 32,最具挑战性的配置)到-32.20%(YUV,IP = -1,最有利的配置)。STAC在所有配置中始终优于DCMVC,改进幅度从1.93个百分点到3.81个百分点,这表明STAC的改进是系统性的,并且是由架构驱动的,而不是特定于内容的优化或有利的评估条件的结果。
几项跨领域的观察结果进一步强化了这些结果的可靠性。首先,STAC在YUV到RGB之间的性能差距很小且一致(在两种IP设置下均小于1个百分点),表明我们的基于变压器的熵模型捕捉了一般性的统计依赖性,这些依赖性与特定的颜色空间表示无关。其次,在IP = 32下的平稳性能下降(STAC为5.19个百分点,DCMVC为6.42个百分点)验证了自适应上下文选择器和ESWA中的时间门控设计,证实这些组件对时间上下文中断具有实质性的抵抗力,而不仅仅是利用有利的长链预测条件。第三,从240p(HEVC Class D:-35.19%)到4K(UVG:-36.35%)的稳健性能表明,STAC的多尺度特征变换和自适应上下文机制能够有效地适应整个分辨率范围,无论是极低的还是极高的分辨率都不会带来不成比例的挑战。
从实际部署的角度来看,这些结果表明,STAC可以在现实世界视频编码应用中遇到的全范围内实现显著的带宽节省。与当前最接近的竞争对手DCMVC相比,STAC的一致改进幅度表明这些收益是稳健的,不依赖于特定条件。强大的绝对性能、对配置变化的鲁棒性以及架构效率(来自棋盘格和通道组分解的解码并行性、注意力复杂性)共同使STAC成为一种先进的神经视频压缩框架,在多样化的流媒体、广播和存储应用中具有强大的实际部署潜力。

第4节中呈现的实验结果证明了所提出的STAC框架在所有24种评估配置中都表现出一致且显著的性能优势。在本节中,我们将超越单纯展示汇总数据,深入分析驱动这些改进的底层机制。讨论围绕五个主题展开:(i)自适应上下文选择器和增强滑动窗口注意力的协同作用,(ii)双路径熵模型和神经算术编码管道的作用,(iii)STAC的架构新颖性与竞争方法的特定设计选择的定量比较,(iv)编码和解码性能的技术分解,(v)当前框架的局限性及其对未来研究的影响。表7提供了STAC与竞争方法之间关键架构差异的结构化总结,表8则从组件层面分析了性能贡献。表7展示了STAC与竞争神经视频压缩方法之间的架构新颖性比较。每一行突出一个具体的设计维度,并指出了每种方法采取的方法。最右侧的列标识了STAC在每个维度上的新颖贡献。表8基于架构分析和跨方法比较,总结了每个STAC组件对整体编码性能的贡献。“证据”列引用了支持每个贡献声明的具体实验观察结果。

5.1 STAC和增强滑动窗口注意力的贡献
我们框架的核心编码增益源于自适应上下文选择器(ACS)和增强滑动窗口注意力(ESWA)机制在STAC熵模型中的协同作用。为了理解这一贡献的大小和性质,考察STAC与每种竞争方法之间的性能差距是有帮助的,因为这些差距隔离了特定架构差异的效果。在YUV IP = -1的情况下,STAC与VCT之间的显著性能差距(-32.20% vs. +16.70%,相差48.90个百分点)直接证明了固定窗口时间注意力对于神经视频压缩来说是根本不够的。STAC和VCT都使用基于变压器的熵建模,但它们在三个关键设计选择上有所不同:(i)VCT使用具有非均匀感受场的基于补丁的注意力,而STAC使用具有均匀感受场的无补丁ESWA;(ii)VCT使用固定的时间窗口均匀地关注所有之前的帧,而STAC使用ACS动态选择最具信息量的参考帧;(iii)VCT使用单路径熵模型和单高斯似然,而STAC使用双路径模型和GMM似然。VCT的基于补丁的处理将每个帧划分为不重叠的空间块,并独立处理这些块的时间序列,从而在同一个帧内的相邻块之间创造了人工边界,使得信息无法流动。这种设计导致了两个根本问题:它在快速运动或场景变化的情况下浪费了处理无关参考帧的容量,并且无法捕捉跨越补丁边界的长距离空间依赖性。我们的ESWA通过其无补丁的滑动窗口设计和学习到的局部偏置矩阵同时解决了这两个问题。
与DCMVC相比(-32.20% vs. -29.50%),STAC提高了2.70个百分点,这一点尤其显著,因为DCMVC代表了当前条件编码范式中的先进技术,并使用了复杂的基于流的上下文调制机制。STAC和DCMVC之间的差距主要归因于三个因素。首先,DCMVC使用固定的上下文传播策略,始终依赖于立即之前的重建帧及其相关特征,而ACS则根据学习到的内容相关性强弱动态选择候选参考帧。这意味着当立即之前的帧提供的预测上下文较差时(例如在场景切换、闪光灯或快速缩放之后),ACS可以回退到更远但更相关的参考帧,而DCMVC则坚持使用次优的相邻参考帧。其次,DCMVC的时间建模完全是卷积的,将其感受场限制在核大小内,无法捕捉每个帧内的长距离空间相关性。相比之下,STAC的ESWA可以在可配置的3D时空窗口内捕捉相关性,该窗口可以包含数百个潜在元素,为概率估计提供了更丰富的条件信号。第三,STAC的双路径熵模型捕捉了通道间的序列依赖性和时空交叉通道相关性,而DCMVC使用的单路径熵估计可能会错过互补的统计结构。
每个数据集的结果都证实了这些架构优势。在高分辨率序列中,复杂多样的运动模式普遍存在(UVG:-36.35%,HEVC B:-35.23%),STAC实现了最大的绝对增益,因为ESWA的多头部注意力可以在滑动窗口内同时建模多个运动假设,ACS可以从具有相似运动特征的帧中选择参考帧,而不依赖于时间邻近性。在视频会议内容(HEVC E:-28.02%)中,运动主要局限于头部和肩膀前背景区域,背景基本上是静态的,ESWA中的自适应门控机制学会了抑制对静态背景的关注,将时间建模能力集中在动态前景上,从而实现了更高效的比特分配。在HEVC Class E上,STAC比DCMVC提高了3.48个百分点,这是每个数据集中最大的差距,表明通过ACS进行的内容自适应参考选择在时间动态具有内容特异性时特别有价值。

STAC在帧内设置中的稳健性进一步证明了ACS和ESWA的有效性。在IP = 32的情况下,每32帧周期性插入I帧会产生时间不连续性,从而重置预测链并破坏累积的时间上下文。STAC的性能仅下降了5.19个百分点(从-32.20%降至-27.01%),而DCMVC的性能下降了6.42个百分点(从-29.50%降至-23.08%)。这种1.23个百分点的韧性优势源于两个互补机制。首先,ACS在每个I帧之后动态调整其参考选择:当时间缓冲区只包含少数质量不确定的最近解码的P帧时,ACS为所有候选帧分配较低的相关性分数并选择较少的参考帧(较小的有效K值),避免了依赖于低质量上下文从而降低概率估计的风险。随着更多帧的解码和缓冲区中越来越多样化的参考帧的填充,ACS逐渐增加K值并从更丰富的上下文集合中选择。这种自适应行为与固定参考方法形成对比,后者总是依赖于相同数量的参考帧,而不考虑其质量。其次,ESWA中的时间门控机制根据时空距离和可用上下文的质量调节注意力衰减。在I帧之后,学习到的衰减参数自然抑制了长距离的时间依赖性,因为相关的远距离参考帧不再可用,将注意力集中在最近解码的、因此最可靠的上下文上。这种优雅的降级机制防止了在具有固定时间条件下的方法中发生的错误放大现象,其中陈旧或不可用的上下文会通过预测链传播损坏的概率估计。5.2. 双路径熵模型的贡献双路径熵模型代表了一种新颖的架构贡献,它解决了单路径概率估计的一个根本限制。在现有的神经视频编解码器中,熵模型使用单一路径来预测每个潜在元素的概率分布,该路径必须同时捕捉通道依赖性(同一空间位置不同特征通道之间的相关性)、空间依赖性(同一通道内相邻空间位置之间的相关性)和时间依赖性(不同帧中对应元素之间的相关性)。单一路径可以在这三种类型的依赖性之间进行权衡,但不能分别针对每种依赖性进行专门优化。STAC的双路径架构将这些职责分开。通道自回归路径在每个空间位置顺序处理通道,条件是之前解码的通道、ACS选定的参考帧中的相应位置以及已经解码的空间邻居。该路径在捕捉卷积潜在空间中出现的强通道间相关性方面表现出色,其中相邻通道通常编码相关的特征(例如,不同方向的边缘、不同尺度的纹理)。时空路径使用ESWA同时预测所有通道的联合分布,捕捉自回归分解会错过的通道间和帧间相关性。例如,当当前帧中的纹理区域被参考帧中的相应区域很好地预测时,时空路径可以利用这种对齐来联合产生所有通道的紧密概率估计,即使单个通道的估计不够精确。自适应融合门通过一个学习的门控机制结合了这两条路径,其权重取决于三个信号:通道路径特征、时空路径特征以及来自每条路径的估计比特成本。包含比特成本估计是一个关键的设计选择:它使门能够为每个特定潜在元素分配更多的权重,而不是使用固定的或空间均匀的权重。实际上,在平滑、低纹理区域的潜在元素中,通道路径往往占主导地位,因为那里的通道间相关性强且空间上下文有限;而在纹理丰富、细节高的区域中,时空路径占主导地位,因为时间参考提供了强有力的预测信号。这种内容自适应路由确保了融合后的概率估计始终比单个估计更加紧密。5.3. 神经算术编码器的角色神经算术编码流程通过三种不同的机制对整体编码性能做出贡献,这些机制在压缩过程的不同粒度上发挥作用。首先,具有多个组成部分的高斯混合模型(GMM)为每个潜在元素提供了灵活的多模态概率分布。与大多数竞争方法使用的单高斯假设相比(见表7),混合模型更好地捕捉了运动补偿潜在表示中出现的重尾和多模态分布。在神经视频编码中,潜在分布很少是单峰的:给定的空间位置可能对应于一个被时间参考很好地预测的区域(产生接近零的残差和狭窄的分布),或者被较差预测的区域(产生较大的残差和宽阔的分布),而混合模型可以通过其组成部分的权重同时表示这两种情况。每个量化符号的离散概率计算如下,其中参数由STAC变换器预测。熵模型和概率估计器之间的紧密耦合确保了预测分布对于实际潜在统计量具有最大的信息量,三个组成部分的混合模型提供了足够的灵活性,可以在不增加更高阶混合计算开销的情况下近似广泛的经验分布。其次,为算术编码器提供输入的层次化上下文结构以一种精心设计的方式结合了超先验、时间和空间上下文。超先验提供作为侧信息传输的粗略全局统计信息,捕捉潜在表示的总体能量分布和空间非平稳性。来自ACS选定参考帧的时间上下文通过基于最相关的前一个解码帧提供逐元素预测来捕捉帧间冗余。来自棋盘格解码元素的空间上下文通过条件于已经解码的相邻位置来捕捉帧内相关性。这种三级条件逐步缩小了条件熵:每个额外的上下文来源提供了之前来源未能捕捉的信息,直接转化为每个符号更少的比特数。仅超先验通过提供空间自适应的方差估计来降低熵;添加时间上下文通过提供帧间预测进一步降低熵;添加空间上下文通过利用当前帧内的局部冗余进一步降低熵。这种条件的渐进性质至关重要,因为它确保每个上下文来源的非冗余贡献,最大化了组合模型的信息论效率。第三,内容自适应量化机制中,步长由一个轻量级网络根据局部上下文特征预测,实现了在空间-通道粒度上的动态比特分配。视觉上显著的区域具有细纹理和边缘会得到更细致的量化(更小的步长,更多的比特),而平滑或感知上不重要的区域则得到更粗略的量化(更大的步长,更少的比特)。这种空间适应性带来了双重好处:它通过将比特集中在对重建质量影响最大的地方来提高比特率-失真性能,并通过保留视觉重要区域的细节提供了一种隐式的感知质量优化。这种机制对于高分辨率内容(如UVG(4K)序列)特别有益,因为统一量化要么会在大面积平坦背景区域浪费比特,要么会低估主导主观质量评估的细纹理和边缘。STAC在从240p到4K的分辨率范围内的持续改进(?35.19%至?36.35%)表明,内容自适应量化能够有效地适应分辨率范围,动态调整比特分配的空间粒度以匹配可用的空间细节。5.4. 架构新颖性的比较分析为了清楚地界定STAC相对于竞争方法的具体贡献,表7提供了八个维度上关键架构设计选择的并排比较。从这种比较中得出了几个观察结果,揭示了STAC性能优势的来源。发现1:自适应参考选择是一个关键的区别因素。所有竞争方法都使用固定的参考选择策略,无论是单帧(DVC)、固定时间窗口(VCT)还是从预定义的一组相邻帧中传播的上下文(DCVC-DC、DCMVC)。STAC是唯一一种根据内容相关性学习选择参考的方法,使其能够利用固定策略错过的非相邻时间相关性。在HEVC Class E上,STAC比DCMVC优势为3.48个百分点,其中准周期性内容为利用非相邻参考创造了机会,这直接证明了这一优势。发现2:具有统一感受野的无补丁注意力消除了架构伪影。VCT的基于补丁的注意力创建了非均匀的感受野,并且需要计算上冗余的重叠窗口。STAC的无补丁ESWA在整个潜在空间提供了均匀的感受野,确保每个空间位置都接收到同样丰富的上下文条件。尽管STAC和VCT都使用了基于变换器的架构,但它们之间仍有48.90个百分点的差距,这证实了注意力拓扑结构至少与使用注意力本身一样重要。发现3:双路径熵估计捕捉了互补的依赖性。所有竞争方法都使用单路径熵估计,必须在通道依赖性、空间依赖性和时间依赖性之间进行权衡。STAC的双路径架构结合自适应融合能够针对不同类型的统计依赖性进行专门处理,融合门将每个潜在元素路由到提供更紧密概率界限的路径。发现4:高斯混合似然提供了分布灵活性。大多数竞争方法使用的单高斯假设不适合描述运动补偿潜在表示中的重尾和多模态分布。STAC的三组分GMM提供了准确表示这些复杂分布的灵活性,产生了更紧密的概率界限和更短的码字长度。发现5:学习的时间门控实现了自适应上下文加权。DCMVC使用面向流的时间上下文,但应用固定的调制。STAC的ESWA结合了一个学习到的衰减门控机制,根据时空距离和内容特性自适应地调整注意力权重,使模型能够在上下文质量变化时优雅地调整其时间依赖性,如IP = ?1到IP = 32的韧性中的1.23个百分点优势所示(5.19个百分点对比6.42个百分点的降级)。5.5. 组件消融研究虽然第4节和第5节中的跨方法比较展示了STAC的整体优势,但它们并没有单独隔离每个组件的贡献,因为STAC在多个维度上同时不同于每个竞争方法。为了区分这些贡献,我们进行了一项系统性的消融研究,逐步将组件添加到基线配置中,并在所有六个基准数据集上测量平均BD率,每次添加配置后重新训练至收敛。基线被定义为使用固定两帧参考选择(无ACS)、标准的3D滑动窗口注意力(没有可学习的偏差或时间门控,即Kopte和Kaup [32]的SWA公式)、单路径熵模型、单高斯似然以及无潜在残差预测的模型。表9中的每一行都添加了一个组件,同时保持所有其他组件不变,确保测量的BD率反映了该组件在所有之前添加的组件背景下的独立贡献。表9. 随着每个架构组件逐步添加到基线中的BD率增益增量。所有值都是相对于YUV IP = ?1下VTM的平均BD率(%),在六个基准数据集(UVG、MCL-JCV、HEVC Class B、C、D、E)上平均。表示相对于前一配置的改进百分比。表9中的消融结果揭示了关于每个组件相对贡献和相互作用的几个重要发现。发现1:自适应参考选择是影响最大的组件。添加自适应上下文选择器(步骤1)带来了最大的单独增益,为?2.67个百分点,将基线从?24.18%提升到?26.85%。这证实了动态选择与内容相关的参考帧的能力,而不是依赖于一组固定的前置帧,是STAC中最具影响力的架构创新。这一增益的大小是直观的:参考帧的质量直接决定了条件熵,即使是对参考相关性的适度改进也能降低帧中每个潜在元素的熵。发现2:两个ESWA增强提供了互补的注意力改进。可学习的局部偏差(步骤2,?1.46个百分点)和时间门控(步骤3,?0.83个百分点)共同贡献了?2.29个百分点。局部偏差捕捉了时空注意力窗口内的细粒度相对位置偏好,使每个注意力头部能够发展出标准SWA的均匀权重无法表达的特定位置敏感性。时间门控增加了额外的能力:根据时空距离和内容动态自适应地调整注意力权重,允许模型抑制不相关的远距离上下文并专注于最具有信息性的时间邻居。时间门控在局部偏差之上还提供了额外的增益,这证实了这两种机制解决了注意力计算的不同方面:空间位置偏好和时间相关性权重。发现3:双路径融合和GMM共同显著改善了概率估计。双路径熵融合(步骤4,?0.73个百分点)和具有多个组成部分的GMM(步骤5,?1.21个百分点)共同贡献了?1.94个百分点。双路径架构实现了针对通道依赖性和时空依赖性的专门处理,而GMM提供了准确建模条件潜在分布的多模态、重尾统计量的分布灵活性。GMM的更大贡献(?1.21个百分点)相对于双路径融合(?0.73个百分点)表明,分布灵活性至少与熵模型架构一样重要,对于紧密的概率界限而言。发现4:潜在残差预测在零比特率成本下提供了显著的增益。LRP(步骤6,?1.12个百分点)使用预测的细化偏移量自适应地纠正解码后的潜在误差,提高了重建质量,而无需传输任何额外的比特。这一增益的大小(?1.12个百分点)值得注意,因为LRP在熵编码阶段之后操作,因此不会影响比特流长度;其全部贡献来自于减少速率-失真目标中的失真项。5.6.编码和解码性能的技术分析
每个P帧的总比特率可以分解为几个部分,其中一部分是主要帧的潜在速率,另一部分是超先验的辅助信息速率,还有一部分是可以忽略不计的传输ACS参考选择索引的开销。当预测的概率分布与量化后的实际潜在统计值非常接近时,帧的潜在速率可以实现最小化。STAC的每个组件通过不同的机制来帮助提高这种匹配度:ACS和ESWA通过提供更丰富、更相关的时间条件信息来降低条件熵;双路径融合确保为每个元素选择最具信息量的概率路径;而GMM(高斯混合模型)则提供了分布上的灵活性,能够准确表示条件统计值,包括多模态和重尾现象。

在YUV IP = ?1的条件下,STAC相比DCMVC平均提升了2.70个比特率百分点(DCMVC为?32.20%,STAC为?29.50%),这一提升在所有六个数据集中都是一致的,每个数据集的提升幅度从1.93个比特率百分点(UVG)到3.48个比特率百分点(HEVC Class E)不等。这证明了STAC的各个组件共同挖掘了现有条件编码框架无法捕捉到的额外时间冗余。这种提升在不同内容类型上的一致性尤为重要:它表明,这种优势并非由STAC在某个特定内容类型上的出色表现所驱动,而是反映了一种真正更有效的概率估计架构,对所有类型的视频内容都有益处。从信息论的角度来看,2.70个比特率的提升相当于预测的潜在分布与真实潜在分布之间的平均交叉熵显著减少,说明STAC的概率估计比DCMVC更接近真实的数据生成分布。

从解码器效率的角度来看,STAC通过两种互补的并行化策略实现了实际的解码吞吐量。棋盘式分解将空间维度分为两个独立的集合,使得每次迭代可以同时解码一半的潜在元素,从而大约提高了解码速度。通道组并行化进一步将通道维度划分为多个独立的组,可以同时进行处理,进一步提高了解码速度。这两种并行化的组合效果使得STAC比完全顺序解码快大约……倍(具体倍数未在原文中标出),这对于实际应用至关重要,因为解码延迟会直接影响用户体验。范围自适应归一化(Range-ANS)采用16位CDF精度,确保了接近最优的压缩效果(压缩误差在理论熵的0.01比特/符号以内);而通过STAC变压器实现的GPU加速概率计算能够高效地结合GPU和CPU的执行,其中变压器在GPU上运行,ANS引擎在CPU上运行。

颜色空间分析进一步揭示了STAC学习到的表示方法的通用性。在IP = ?1的条件下,YUV到RGB的性能差距大约为0.97个比特率百分点(DCMVC为?32.20%,STAC为?31.23%),在IP = 32的条件下为0.81个比特率百分点(DCMVC为?27.01%,STAC为?26.20%)。这些较小的差距表明,STAC的熵模型学习到的概率估计方法是通用的,不依赖于特定的颜色空间去相关特性。在YCbCr域中,亮度和色度的分离提供了明确的可去相关性,简化了熵模型的构建;而在RGB域中,三个通道之间存在强相关性,熵模型必须学会利用通道间的依赖性,而无法依赖显式的去相关变换。STAC在从YCbCr转换到RGB时性能仅下降了不到1个比特率百分点,这表明ESWA中的多头注意力机制能够在潜在空间中直接捕获通道间的依赖性,弥补了缺乏显式去相关的缺陷。这种不依赖于颜色空间的能力在输入格式可能因应用而异的环境中非常有用。

5. 局限性与未来方向
尽管STAC在所有评估配置中都实现了先进的压缩性能,但仍需认识到一些局限性,以便进行全面评估并为未来的改进指明方向:
- **计算复杂性**:20块Transformer架构虽然有利于概率估计,但编码和解码过程中都会产生较大的计算成本。每次通过STAC熵模型时都需要处理20个顺序Transformer块中的所有潜在token,这在当前的GPU硬件上限制了可实现的吞吐量。虽然滑动窗口注意力(Sliding Window Attention)将每块的复杂度从……降低到……,但总成本仍然显著高于DCVC系列中使用的卷积熵模型。未来的工作应该探索模型压缩技术,例如结构化修剪、将知识蒸馏到更简单的架构中,以及对Transformer权重进行量化感知的训练,以降低计算成本而不牺牲压缩性能。
- **低延迟操作**:STAC目前仅支持低延迟的P帧配置,不支持B帧。如果扩展到包含双向时间预测的分层B帧GOP结构(这种结构在实际广播系统中广泛使用),可以通过利用双向时间相关性进一步提高比特率。此时需要扩展ACS模块以从过去和未来的解码帧中选择参考帧,ESWA机制也需要适应双向时间上下文窗口。

6. 结论
本文介绍了STAC,这是一个包含三个新颖组件的神经视频压缩框架。自适应上下文选择器(Adaptive Context Selector, ACS)用基于学习的、依赖于内容的选取机制替代了固定的参考帧策略,该机制通过计算缓冲的参考潜在帧的相关性分数来为每个编码单元选择K个最具信息量的参考帧,从而能够利用非相邻的时间相关性,并在周期性I帧插入导致的时间上下文中断时实现平滑的适应。增强型滑动窗口注意力(Enhanced Sliding Window Attention, ESWA)通过可学习的局部偏置矩阵和时间门控机制,在……的复杂度下提供了均匀的感受野,同时消除了基于补丁的方法中的不均匀感受野。双路径熵模型结合了通道自回归和时空预测路径,通过基于路径特异性特征和估计的比特成本的适应性学习融合门进行合并,并采用高斯混合模型(GMM)进行神经算术编码。

在24种评估配置(六个基准测试、两种颜色空间、两种帧内编码设置)中的全面实验表明,STAC在每种配置下均实现了最先进的性能。在YUV IP = ?1的条件下,STAC的平均比特率节省了32.20%,相比VTM高出2.70个百分点;在IP = 32的条件下,STAC的性能提升了?27.01%,仅下降了5.19个百分点,而DCMVC下降了6.42个百分点,这证实了自适应上下文机制对实际应用中不可避免的时间不连续性的鲁棒性。这些结果同样适用于RGB颜色空间(?31.23%,IP = ?1),YUV到RGB的差距小于1个比特率百分点;并且STAC的性能从240p(HEVC D:?35.19%)扩展到4K(UVG:?36.35%)。范围自适应归一化编码器与16位CDF精度以及棋盘式和四组通道并行化相结合,实现了接近最优的压缩效果,并且解码速度比顺序处理快大约……倍。STAC的双指标(PSNR + MS-SSIM)一致性和初步的VMAF分析表明,压缩优势不仅体现在像素保真度上,还延伸到了感知质量方面。

未来的工作将围绕四个方向展开:
1. 通过结构化修剪和知识蒸馏降低20块Transformer的复杂性,以实现实时应用;
2. 结合感知损失和对抗性损失,在低比特率下提升主观质量;
3. 扩展到包含双向时间预测的分层B帧GOP结构;
4. 通过微调内容自适应机制,使STAC适应特定领域的应用,如遥感视频、屏幕内容和360度沉浸式视频。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号