模块级训练后量化实现实时神经视频编码器：以DCVC-RT为例的系统性案例研究

《Signal Processing: Image Communication》：Module-wise post-training quantization for a real-time neural video codec: A DCVC-RT case study

　　

本研究以DCVC-RT（Deep Contextual Video Coding for Real Time）这一实时神经视频编码器为案例，对其实施了系统性的训练后量化（Post-Training Quantization, PTQ）分析。首先，通过统一精度（uniform-precision）量化实验发现，DCVC-RT对激活值（activations）的比特数远比对权重（weights）敏感，8位激活值不可行，而12至16位可容忍BD-Rate（Bj?ntegaard Delta Rate）损失。其次，研究人员首次进行了细粒度的单模块（single-module）量化分析，逐一量化各帧内与帧间组件，识别出哪些模块必须保持高精度、哪些可以激进量化而对BD-Rate影响可忽略。基于这些敏感性洞察，研究人员提出了一系列混合精度（mixed-precision）配置（MP1–MP6），通过灵敏度驱动启发式策略为每个模块选择最低成本的比特宽度对，并以比特运算量（Bit-wise Operations, BOPs）代理评估计算成本。结果显示，多种混合精度变体位于或非常接近BD-Rate与BOPs的帕累托前沿（Pareto front），显著优于多数统一精度基线。该工作表明，针对DCVC-RT的模块级PTQ能够在不重新训练模型的前提下有效平衡压缩效率与硬件算术成本，为神经视频编码在实际场景中的部署提供了重要参考。

论文解读：模块级训练后量化实现实时神经视频编码器——以DCVC-RT为例的系统性案例研究

一、研究背景与动机

自Deep Video Compression（DVC）发布以来，基于神经网络的视频编码器不断涌现，其中DCVC-RT（Deep Contextual Video Coding for Real Time）能够在高端GPU上以30 fps处理全高清视频，相比传统最先进编码器VVC平均节省21%码率。然而，神经视频编码（Neural Video Compression, NVC）在实际应用中仍面临多重挑战：跨平台数值不一致性，即浮点运算在不同设备上的舍入差异会通过帧间预测累积导致时序漂移和质量退化；训练复杂度高，模型参数庞大且需优化长时序率失真目标，阻碍复现与技术转移；从电路与系统角度看，功耗过高和内存访问开销大，使得移动与嵌入式设备难以部署。因此，除了提升率失真性能，实用化NVC还需解决数值鲁棒性、训练可复现性、计算效率和内存流量等问题，尤其在能量受限环境下。

量化技术被证明能有效应对上述挑战，尤其是训练后量化（Post-Training Quantization, PTQ）可直接应用于预训练模型，无需重训，降低了部署成本。同时，将浮点运算转为低精度整数运算有助于消除平台相关的数值扰动，且整数加法器和乘法器比浮点对应部件能耗更低，降低精度还能进一步减少专用集成电路（Application-Specific Integrated Circuit, ASIC）实现的功耗。然而，现有文献尚未系统性地为NVC框架的所有模块确定既能平衡效率又能保持精度的比特精度分配方案。为此，本研究以DCVC-RT为案例，开展网络级和模块级的系统性PTQ分析，旨在刻画各功能模块对不同权重和激活值精度的响应，并探索率失真与计算成本之间的权衡。

二、关键技术方法

研究人员采用以下主要技术方法开展研究：

1. 1.
   训练后量化（PTQ）：利用Qualcomm Innovation Center开发的AI模型效率工具包（AI Model Efficiency Toolkit, AIMET）实施量化。权重采用对称逐通道（per-channel）编码，激活值采用非对称逐张量（per-tensor）编码，量化参数通过最小化均方误差（Mean Squared Error, MSE）的校准流程确定。
2. 2.
   校准数据集：从Vimeo90k数据集中随机抽取1000个序列用于校准，以保证激活值范围的多样性。
3. 3.
   统一精度量化分析：将所有模块的权重和激活值设为相同比特宽度（8–16位），以评估整体敏感性。
4. 4.
   单模块量化分析：每次仅量化一个模块，其余保持16位整型（W16A16）基线，测量各模块单独量化时的BD-Rate变化，从而识别高敏感度与低敏感度模块。
5. 5.
   混合精度配置生成：基于单模块BD-Rate敏感性测量，采用灵敏度驱动的启发式策略，为每个模块设定BD-Rate容忍阈值并选择最低成本的比特宽度对，构建MP₁–MP₆共六种混合精度配置，并使用比特运算量（Bit-wise Operations, BOPs）作为计算成本代理进行评估。

三、研究结果

1. 统一精度量化分析

研究人员对所有模块施加统一的权重和激活值比特宽度（8–16位），以FP16（16位半精度浮点）为锚点。结果表明：W16A16和W14A14仅分别引入3.97%和4%的BD-Rate损失；降至12位和10位时，BD-Rate增至5.3%和27.39%；8位统一量化则完全不可行，BD-Rate超过250%。进一步分析固定权重或激活值精度而改变另一方的实验揭示，DCVC-RT对激活值精度远比对权重精度敏感：所有激活值不低于10位的配置均可产生有限BD-Rate值，而激活值为8位时即使权重为16位也会导致严重退化。

2. 单模块量化分析

研究人员首次对DCVC-RT进行细粒度单模块量化，逐一将每个模块量化为不同比特组合（如W8A8、W8A16、W16A8等），其余模块保持W16A16基线。结果显示，帧内（Intra）模块中，Intra Encoder和Intra Decoder对量化高度敏感，必须保持高精度；而Spatial Prior Head、Spatial Prior Reduction及三个Stage-wise Prior Adaptor则可被激进量化至W8A8而对BD-Rate影响极小。帧间（Inter）模块中，Inter Encoder、Inter Decoder和Reconstruction Generation同样高度敏感；而Temporal Prior Encoder、Feature-to-Feature Adaptor、Frame-to-Frame Adaptor及Feature Extractor表现出较强鲁棒性，可接受较低精度。Hyperprior Encoder和Decoder在帧内与帧间模块中均显示中等敏感性。

3. 混合精度配置

基于单模块敏感性数据，研究人员设计了六种混合精度配置MP₁–MP₆，每种配置为不同模块分配不同的权重和激活值比特宽度。通过BOPs代理评估计算成本并与BD-Rate对比，发现多种混合精度变体位于或非常接近BD-Rate vs. BOPs的帕累托前沿，严格支配多数统一精度基线。例如，MP₄在仅增加少量BD-Rate的情况下大幅降低BOPs，而MP₁则在保持极低BD-Rate损失的同时实现了显著的计算成本节约。

四、讨论与结论

研究人员的讨论部分指出，本文工作应被理解为一个面向系统的案例研究，而非通用混合精度量化方法的提出。他们强调，所采用的灵敏度驱动程序是探索DCVC-RT设计空间的实用机制，并非最优或通用的混合精度搜索算法。验证实验在替代场景下确认了分析的稳健性。

研究结论：本文以DCVC-RT为案例，开展了全面的模块级训练后量化分析。统一精度实验揭示了DCVC-RT对激活值精度的更高敏感性；单模块分析首次识别出各帧内与帧间组件的量化敏感性特征；基于此提出的混合精度配置在BD-Rate与BOPs之间实现了有效的权衡，多种配置位于帕累托前沿。这项工作表明，通过系统性的模块级PTQ，可以在不重训模型的前提下显著降低神经视频编码器的算术成本，同时维持可接受的压缩效率，为NVC在实际硬件上的部署提供了有价值的指导。未来研究方向包括将该分析方法推广至其他NVC架构，以及探索更先进的混合精度搜索算法。