一种面向可伸缩视频编码的通用可瘦身隐式神经表征框架

《Electronics》:A Generalized Slimmable INR Framework for Scalable Video Coding

【字体: 大 中 小 】 时间:2026年08月14日 来源:Electronics 2.9

编辑推荐:

  隐式神经表征(Implicit Neural Representations, INR)将视频帧编码为网络权重,提供了一种新的压缩范式。一个持续存在的限制是,现有的INR编解码器每个目标码率训练一个模型,因此多码率部署需要单独的运行、单独的检查点和模型重载,其

  
隐式神经表征(Implicit Neural Representations, INR)将视频帧编码为网络权重,提供了一种新的压缩范式。一个持续存在的限制是,现有的INR编解码器每个目标码率训练一个模型,因此多码率部署需要单独的运行、单独的检查点和模型重载,其成本随码率点的数量线性增长。研究人员提出一种通用可瘦身框架(Generalized Slimmable Framework),该框架在大多数INR解码器中将标准层替换为宽度可配置的对应层,使单个检查点通过嵌套权重张量(nested weight tensors)服务于多个码率,而无需改变拓扑结构。为恢复共享权重训练中损失的质量,研究人员引入可瘦身条件解码器调制(Slimmable Conditional Decoder Modulation, SCDM),该机制通过宽度和帧条件化的门控融合可瘦身专家卷积。对于基于编码器的骨干网络,编码器输出缓存(encoder output caching)将编码器计算与多宽度训练解耦。在DAVIS和Bunny数据集上的四个INR骨干网络中,该框架将多码率存储减少了约–,且SCDM在所有码率点恢复显著质量,同时在窄宽度设置下超过独立训练的固定宽度模型。
论文解读文章

**研究背景**
视频编码是现代互联网的基础,视频流量占全球网络流量的主导份额。传统编解码器如H.264、HEVC和VVC,以及学习压缩方法,依赖复杂的编解码流水线和手工设计的模块分解。隐式神经表征(Implicit Neural Representations, INR)将视频编码视为模型拟合问题:神经网络过拟合到视频帧,训练后的权重本身成为压缩比特流。这一范式提供快速、简单的解码和随机帧访问,且后续架构(如NeRV、HNeRV、SNeRV等)已将其压缩效率推至竞争水平。然而,实际视频分发需要在变化的网络条件下以多码率提供相同内容。传统编解码器在编码时通过调整量化参数满足需求,而INR的“模型即比特流”范式在训练时固定操作点。由于编码过拟合特定视频,码率主要由模型容量决定,每个目标码率需要单独训练和存储模型,导致多码率部署的训练计算和存储成本随码率点数量线性增长。现有INR可伸缩编码方法(如QS-NeRV、QSVCNR、Sca-NeRV、NVP)存在三个局限性:一是可伸缩机制与特定骨干网络绑定,无法迁移至其他INR架构;二是缺乏细粒度码率控制参数(深度堆叠方法仅提供2-4个粗粒度层级,NVP每个模型只提供一个操作点);三是每个质量层级分配的容量由架构本身决定,而非目标参数预算。因此,需要一种骨干网络无关、支持细粒度码率控制且可单检查点多码率部署的框架。

**研究内容与结论**
研究人员提出一种通用可瘦身框架(Generalized Slimmable Framework),通过将标准层替换为宽度可配置的USConv2d和USLinear层,使单个检查点通过嵌套权重张量存储多个码率配置,无需拓扑改变。针对共享权重训练导致的质量下降,引入可瘦身条件解码器调制(Slimmable Conditional Decoder Modulation, SCDM),通过宽度和帧索引条件化的门控混合专家卷积增强解码器表征能力。对于基于编码器的骨干网络,提出编码器输出缓存(Encoder Output Caching),利用编码器输出对解码器宽度的不变性,将编码器计算与多宽度训练解耦。在四个代表性INR骨干网络(NeRV、E-NeRV、HNeRV、SNeRV)上,基于DAVIS和Bunny数据集进行实验。结果表明:该框架将多码率存储减少约64.5%–73.3%(相比独立训练),SCDM在所有码率点恢复显著质量,在窄宽度(1.5M参数)下甚至超过独立训练的固定宽度模型;编码器输出缓存带来2.5×–3.2×训练加速。论文发表在《Electronics》。

**主要关键技术方法**
(不超过250字)
研究人员采用以下关键技术:1)**可瘦身架构**:将标准Conv2d和Linear层替换为USConv2d和USLinear,存储全容量权重张量,通过宽度乘子w提取前导子矩阵作为活跃权重,实现单检查点嵌套多码率。2)**可瘦身条件解码器调制(SCDM)**:每个解码器块维护三个可瘦身专家卷积,通过门控MLP(输入为宽度和帧索引的正弦位置编码)生成软混合权重,专家输出残差叠加到主卷积前。3)**编码器输出缓存**:训练时编码器运行一次,其输出共享给所有解码器宽度,通过反向传播累积梯度,保留编码器梯度精度。实验在DAVIS(10个视频,中心裁剪至448×768或448×832)和Bunny(132帧,448×448)数据集上进行,使用Adam优化器、余弦退火学习率、Fusion6损失函数。四个宽度乘子对应目标参数预算1.5M、3.0M、4.5M、6.0M。

**研究结果**
**4.1 实现细节**:在Bunny和DAVIS上评估,使用四个骨干网络,训练150或300轮,采用Adam优化器、余弦退火、Fusion6损失。宽度乘子设为[0.5, 0.707, 0.866, 1.0]对应1.5M–6.0M参数。
**4.2 定量结果与分析**:在DAVIS上,独立训练需存储14–15M参数(四个检查点),而可瘦身基线(Slim BL)和完整框架(Ours)仅存储约6M参数,减少约64.5%–73.3%。在NeRV上,Slim BL平均PSNR比独立低0.74 dB,Ours恢复至仅低0.50 dB,且在1.5M宽度超过独立(24.64 vs 24.34 dB)。在E-NeRV上,Slim BL和Ours均优于独立,Ours平均PSNR提升0.58 dB。在HNeRV上,Slim BL损失1.39 dB,Ours恢复至0.83 dB。在SNeRV上,Slim BL损失2.04 dB,Ours恢复至1.13 dB。窄宽度下恢复幅度最大。
**4.3 压缩性能分析**:码率以bpp(bits per pixel)报告,量化后采用霍夫曼编码。率失真曲线显示Ours始终优于Slim Baseline,且通过宽度乘子可生成近连续的率失真曲线,而独立训练仅有离散点。
**4.4 编码器输出缓存消融**:在Bunny上,编码器输出缓存(EOC)相比独立训练在HNeRV上加速2.5×,在SNeRV上加速3.2×,同时保持PSNR与Slim Baseline相当(35.40 vs 35.29 dB,HNeRV)。分离缓存因梯度饥饿导致质量下降。
**4.5 Sandwich规则消融**:Sandwich规则对可瘦身INR训练提供微小加速(10–17%)但导致中间宽度PSNR下降0.65–1.07 dB,无实际益处。
**4.6 SCDM消融**:SlimmableFiLM(通道级仿射调制)添加190K参数,平均PSNR提升0.34 dB。SCDM(空间卷积混合)添加280K参数(4.7%开销),结合帧位置编码和通道混合专家(SCDM+FramePE+Ch)平均PSNR提升0.58 dB,且在1.5M宽度超过独立模型(34.16 vs 33.41 dB)。SCDM+FramePE+Ch被推荐为默认调制策略。

**总结讨论与结论**
研究人员在讨论部分指出,该框架在堆叠卷积和线性块的INR解码器上验证,未评估分组卷积、注意力等架构。SCDM的深度可分离专家在任意宽度下定义良好。编码器未瘦身,因部分方法不使用可学习编码器。未来工作包括自适应宽度选择、编码器瘦身、运动感知条件化、扩展至Transformer骨干、实时推理优化。结论部分翻译如下:研究人员提出一种通用可瘦身框架,用于骨干网络无关的多码率INR视频压缩。通过将标准层替换为可配置宽度的USConv2d和USLinear,单个检查点通过嵌套权重共享存储多个码率配置,在四个INR骨干网络上将存储减少约64.5%–73.3%。可瘦身条件解码器调制(SCDM)通过宽度和帧条件化的专家混合恢复共享权重训练的质量损失,为HNeRV添加280K参数(4.7%开销)带来0.58 dB平均PSNR提升,并在窄宽度(1.5M)下超过独立训练的固定宽度模型。编码器输出缓存保留编码器梯度至数值精度,在HNeRV上加速2.5×,在SNeRV上加速3.2×。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号