面向生成式人脸视频编码的轻量级双模式优化

《Neurocomputing》：A lightweight dual-mode optimization for generative face video coding

　　

摘要

生成式人脸视频编码（GFVC）通过利用深度生成模型的强大推理能力，实现了优越的率失真性能。然而，其实际部署受到大规模模型参数和高计算成本的阻碍。为此，我们提出了一种轻量级GFVC框架，引入双模态优化——结合架构重新设计和操作优化——在保持重建质量的同时降低复杂度。在架构方面，我们引入更精简、高效的层，在不损害特征表达力的情况下降低复杂度。在操作方面，我们开发了一种两阶段自适应通道剪枝策略：（1）在训练期间通过可学习阈值识别冗余通道进行软剪枝，（2）在训练后使用派生掩码永久移除这些通道进行硬剪枝。这种双阶段方法确保了训练稳定性和推理效率。实验结果表明，与基线相比，所提出的轻量级双模态GFVC优化方法可实现90.4%的参数减少和88.9%的计算节省，同时在感知级质量指标方面取得了优于最先进视频编码标准通用视频编码（VVC）的性能。因此，所提出的方法有望在移动边缘设备等资源受限的环境中实现高效的GFVC部署。

引言

视频会议需求的不断增长推动了人脸视频高效传输和压缩的需求。近年来，传统视频压缩标准，如H.265/高效视频编码（HEVC）[1]和H.266/通用视频编码（VVC）[2]，已被开发以提升压缩效率，同时保持高视觉质量。同时，生成模型[3]的出现，尤其是生成对抗网络（GANs）[4]，显著推动了人脸视频压缩技术的发展。生成式人脸视频压缩（GFVC）[5]在编码器端采用紧凑表示来建模面部运动，并利用深度生成模型在解码器端重建高质量视频，实现了超低码率的生动人脸视频传输[6]、[7]。尽管其率失真（RD）性能令人印象深刻，但GFVC存在模型复杂度过高的问题，给在资源受限设备上的部署带来了挑战。

为了解决深度学习模型的计算挑战，轻量级技术已被探索以在降低复杂度的同时保持性能。显著示例包括MobileNet [8]、[9]、[10]，EfficientViT [11]和LDNN-PFD [12]，它们使用高效的卷积操作来减少参数数量和复杂度。基于这些进展，近期努力集中在将此类轻量级策略适应GFVC的具体需求上。例如，轻量级时序演化推理（LW-TEI）[13]采用倒置残差结构来减少GFVC模型中的参数，随后通过特征级知识蒸馏来提升性能。然而，该方法实现的参数减少有限，且在复杂GFVC场景中性能下降。另一种常见的神经网络轻量化方法是模型剪枝，即消除冗余的权重、通道或层以减少内存和计算成本。然而，大多数传统剪枝技术[14]、[15]、[16]、[17]需要手动指定配置，如固定剪枝比率和阈值，这可能缺乏灵活性和泛化能力。

尽管一些剪枝方法通过自动学习剪枝比率或阈值来避免手动配置[18]、[19]、[20]，但它们在人脸视频压缩这一高度复杂的领域中的应用仍然有限。这主要是由于GFVC模型的多面性，它们在端到端流水线中包含各种模块并完成多样化任务，如特征提取、运动估计和图像生成，涵盖低级视觉和高级语义。此外，GFVC模型通常涉及复杂的残差连接、跳跃层和跨模块依赖设计，如果不加区分地应用剪枝，可能导致维度不匹配。

本文提出了一种轻量级生成式人脸视频压缩框架，在保持重建质量的同时降低模型复杂度。该框架基于紧凑特征时序演化（CFTE）[21]，这是GFVC中的一个代表性基线。具体来说，CFTE使用每个帧间的紧凑$$特征矩阵来建模帧间的时序演化，该矩阵在编码器端提取和压缩，并在解码器端通过稠密运动图和遮挡图指导帧合成。这种设计在保持高感知质量的同时实现了超低码率压缩。对于架构优化，我们使用更精简的深度可分离卷积来减少CFTE中参数密集型结构的网络复杂度，显著减少了参数数量和计算成本。对于操作优化，我们引入了两阶段自适应通道剪枝策略。在第一阶段，训练期间使用可学习阈值进行软剪枝以识别冗余通道。在第二阶段，硬剪枝根据最终学习到的掩码移除这些通道。本工作的主要贡献总结如下：

• •
  我们提出了一种轻量级生成式人脸视频编码框架，通过结合架构优化（基于轻量级重新设计）和操作优化（基于自适应通道剪枝）的双模态优化，有效减少了模型参数和计算复杂度。
• •
  我们分析了CFTE各模块的参数和计算分布，并引入针对性的架构优化，使用深度可分离卷积和通道精简来减少高计算成本模块中的冗余。
• •
  我们开发了一种结构化剪枝方法，将可微分二值掩码机制嵌入BatchNorm层。这样，它能够在训练期间实现自适应和自动化的通道剪枝，随后在训练后进行硬剪枝，在不损害重建质量的情况下生成高效模型。

章节摘要

视频编码

在过去的几十年中，如HEVC [1]和VVC [2]等视频编码标准显著提升了编码效率。这些标准已被广泛应用于广播电视、电影娱乐和视频聊天等多个领域。虽然VVC [2]在RD性能方面相比HEVC提供了显著改进，但对更先进、更高效的编码技术的追求仍在继续。与此同时，受深度学习技术发展的启发，许多工具

所提出的方法

在本节中，我们介绍了针对生成式人脸视频编码的轻量级优化策略。如图1所示，所提出的方法由两个主要部分组成：（1）基于深度可分离卷积和通道缩减的架构优化，以及（2）通过自适应通道剪枝实现的操作优化。

实现细节

所提出的轻量级CFTE模型（CFTE-Lite）在VoxCeleb2 [68]和CelebVHQ [69]数据集上训练，使用分辨率为$$的图像。我们使用PyTorch框架实现所提出的模型，并使用NVIDIA TESLA A100 GPU进行训练和微调。在训练期间，采用Adam优化器，参数为$$和$$，学习率为$$以确保收敛。稀疏系数$$在前40个epoch设为0，然后在剩余epoch固定为0.1。该

结论

本文提出了一种轻量级生成式人脸视频压缩框架，通过架构优化和操作优化来降低模型复杂度。通过集成高效的深度卷积分层和两阶段自适应剪枝方法，我们的方法相比基线CFTE模型实现了90.4%的参数减少和88.9%的每像素KMACs节省，同时保持了良好的RD性能。这些结果展示了轻量级GFVC在未来的潜力

作者贡献声明

张子涵：撰写—初稿，概念化。尹善智：撰写—审阅与编辑，方法论。陈博林：监督，形式分析。廖汝玲：监督。王诗琪：监督。叶燕：监督，概念化。

利益冲突声明

作者声明他们没有已知的竞争性经济利益或个人关系，这些利益或关系可能影响本文报告的工作。

张子涵（ZIHAN ZHANG）于2023年在中国哈尔滨工业大学（威海）获得信息系统学士学位。她目前在中国香港城市大学计算机科学系攻读博士学位。她当前的研究兴趣包括2D/3D视频压缩。

张子涵|尹善智|陈博林|廖汝玲|王诗琪|叶燕