《Neurocomputing》：CartoonCodec: Generative talking face video coding with cartoon-style customization
编辑推荐：
基于视频社交应用的快速增长，对高效传输和个性化卡通风格定制化的需求日益增强。现有解决方案通常采用说话人脸视频和文本编解码器，随后再进行卡通风格控制算法，这往往导致压缩性能不佳和推理延迟高。在本文中，研究人员提出CartoonCodec，一个高效的生成式框架，将
基于视频社交应用的快速增长，对高效传输和个性化卡通风格定制化的需求日益增强。现有解决方案通常采用说话人脸视频和文本编解码器，随后再进行卡通风格控制算法，这往往导致压缩性能不佳和推理延迟高。在本文中，研究人员提出CartoonCodec，一个高效的生成式框架，将人脸视频编码和卡通风格控制统一为一个端到端过程。该框架将人脸视频序列编码为紧凑的运动特征表示，这些特征与压缩后的文本提示一起传输。为了将控制集成到编码过程中同时保证高效压缩，研究人员引入了一种依赖于紧凑表示的文本引导自适应层选择机制，以动态选择并优化生成器中最具影响力的层。此外，为了在解耦空间上促进风格化，研究人员提出了一种自监督域风格化训练策略，该策略构建了多模态和单模态数据对，从而能够使用多种损失函数。大量实验表明，CartoonCodec在视频重建和卡通风格控制任务的压缩效率上优于基线方法，同时保持了有竞争力的推理效率。CartoonCodec为推进具有卡通风格定制化的面部视频通信提供了关键见解。项目页面可在https://github.com/xiaonae/CartoonCodec/tree/main找到。
**论文解读：CartoonCodec——面向卡通风格定制化的生成式说话人脸视频编码**
**研究背景与动机**
随着视频通话、直播和在线会议等视频社交应用的迅猛发展，高效传输大量视频数据成为关键挑战，尤其是在说话人脸视频通信场景中。与此同时，用户对个性化卡通风格定制化的需求日益增长，这类定制化不仅能提升视觉趣味性，还能保护用户隐私。现有范式通常将说话人脸视频压缩与卡通风格控制分离处理：先使用标准视频编码器（如VVC）压缩视频，再通过文本引导的图像/视频编辑算法（如DiffusionCLIP、StyleGAN-NADA）进行后处理。这种分离式方案存在两大局限：一是推理延迟高，因为控制算法在解码后独立运行；二是压缩性能不佳，因为视频编码与风格控制缺乏协同优化，导致解耦空间内的风格化效果不理想。为克服这些不足，研究人员提出将卡通风格定制化视为编解码器内部的文本引导生成问题，而非后处理步骤，从而在低比特率下实现高效传输与个性化风格控制的统一。该研究发表在《Neurocomputing》。
**主要关键技术方法**
研究人员提出CartoonCodec框架，其核心技术创新包括：
1. **紧凑运动特征提取与解耦**：通过运动特征提取器将说话人脸视频帧编码为20维紧凑运动潜码，再经共享MLP（多层感知机）和解耦专用MLP，分解为头部姿态方向码和表情方向码，实现运动信息的极紧凑表示。
2. **文本引导自适应层选择机制**：在训练过程中，基于CLIP损失动态识别并仅更新生成器中与文本提示最相关的卷积层，从而将控制嵌入编码流程，同时保持参数高效。
3. **自监督域风格化训练策略**：构建多模态（文本-视频）和单模态（仅视频）数据对，通过方向CLIP损失、身份保持损失、表情/姿态/嘴形损失、重建损失、感知损失及对抗损失的联合优化，实现解耦空间（表情空间和姿态空间）的独立风格化适应。
**研究结果**
**6.1 视频重建任务结果**
- **6.1.1 客观质量评估**：在RAVDESS数据集上，CartoonCodec相比传统视频编码标准VVC，在DISTS、LPIPS和FID指标上分别节省比特率76.18%、71.94%和70.02%；相比最先进的生成式压缩方法CTTR，分别额外节省31.69%、24.42%和25.32%。BD-rate分析证实了显著的压缩效率提升。
- **6.1.2 主观质量评估**：在相似比特率下，VVC重建视频出现明显块效应，而CartoonCodec生成更清晰的面部特征。与FOMM、FV2V、CFTE、CTTR等基线相比，CartoonCodec在嘴形、牙齿可见性和情感表达上更接近原始帧，尤其对复杂表情动态有更好的重建质量。
**6.2 卡通风格控制任务结果**
- **6.2.1 客观质量评估**：在Pixar风格控制案例中，CartoonCodec在FID（视觉保真度）、LSE-D（唇音同步误差）和CLIP-Score（语义对齐度）三个指标上均优于图像级基线（VVC+DiffCLIP、VVC+NADA、VVC+DeltaEdit、VVC+SwiftEdit）和视频级基线（VVC+FlowDirector、VVC+LucyEdit）。BD增益统计显示，改进具有统计显著性。例如，相比VVC+DiffCLIP，BD-FID增益达47.51±1.82，BD-LSE-D增益达2.14±0.07，BD-CLIP-S增益达0.15±0.006。
- **6.2.2 主观质量评估**：在相似比特率下，CartoonCodec生成的视频在视觉质量、语义对齐和唇音同步上均优于所有基线。VVC+DiffCLIP引入非原始面部特征（如胡须），唇音同步较弱；VVC+NADA色调过暗；VVC+SwiftEdit风格化能力有限；视频级基线FlowDirector难以生成目标风格，LucyEdit风格化不稳定。
- **6.2.3 计算复杂度**：CartoonCodec总参数量为69.102M，其中姿态/表情生成器22.410M。基于自适应层选择机制，训练中仅平均更新少量参数，表明参数高效。在编码端，CartoonCodec的紧凑特征提取器和特征编码器运行时间（5.6779秒+0.1889秒）远低于VVC编码器（1288.6367秒）；在解码端，其特征解码器（0.5857秒）和卡通风格控制模块（2.5093秒）的总运行时间也远低于VVC解码器（60.6845秒）加单独控制算法（如DiffCLIP耗时1555.6808秒），实现了显著的复杂度降低。
**6.3 复杂背景数据集评估**：在VoxCeleb数据集上，CartoonCodec在相似比特率下重建视频清晰无块效应，且在不同风格提示下均能保持原始背景，对未见风格提示也展现出良好泛化能力。
**6.4 用户研究**：采用2AFC方法，10名参与者偏好CartoonCodec生成视频的比例显著高于所有基线，原因在于其更高的面部清晰度、美学吸引力和身份一致性。
**6.5 消融研究**
- **6.5.1 解耦空间消融**：比较三种变体（仅文本引导表情生成器Ours(TExpG)、仅文本引导姿态生成器Ours(TPoseG)、两者均用Ours(TBothG)）。Ours(TBothG)在LSE-D和CLIP-Score上最优，但视觉上出现白色伪影而影响质量；Ours(TExpG)在FID上最优且无伪影，因此被选为与基线比较的最终变体。
- **6.5.2 自适应层选择消融**：比较四种设置（全冻结、随机选择、全解冻、提出的自适应选择）。提出的策略在LSE-D和CLIP-Score上最优，视觉上更准确地反映目标风格特征（如红唇、白脸妆），而全解冻虽能引入风格变化但导致面部轻微扭曲。
**总结与讨论**
研究人员提出CartoonCodec，一个高效生成式框架，无缝集成说话人脸视频编码与卡通风格控制。通过将视频编码为紧凑运动特征并结合文本提示压缩，采用文本引导自适应层选择机制将控制嵌入编码过程，以及自监督域风格化训练策略适应解耦空间，CartoonCodec在视频重建和卡通风格控制任务上均实现了优于现有方法的压缩效率，同时在卡通风格控制任务中达到最低的编码和解码时间复杂度。该研究的意义在于为低比特率下的个性化面部视频通信提供了一种统一、高效的解决方案，推动了编解码器内部可控生成技术的发展。研究结论部分原文翻译如下：
在本文中，研究人员提出了CartoonCodec，一个高效的生成式框架，无缝集成了说话人脸视频编码与卡通风格控制。为了实现低比特率传输，研究人员将说话人脸视频序列编码为紧凑的运动特征，然后通过帧间预测和熵编码技术将这些特征与文本提示一起压缩。为了将控制集成到编码过程中同时保持高效压缩，研究人员提出了一种依赖于紧凑表示的文本引导自适应层选择机制，以动态识别生成器中
K个最具影响力的层。为了适应解耦空间上的多样化卡通风格域，研究人员提出了一种自监督训练策略来构建多模态和单模态数据对以优化损失计算。实验结果表明，研究人员提出的CartoonCodec框架在各种任务上实现了优越的压缩效率，同时在卡通风格控制任务中达到了最低的编码和解码时间复杂度。
