FocusMotion：用于姿态引导人体视频生成的自动细节区域感知

《Expert Systems with Applications》：FocusMotion: Automatic Detail-Region Perception for Pose-Guided Human Video Generation

　　## 摘要姿态引导的视频生成是一种利用参考图像和姿态序列生成时间连贯视频的方法。然而，该方法面临生成细节密集区域的挑战，因为现有方法依赖全局图像信息来指导视频生成。本文提出了一种新颖的扩散框架 FocusMotion，能够实现高频信息的自动感知和重建。具体而言，我们首先提出了一个自动细节密集感知器（ADDP），将参考图像转换为边缘图并利用高斯模糊来探索细节密集区域。此外，引入了语义引导特征注入器（SGFI），以获取细节密集区域和参考图像融合后的语义信息。该模块将融合后的语义特征集成到 UNet 的上采样阶段中，以确保生成的图像关注上述区域。为验证我们模型的有效性，我们在 TikTok 和 UBC 时尚数据集上进行了广泛的实验。实验结果表明，FocusMotion 优于现有方法，尤其是在服装细节和褶皱质量方面。代码可在 https://github.com/AIVRC/FocusMotion.git 获取。## 引言姿态引导的视频生成技术将一个特定人物的图像和一系列姿态转换为一段视频。目标是生成与姿态序列相匹配的逼真人类图像。它对虚拟试穿、广告、电影和动画等商业领域具有重要影响。大量文献致力于这一任务，例如 MRAA、DreamPose、DisCo、MagicAnimate、AnimateAnyone 和 Champ 等。总体而言，这些方法利用 CLIP 和 VAE 对参考图像进行编码，并使用 3D-UNet 对视频去噪。姿态引导网络通常被用来编码目标姿态信息。因此，姿态引导视频生成的人物一致性可以得到很好的保证。然而，现有方法仅注入参考图像的全局语义信息。因此，显著信息得不到足够的关注。最近的方法开始关注特殊区域的生成，如手、脸和衣物。例如，Mimicmotion 利用置信度感知的姿态引导和区域损失放大来捕捉手部细节，以改善模糊和失真问题。一些工作利用 UNet 进行姿态识别来捕捉特定物体区域，并增强面部和衣物的生成效果。所有这些方法都旨在针对具有丰富显著信息的特定物体区域进行高精度重建。尽管取得了这些进展，一些高频信息的重建仍然具有挑战性。这使得难以确保细节密集区域的重建质量。总之，现有方法存在细节提取不足和特定物体区域失真等问题，具体如下所述。**细节提取不足。** 现有方法专门检测显著区域以实现高质量重建。因此，它们通常关注手、脸和衣物等特定物体区域。如图 1 所示，优秀的 GPD-VOO 提取的区域是背心和 T 恤。关键在于，如粗体文本和狗头纹理等细节密集区域在重建过程中值得优先考虑。**特定物体区域失真。** 虽然当前方法提取特定物体区域以促进视频生成，但它们未能进一步捕捉高频细节密集区域。因此，生成了模糊和失真的视频帧，例如，图 1 中的粗体文本和狗头出现了失真。此外，如图 2 所示，生成的视频帧中的口袋补丁出现了纹理漂移和时序闪烁。为了解决这些挑战，我们将该框架命名为 FocusMotion，因为它在驱动姿态序列的引导下，明确将重建过程集中在移动和变形的细节密集外观区域上。具体而言，我们首先引入边缘图来保留物体的高频信息并增强对细节密集区域的感知。我们通过高斯模糊从边缘图创建连续信号，以进一步提取高密度线条区域，从而形成一个特殊的感知器——自动细节密集感知器（ADDP）。其次，我们构建了一个特征融合和注入模块，即语义引导特征注入器（SGFI）。与直接连接不同特征的其他方法不同，它使用自注意力机制来确保不同的语义特征在动态协调的注意力权重下融合。SGFI 将这些特征注入到 UNet 的上采样阶段中，以在生成阶段对细节密集区域和整体区域保持适当的关注。这样，FocusMotion 实现了对细节密集区域的自动感知和高质量重建。如图 1 所示，我们的方法从特定物体区域中提取并生成了文本和狗头纹理的细节，优于 SOTA 方法。此外，如图 2 中的口袋补丁所示，我们的方法在整个视频序列中表现出卓越的稳定性。总之，我们的贡献包括：- 我们提出了一种新颖的 FocusMotion 框架，以解决视频生成过程中细节密集区域高质量重建的挑战。- 我们首次提出了 ADDP，用于从各种目标图像中自动提取高频信息，以准确定位细节密集区域。- 我们提出了 SGFI，将细节密集区域的语义特征与全局图像集成到 UNet 中，以增强重建质量。- 我们在 UBC Fashion 和 TikTok 数据集上进行了广泛的实验，与一些最先进的方法进行了比较，以验证其有效性。在姿态引导视频生成方面令人振奋的结果进一步凸显了我们贡献的重要性。本文其余部分组织如下。第 2 节简要介绍相关工作。第 3 节介绍并讨论我们提出的 FocusMotion 架构。第 4 节展示实验结果并与其他方法进行比较。第 5 节总结全文。## 章节摘要**姿态控制图像生成** 近年来，图像合成取得了重大进展。早期关于姿态引导图像生成的研究依赖生成对抗网络（GANs）进行图像合成。然而，合成的图像仍然存在特定目标区域失真和细节模糊等问题。因此，研究人员引入了扩散模型。**方法** 本节介绍了提出的 FocusMotion 框架，并解释了它如何有效地提高姿态引导视频生成中细节区域的精细重建能力。现有研究探索了特定物体区域的生成，但细节区域的视频生成仍然面临失真和模糊问题。为了解决这些挑战，FocusMotion……**实验细节** 为评估我们的方法在各种动画角色上的性能，我们从互联网上收集了 5,000 个视频片段，每个片段长度为 20 到 40 秒，并与 TikTok 数据集中的 340 个视频一起用于模型训练。我们的 UNet 基于 Stable Diffusion 的架构和构建模块，并使用其预训练权重进行初始化。我们进一步集成了细节密集区域提取模块……**结论** 本文提出了 FocusMotion，这是一种姿态引导的可控人类视频生成框架，用于合成在细节密集区域中清晰保留细节的高保真动画。FocusMotion 首先使用 ADDP 识别关键区域，并利用边缘图表示区域密度。然后，它应用高斯模糊来分离高密度区域作为细节密集区域，从而实现其准确和自动的定位。SGFI 进一步融合细节密集区域的局部语义……**作者贡献声明** Haotian Yang：构思、数据整理、调查、方法、软件、原创草稿撰写。Zhile Yang：资金获取、项目管理、监督。Huiyu Zhou：资源、审查与编辑撰写。Xin Sun：监督、验证、审查与编辑撰写。**利益冲突声明** 作者声明他们没有已知的相互竞争的财务利益或个人关系，这些利益或关系可能会影响本文报告的工作。