DemoChain：基于多模态大模型物理运动先验蒸馏的解耦式多动作人类视频生成框架

《IEEE Transactions on Circuits and Systems for Video Technology》：DemoChain: Decoupled Motion-Chain for Multi-Action Video Generation

　　

摘要：

多动作人类视频生成是人物动画领域中的一个新兴子领域，旨在根据用户提供的参考图像和文本提示，生成角色执行连贯多动作序列的视频。现有的图生视频（I2V）模型通常依赖于单体化架构，由于在复杂时序推理方面存在固有困难，往往无法生成完整且逻辑有序的动作。在本工作中，我们提出了DemoChain，一种新颖的解耦范式，通过将高层动作规划与低层视觉渲染分离来重新构建这一问题。我们的核心思想是以"动作链"（Motion-Chain）方式从多模态大语言模型（MLLMs）中蒸馏物理运动先验，以指导生成过程。首先，在动作规划阶段，我们引入了关键动作推理模块，该模块利用嵌入在MLLM中的物理运动先验来生成细粒度的描述性提示。这一过程将简洁的用户提示转换为一系列细粒度的文本描述，捕捉每个动作的潜在运动学原理。随后，为了更好地利用蒸馏出的物理先验，我们提出了运动先验可视化模块。该模块通过使用图像代理对描述进行可视化，然后将其净化为背景无关的骨骼序列，从而将抽象的文本先验转化为显式的几何约束。这些骨骼序列随后作为预训练I2V模型的直接时空指导，引导生成过程以确保精确的动作执行同时保持角色一致性。在我们新构建的多动作人类动画（MAHA）基准上的大量实验表明，DemoChain在动作完整性和运动保真度方面显著优于现有的I2V模型及其他专用方法，证明了我们的范式的优越性和有效性。代码将在GitHub上公开。

展开更多