MotionStruct4D：面向视频到4D生成的高斯溅射运动结构发现

《INTERNATIONAL JOURNAL OF COMPUTER VISION》：MotionStruct4D: Discovering Motion Structure of Gaussian Splatting for Video-to-4D Generation

　　

单目视频到4D生成面临从有限的单视图输入推断合理3D几何与运动的基本挑战。研究人员提出了MotionStruct4D，一种新颖方法，用于发现并利用3D高斯溅射（3D Gaussian Splatting）的潜在运动结构，以实现高质量的视频到4D生成。研究人员的核心见解是，真实世界运动可以有效地分解为捕捉主要运动的粗略刚性变换，并辅以负责细节的精细非刚性变形。MotionStruct4D引入了：(1) 一个自监督运动结构发现模块，通过保持时空关系识别准刚体部分，无需显式3D监督；(2) 一个加权稠密到稀疏优化架构，从稠密的逐高斯变形过渡到稀疏控制点，通过自适应加权融合有效整合刚性和非刚性运动组件。该设计解决了刚性与非刚性运动之间的参数不平衡，并有效建模了不同运动模式下的3D运动。为了在挑战性场景中评估方法，研究人员构建了一个综合基准数据集，包含显著物体位移和多样化的关节运动模式。实验结果表明，MotionStruct4D在运动保真度和新视角合成质量方面具有优越性能，同时提供可解释的运动结构分解，揭示有意义的准刚体部分分割。

视频到4D生成旨在从单目视频恢复动态3D表示，允许任意视角和时刻的渲染。与依赖多视角对应或正前方视角的传统4D重建不同，单目视频到4D生成仅从单一视角输入推断3D几何与运动，属于病态问题。现有方法虽利用神经辐射场（NeRF）或3D高斯溅射（3DGS）建模运动，但在新视角下难以同时保证高保真渲染与运动一致性，根源在于运动表示能力不足。真实世界运动通常由少量主变换及局部细节变形构成，因此研究人员提出将运动分解为刚性与非刚性分量。实现该分解面临两大挑战：一是缺乏多视角约束导致运动结构发现难以监督；二是刚性与非刚性参数固有不对称，非刚性运动自由度大，易主导优化并破坏运动一致性。为此，研究人员提出MotionStruct4D，包含自监督运动结构发现模块和加权稠密到稀疏优化架构，并通过构建包含大位移和多样关节运动的数据集进行严格评估。实验表明，MotionStruct4D在运动保真度、新视角合成质量及可解释性方面均表现优越，该研究发表于《INTERNATIONAL JOURNAL OF COMPUTER VISION》。

研究人员采用的主要技术方法包括：基于3D高斯溅射（3DGS）的规范映射范式；自监督运动结构发现，利用时间变化保持损失与空间连贯性损失将高斯点划分为准刚体部分；刚-非刚性运动分解，将位移表示为部分刚性变换的概率加权和与非刚性残差之和；加权稠密到稀疏优化，先逐高斯优化变形，后过渡至稀疏控制点，借助线性混合蒙皮（LBS）传播运动，并通过可学习权重平衡刚性与非刚性贡献；训练中使用预训练视角条件扩散模型（如Zero123）计算得分蒸馏采样（SDS）损失作为多视角增强。基准数据集来源于ARTEMIS-DFA，包含9种动物的25个视频序列，每种动物提供2-4种不同运动模式。

超参数探索：通过改变最大稀疏控制点数K，发现K=512附近性能达到饱和，K不足时出现明显失真，证明512个控制点足以捕获非刚性细节并维持计算效率，且该值在不同运动模式下均稳定适用。

时间损失权重：固定空间损失权重为0.1，通过变化时间保持损失权重λ_temporal，发现过小则运动捕获不足，过大则导致过分割，λ_temporal=10.0时最优，平衡了运动完整性与分割质量。

定性与定量结果：在ARTEMIS-DFA基准上与多种基线比较，MotionStruct4D在多数指标上取得最佳，如PSNR为30.75、SSIM为0.931、CLIP评分为0.923，视频级感知指标FVD为769.43、FID-VID为19.72。可视化显示准刚体分割具有可解释性，例如猫的尾巴因独立摆动被分为单独部分，而狐狸和狼的尾巴随身体整体运动，被归入同一准刚体部分。在通用对象基准（如Consistent4D）上，MotionStruct4D也优于最强基线SC-4D，PSNR提升0.41，验证了方法对刚性及混合运动物体的泛化性。效率方面，模型大小约13MB，渲染速度约32FPS，训练显存约18GB。学习权重分布分析表明，权重自适应用于不同运动模式，刚性主导比例从高形变物体的约41%到近刚性整身运动的约100%不等，且无需显式正则化。局限性方面，对于大位移且大变形场景（如奔跑的狮子），模型倾向将整个身体视为单一刚体。

消融研究：从纯非刚性基线开始逐步添加组件。仅加入刚性运动建模使PSNR从22.5提升至24.1，说明刚性先验是最重要的结构先验；加入空间连贯性损失进一步改善分割质量，FVD从228降至203；加入时间变化保持损失后，PSNR大幅提升至28.6，FVD降至170；引入可学习加权融合后PSNR达29.5；最终完整稠密到稀疏优化策略达到最佳，PSNR为30.4，SSIM为0.906，LPIPS为0.135，FVD为147，表明各组件均贡献了单调的性能改善，而稠密到稀疏设计在保持表达力的同时显著降低计算复杂度。

讨论部分指出，学习的融合权重分布强烈依赖数据：尽管所有权重初始值为0.5，优化后刚性主导比例因主体运动模式而异，这源于刚性分支参数少、多视角一致性强的特性，使得梯度下降自然偏向能高效解释运动的刚性项，而非刚性残差仅在刚性拟合不足处保留。局限性在于极端大位移与大变形并存时，准刚体识别变得困难，模型趋于将整体视为刚性体。研究结论可翻译为：在这项工作中，研究人员提出了MotionStruct4D，一种新颖的视频到4D生成方法，解决了从单目视频推断合理3D几何与运动的基本挑战。主要贡献包括：(1) 一个自监督运动结构发现模块，通过保持时空关系识别准刚体部分，无需显式3D监督；(2) 一个加权稠密到稀疏优化架构，通过自适应融合平衡刚性与非刚性运动；(3) 一个包含显著物体位移和多样关节运动模式的综合基准数据集。大量实验验证了MotionStruct4D在多个指标上的优越性能。运动结构的显式建模不仅提高了生成质量，还提供了对物体动态的可解释性见解，使该方法在需要运动理解的应用中特别有价值。