基于多损失序列生成对抗网络（Multi-loss Sequential Generative Adversarial Network）的文本到视频生成技术

《Scientific Reports》：Text-to-video generation with multi-loss sequential generative adversarial network

　　

摘要

由于结构复杂性、语义对齐、时间连贯性和帧不连续性等问题，从文本生成视频仍然具有挑战性。尽管生成对抗网络（GANs）已经成功用于根据文本描述生成视频，但要生成帧在空间和时间上都具有连贯性的真实视频仍然非常困难。本研究提出了一种顺序生成对抗网络（Seq-GAN），该网络利用多个生成器和判别器来生成基于文本描述的真实且高质量的视频，同时保持帧之间的语义对齐和相关性。该方法结合了一个改进的变分自编码器（VAE），通过减少和调整2D层来提取静态的“要点”特征，以提高性能。对于动态帧的生成，模型使用了三个生成器（\(G_p\)、\(G_n\)、\(G_y\)）和三个判别器（\(D_p\)、\(D_n\)、\(D_y\)），这些生成器和判别器分别使用不同的优化器进行训练：RMSprop、Adam和SGD。\(G_p\)和\(D_p\)生成基本的帧结构，而\(G_n\)、\(G_y\)、\(D_n\)和\(D_y\)则提升视频质量并确保其与文本的相关性。在SBMG、KTH和UCF-101数据集上的实验结果表明，Seq-GAN在Inception Score（IS）、Fréchet Video Distance（FVD）和CLIP相似性方面取得了显著的改进，证实了该方法在生成真实且语义准确的视频序列方面的有效性。