无需调优的高分辨率视频扩散技术:结合时空隐式分组机制

《IEEE Transactions on Multimedia》:Tuning-Free High-Resolution Video Diffusion With Spatial-Temporal Latent Grouping

【字体: 大 中 小 】 时间:2026年01月09日 来源:IEEE Transactions on Multimedia 9.7

编辑推荐:

  视频生成中扩散模型面临高分辨率与长帧数训练成本高、时空细节不足等问题。本文提出ST-LAG方法,通过空间 latent分组(SLG)增强文本-空间注意力以细化细节,结合时间 latent分组(TLG)对齐时序特征以保持动态连贯性,实现全局时空一致性。实验证明该方法有效解决低分辨率模型生成高分辨率视频的失真与时序断层问题。

  

摘要:

近期在文本到视频生成领域的进展表明,扩散模型具有显著的优越性。然而,基于文本描述生成高分辨率视频仍然面临巨大挑战,因为视频扩散模型的训练需要大量的计算资源。在本文中,我们提出了一种无需调优的视频扩散方法——空间-时间潜在分组(ST-LAG),用于高分辨率视频生成。ST-LAG利用预训练的低分辨率视频扩散模型的先验知识进行区域级的视频潜在去噪,然后将所有去噪后的视频潜在区域组合成一个整体,以实现全局的空间-时间一致性。具体来说,ST-LAG通过两个精心设计的模块分别进行空间和时间级别的去噪:空间潜在分组(SLG)和时间潜在分组(TLG)。SLG将每一帧的潜在信息在空间上分割成不同的局部块,然后将其输入低分辨率视频扩散模型进行局部区域的去噪;在SLG中还设计了一种文本重加权机制,以增强文本标记特征与空间区域之间的交叉注意力,从而促进空间级别的细节生成。TLG利用段落级别的潜在分组,使每个去噪后的局部段落的长度与训练阶段中的帧数相匹配。这种良好的时间感受野对运动模式的保留效果更好。在每个去噪步骤中,空间和时间级别的所有视频潜在组都会被融合在一起,以生成高分辨率视频。在ECTV-Prompt数据集上进行的广泛实验从定量和定性两个方面证明了我们方法的有效性。

引言

扩散模型[2]、[3]在图像合成[4]、[5]、[6]领域带来的技术革命令人印象深刻,也在视频生成[1]、[7]、[8]、[9]、[10]、[11]、[12]、[13]、[14]、[15]、[16]、[17]方面取得了重大成就。然而,训练视频扩散模型需要大量的计算资源,目前的进展通常是在分辨率较低且帧数较少(例如512×512、16帧)的视频数据上进行的,这是出于经济考虑。直接使用这些模型(例如AnimateDiff [1])生成高分辨率或更长视频(例如32帧)会导致两个主要问题:首先是在空间层面生成重复的对象和不合理的结构(例如图1上部的两名宇航员和杂乱的星系)。这个问题源于低分辨率模型在合成高分辨率视频时有限的卷积感受野[18];此外,时间层的敏感性[19]也可能导致去噪帧数超过训练阶段时运动质量下降和出现时间抖动。例如,在图1的上部,同一区域(用绿色框标出)内的星系视觉内容在不同帧之间并不连续。

相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号