
-
生物通官微
陪你抓住生命科技
跳动的脉搏
无需调优的高分辨率视频扩散技术:结合时空隐式分组机制
《IEEE Transactions on Multimedia》:Tuning-Free High-Resolution Video Diffusion With Spatial-Temporal Latent Grouping
【字体: 大 中 小 】 时间:2026年01月09日 来源:IEEE Transactions on Multimedia 9.7
编辑推荐:
视频生成中扩散模型面临高分辨率与长帧数训练成本高、时空细节不足等问题。本文提出ST-LAG方法,通过空间 latent分组(SLG)增强文本-空间注意力以细化细节,结合时间 latent分组(TLG)对齐时序特征以保持动态连贯性,实现全局时空一致性。实验证明该方法有效解决低分辨率模型生成高分辨率视频的失真与时序断层问题。
扩散模型[2]、[3]在图像合成[4]、[5]、[6]领域带来的技术革命令人印象深刻,也在视频生成[1]、[7]、[8]、[9]、[10]、[11]、[12]、[13]、[14]、[15]、[16]、[17]方面取得了重大成就。然而,训练视频扩散模型需要大量的计算资源,目前的进展通常是在分辨率较低且帧数较少(例如512×512、16帧)的视频数据上进行的,这是出于经济考虑。直接使用这些模型(例如AnimateDiff [1])生成高分辨率或更长视频(例如32帧)会导致两个主要问题:首先是在空间层面生成重复的对象和不合理的结构(例如图1上部的两名宇航员和杂乱的星系)。这个问题源于低分辨率模型在合成高分辨率视频时有限的卷积感受野[18];此外,时间层的敏感性[19]也可能导致去噪帧数超过训练阶段时运动质量下降和出现时间抖动。例如,在图1的上部,同一区域(用绿色框标出)内的星系视觉内容在不同帧之间并不连续。