基于动态协同扩散的文本-图像-音频到视频生成框架（DyCoDiff）

《Advanced Intelligent Systems》：DyCoDiff: Dynamic Collaborative Diffusion for Text-Image-Audio-to-Video

　　

文本-图像-音频到视频（TIA2V）生成旨在合成由文本提示、参考图像和音频信号共同控制其语义、外观和时间动态的视频。现有TIA2V方法通常通过独立的空间和时间注意力分支组合这些模态，限制了跨模态交互和音频引导的运动对齐。本研究提出DyCoDiff，一种用于TIA2V生成的动态协同扩散框架。DyCoDiff引入多模态条件融合层（MCFL），在时间去噪之前通过联合自注意力和以文本为中心的交叉注意力融合文本、图像和音频条件。门控残差策略将融合条件注入时间分支，同时保留原始空间文本-图像条件。研究进一步在共享多模态嵌入空间中设计协同损失，包括视频-文本、视频-图像和动态视频-音频对齐项。音频-视频损失比较时间特征差异而非静态片段级嵌入，使其适用于节奏敏感生成。在AudioSet-Drums-VAT、Landscape-VAT和URMP-VAT上的实验显示了数据集依赖的增益以及在分布质量、视觉一致性和时间稳定性方面的权衡。在AudioSet-Drums-VAT上，该方法将Fréchet视频距离（FVD）从98.31降至72.97，Fréchet初始距离（FID）从1782.97降至719.92，时间闪烁从163.43降至54.73。结果还揭示了数据集依赖的权衡，表明精细的音乐表演视频需要更保守的多模态融合策略。

论文解读

一、研究背景与问题

条件视频生成已成为计算机视觉领域的重要研究方向。文本到视频（T2V）生成近年来发展迅速，显著提升了语义可控性和视觉多样性；图像到视频（I2V）生成通过动画化参考图像增强了主体和结构保持；音频到视频生成则引入声音作为运动合成的时间信号。然而，仅靠文本通常不足以实现细粒度的视频定制。在真实场景中，用户可能同时提供文本描述、决定视觉外观的参考图像以及决定运动节奏的音频信号，由此催生了文本-图像-音频到视频（TIA2V）任务，即三种异质模态共同引导视频合成。

三种模态天然具有互补作用：文本提供语义意图，参考图像提供空间结构和外观细节，音频携带节奏、强度和事件时间等时间信息。因此，TIA2V方法面临两个耦合的生成目标：空间质量（参考外观和首帧身份是否保持）和时间质量（运动是否稳定且与音频事件一致）。

现有TIA2V工作通过引入文本-图像协同功能（TICF）模块用于空间生成，以及音频-文本协同效应（ATSE）模块用于时间生成，验证了三模态可以纳入统一扩散模型。然而，这两个分支仍然是解耦的：TICF在构建空间外观时从未看到音频，ATSE在时间去噪前从未看到联合融合的图像-音频-文本条件，三模态之间的冲突留给U-Net隐式解决。其局限性不在于缺少三种输入，而在于缺少一种可以同时针对空间和时间标准进行检验的早期协同机制。此外，现有消融实验主要表明添加模态有帮助，并未证明分离的注意力分支在空间身份和音频驱动动态需要共同改进时是充分的。

近期协同生成研究指出，多模态信号不应被视为独立条件简单拼接或插入到分离模块中，不同模态应协商互补角色并朝共享表示联合优化。受此启发，本研究提出DyCoDiff框架，在条件层面和目标层面同时改进多模态协同。

二、研究内容与结论

研究人员提出DyCoDiff，一种动态协同扩散框架，在条件层面设计多模态条件融合层（MCFL），使文本、图像和音频条件通过注意力交互后将受控融合方向注入时间条件；在目标层面引入协同损失最小化，在共享多模态空间中对齐生成视频与文本、图像和音频条件。与静态音频-视频相似度不同，音频协同损失聚焦时间差异，因为音频主要影响视频随时间的变化方式而非语义类别归属。在鼓类视频中，短音频事件应对应突然的视觉运动或帧变化，因此DyCoDiff使用动态余弦对齐比较视频特征变化方向与音频特征变化方向，使协同目标更适合节奏敏感的视频生成。

在AudioSet-Drums-VAT、Landscape-VAT和URMP-VAT三个数据集上的实验表明，DyCoDiff在节奏敏感数据上取得显著增益，在自然场景数据上改善视觉质量，在音乐表演数据上则呈现信息丰富的权衡。在AudioSet-Drums-VAT上，FVD从98.31降至72.97，FID从1782.97降至719.92，时间闪烁从163.43降至54.73。

三、关键技术方法

研究人员采用以下主要技术方法：第一，多模态条件融合层（MCFL），通过联合自注意力建模三模态对称交互，再以文本令牌为查询、图像-音频令牌为键/值执行以文本为中心的交叉注意力，最后通过门控残差注入将融合方向注入时间条件，残差方向固定缩放系数为0.2，自适应门控基系数为0.1并设有0.2硬上限；第二，协同损失最小化目标，包括视频-文本、视频-图像和动态视频-音频对齐项，其中音频-视频损失采用指数移动平均（EMA）平滑、帧级门控和历史可靠性加权等鲁棒聚合策略；第三，在线基线注意力模仿机制，通过比较MCFL分支与基线分支在最后时间交叉注意力块上的注意力图一阶变化来稳定时间注意力波动。数据集来源包括AudioSet-Drums-VAT（源自AudioSet的节奏敏感鼓类视频）、Landscape-VAT（自然场景视频）和URMP-VAT（改编自URMP数据集的音乐表演视频）。所有模型采用2D U-Net骨干加时间层，扩散时间步T=4000，视频张量结构为C=3、F=16、H=64、W=64，批量大小为1，学习率5×10^-5，训练20000步。

四、研究结果

定量比较：在AudioSet-Drums-VAT上，DyCoDiff相比基线获得最大平均改进，FVD从98.31降至72.97，FID从1782.97降至719.92，FFC从0.2259升至0.2854，AV-align从0.3639升至0.4127，TC_FLICKER从163.43降至54.73。在Landscape-VAT上，FVD、FID、FFC和时间闪烁均改善，但CLIP和AV-align略有下降，可能因为景观音频与视觉变化的帧级同步较弱。在URMP-VAT上，FVD和FFC改善，但FID、CLIP、AV-align和TC_FLICKER退化，因为音乐表演视频中视觉运动与发声事件并非严格同步，强制方向一致性可能将生成器拉向错误运动并增加闪烁。

空间与时间质量验证：在AudioSet-Drums-VAT上，空间和时间分数均改善，FID和FFC提升，AV-align增加，平均和中位闪烁均大幅下降，这是TIA2V动机最清晰得到支持的场景。在Landscape-VAT上，空间质量和平均闪烁改善，但AV-align下降且闪烁中位数几乎不变，空间动机得到支持而时间音频对齐动机仅部分支持。在URMP-VAT上，FFC略微改善但FID和闪烁统计退化，表明解耦的空间和时间建模对精细音乐表演并不自动充分。

案例研究：在AudioSet-Drums-VAT上，基线帧模糊了鼓组，而DyCoDiff保持了镲片和鼓面布局且运动可见。在Landscape-VAT上，DyCoDiff比基线更清晰地保留了山背景和火焰区域。在URMP-VAT上，典型案例中演奏者和乐器保持可识别，但存在闪烁分数急剧上升的失败案例。

消融研究：Only-MCFL配置（禁用三个输出级协同损失但保留MCFL、内部正则器和注意力模仿稳定器）在AudioSet-Drums-VAT上已大幅优于基线，FVD从98.31降至73.18，FID从1782.97降至806.19。完整DyCoDiff在AudioSet-Drums-VAT和Landscape-VAT上进一步改善FVD、FID和TC_FLICKER，但在URMP-VAT上Only-MCFL反而更好，表明细粒度人-乐器视频更容易被协同损失干扰。

性能分析：相对基线，AudioSet-Drums-VAT上FID降低59.62%、TC_FLICKER降低66.51%、FFC提升26.34%；Landscape-VAT上FID降低25.84%、TC_FLICKER降低24.37%但AV-align下降13.60%；URMP-VAT上FID增加14.72%、TC_FLICKER增加74.05%。

统计分析：区间分离分析显示AudioSet-Drums-VAT上FVD、FID和FFC的均值±标准差区间不重叠，支持DyCoDiff优势；URMP-VAT上FID区间不重叠且支持基线。Wilcoxon符号秩检验显示AudioSet-Drums-VAT上闪烁降低显著（p=2.3×10^-9），CLIP提升显著（p=1.3×10^-11），而AV-align变化均不显著。

五、讨论与结论

研究人员指出，直接与AnimateDiff、Lumiere或CogVideoX等近期T2V或I2V系统进行数值排名在现有协议下无效，因为这些模型不接受文本、参考图像和音频作为联合条件，且未在相同的16×64×64 SHR禁用TIA2V设置下评估。因此，直接定量比较仅针对任务特定的TIA2V基线在相同协议下进行。

研究结论表明：现有TIA2V工作的局限性不在于文本、图像和音频未被使用，而在于解耦的空间分支和时间分支不能保证两种质量的联合改进。DyCoDiff在音频与运动紧密耦合时同时改进两种质量，在耦合较弱时更可靠地改进空间质量而非时间对齐，在耦合松散时可能损害时间平滑性。动态协同损失并非对所有指标均匀增益，其效果取决于每个数据集的音频-视觉耦合强度。精细的音乐表演视频需要更保守的多模态融合策略和数据集感知的门控校准。