《Journal of Visual Communication and Image Representation》：Interactive next-frame prediction with pure transformers: Learning physical dynamics in visual environments
编辑推荐：
交互式时空预测是指不仅基于过去观测，还受外部用户输入影响的未来状态（通常以视频帧形式呈现）预测建模范式。传统时空模型仅从历史数据中进行被动外推，而交互式模型则纳入改变生成行为的干预措施。由于需要根据变化的条件定制预测，建模挑战进一步加剧，因为准确预测不仅需要模
交互式时空预测是指不仅基于过去观测，还受外部用户输入影响的未来状态（通常以视频帧形式呈现）预测建模范式。传统时空模型仅从历史数据中进行被动外推，而交互式模型则纳入改变生成行为的干预措施。由于需要根据变化的条件定制预测，建模挑战进一步加剧，因为准确预测不仅需要模式识别。其目标不仅是预测未来状态，还要以尊重底层结构、因果关系和用户决策组合的方式来实现。尽管循环模型架构在交互式下一帧预测任务中取得了显著成功，但它们在捕获空间和时间上的长程依赖方面经常面临挑战，并可能表现出混杂的潜在结构，这可能妨碍可解释性。相比之下，基于Transformer的架构通过其注意力机制和高模块化结构，能够以更透明和可解释的方式对全局关系进行建模。本研究提出了一种基于纯Transformer的架构用于交互式下一帧预测，不包含卷积或循环等混合增强。该模型在定制设计的仿真环境中进行评估，其中用户输入用于实时调制生成轨迹。在PredFormer工作的基础上，引入了可控生成并与卷积和循环基线进行基准比较。研究目标是探究主要依赖注意力机制的Transformer架构是否能够在交互控制信号下有效学习时空动力学，同时保持预测准确性与交互响应性之间的平衡。考虑该架构的动机在于其相比基于卷积和循环的替代方案具有更结构化和可解释的公式化表达。在此背景下，本研究在受控物理仿真环境中提供了使用纯Transformer架构进行交互式动作条件视频预测的早期演示。研究结果在固定重力交互基准上表明，所提出的模型在重建准确性和感知质量方面优于循环和卷积基线。定量时间指标包括时间光流度量和质心轨迹比较，结合定性检查，表明模型在某些交互条件下能够保持时间一致性。然而，这种稳定性并非在所有运动形式中都能维持。此外，所报告的预测和感知性能改进以显著的计算成本为代价，相比基线方法资源需求增加约四到五倍。
研究背景：交互式时空预测是不仅基于历史观测、还受外部用户输入调制的未来状态预测建模范式。传统时空模型仅从历史数据进行被动外推，而交互式模型纳入改变生成行为的干预措施。准确预测不仅需要模式识别，还需要尊重底层结构、因果关系和用户决策的组合。尽管循环模型架构在交互式下一帧预测任务中取得了显著成功，但它们在捕获空间和时间上的长程依赖方面经常面临挑战，并可能表现出混杂的潜在结构，妨碍可解释性。相比之下，基于Transformer的架构通过注意力机制和高模块化结构，能够以更透明和可解释的方式建模全局关系。本研究旨在探究主要依赖注意力机制的纯Transformer架构是否能在交互控制信号下有效学习时空动力学，同时保持预测准确性与交互响应性之间的平衡。研究人员在定制设计的仿真环境中评估该模型，用户输入用于实时调制生成轨迹，在PredFormer（一种纯门控Transformer视频预测架构）基础上引入可控生成并与卷积和循环基线进行基准比较。
关键技术方法：研究人员开发了基于Pygame框架的数据生成器，渲染84×84灰度图像序列，模拟受恒定重力加速度下落的方形物体，并叠加概率约6%的随机跳跃事件作为用户交互。模型采用PredFormer的Quadruplet TSST版本，在Transformer块之前插入基于加性嵌入的动作条件化（分别编码历史动作和预测动作），并将原始正弦位置编码替换为旋转位置嵌入（RoPE），集成于注意力机制内部。训练使用MSE损失函数、AdamW优化器、学习率1e-4、批大小1、30个训练周期，在8GB NVIDIA GTX 980 Ti消费级GPU上完成。采用10帧输入和10帧预测窗口，推理时仅取第一个预测帧自回归反馈以实现实时交互仿真。
研究结果：（1）定量评估：研究人员在固定重力数据集上使用MSE、SSIM、PSNR和语义框位置四项指标评估模型，并与ConvLSTM、PredRNN和原始PredFormer基线比较。交互式Transformer模型在所有评估指标上优于循环基线，收敛于更少周期并实现更高像素级准确性。使用五个不同随机种子重复实验表明模型性能在随机初始化下保持稳定。（2）消融研究：研究人员比较了原始PredFormer基线、仅添加标签嵌入的变体、仅添加RoPE注意力的变体和最终组合模型。结果表明仅添加标签嵌入不能改善性能，甚至引入额外优化挑战；仅替换为RoPE注意力在所有指标上产生一致改进；最终组合模型以显著优势取得最佳性能，相比原始PredFormer MSE降低59.6%、MAE降低57.8%、SSIM从0.9571提升至0.9909、PSNR提高近8 dB，表明标签嵌入与相对位置嵌入协同工作。（3）定性评估：研究人员对模型下一帧预测进行视觉检查，空间一致性基本保持，输出帧显示黑色背景上的白色方块，边缘存在视觉伪影但整体形状和位置准确渲染。相比PredRNN和ConvLSTM基线，Transformer模型展现出更优的空间保真度。动画帧检查表明时间一致性基本保持，极少出现模糊或预测崩溃。模型展现出足够泛化能力支持交互环境，用户发起的跳跃命令实时处理并引发条件响应预测。然而模型未能正确泛化跳跃动力学，特别是在长时间按钮按压场景中预测轨迹显示连续向上运动，偏离了仅瞬时速度变化后返回自由落体的预期物理行为。（4）基准测试：研究人员编制了各评估模型的性能摘要，关注架构复杂度和计算需求。ConvLSTM基线包含25个叶层、约415万参数、估计计算成本1.60 GFLOPs；PredRNN包含29个叶层、约519万参数、6.23 GFLOPs；交互式Transformer模型包含372个叶层、约2027万参数、30.25 GFLOPs，参数量约为循环基线的四到五倍，计算成本高出五到二十倍。
讨论与结论翻译：据研究人员所知，本工作代表了在受控物理仿真环境中使用纯Transformer架构进行交互式视频预测的早期演示。将基于加性嵌入的条件化和相对位置编码组合添加到纯门控自注意力时空模型中作为方法学贡献提出，扩展了这些架构在交互式视觉预测任务中的适用性。固定重力交互基准上的实验结果表明，所提出的模型在重建准确性和感知质量方面优于循环和卷积基线。定量时间指标包括时间光流度量和质心轨迹比较，结合定性检查，表明模型在某些交互条件下能够保持时间一致性。然而，这种稳定性并非在所有运动形式中都能维持。特别是模型未能一致复现真实环境中的跳跃动力学，尤其是在长时间按钮按压交互下。因此，跨动态状态的泛化应谨慎解读。虽然变化重力数据集为探索对不同重力常数的敏感性提供了有用的受控设置，但目前结果不应被解读为完全证明跨重力条件的稳健泛化。此外，虽然这些发现已在简化合成环境中评估，但其对更复杂真实世界视觉数据的泛化仍是未解问题。此外，所报告的预测和感知性能改进以显著计算成本为代价，相比基线方法资源需求增加约四到五倍。尽管如此，目标不是产生优化模型，而是提供该架构可应用于此领域的早期演示。虽然这一开销不可忽视，但相对于基于扩散的Transformer方法可能仍具有竞争力，后者由于迭代去噪过程通常产生高推理和训练成本。在此背景下，所提出的方法可能为未来探索更高效的基于注意力的交互式预测替代方案提供有用基础。这些结果完全使用消费级硬件和开源实现获得。因此本工作为未来研究改进建模、降低计算开销以及在更复杂和约束更少的物理环境中扩展评估提供了基础。
