《Computer Vision and Image Understanding》：Camera trajectory generation: A comprehensive survey of methods, metrics, and future directions
编辑推荐：
Zahra Dehghanian|Pouya Ardehkhani|Amir Vahedi|Hamid Beigy|Hamid R. Rabiee•首篇关于计算相机轨迹生成的全面综述。•将相机表示从自然语言分类为低级3D姿态。•对轨迹生成、迁移以及与相机对齐的视频控制算法进行分类
Zahra Dehghanian|Pouya Ardehkhani|Amir Vahedi|Hamid Beigy|Hamid R. Rabiee
- •
首篇关于计算相机轨迹生成的全面综述。
- •
将相机表示从自然语言分类为低级3D姿态。
- •
对轨迹生成、迁移以及与相机对齐的视频控制算法进行分类。
- •
按应用场景划分评估指标，涵盖视觉真实度与几何精度等方面。
- •
将数据集与方法对应到具体的实际应用领域。
引言
虚拟摄影技术可将3D图形环境中的场景投射到2D屏幕上，虚拟相机承担着实体相机的功能。其中核心部分就是相机轨迹生成，这一课题在计算机图形学、机器人技术、虚拟现实以及电影制作领域都有所研究（Elson和Riedl，2007；Pandya等人，2014）。通俗来讲，相机轨迹指的是相机在3D空间中随时间变化的连续运动，包括位置、方向，必要时还包括内在参数（Liu等人，2024c）；正式定义见第2节。因此，轨迹生成需要将数学建模与计算方法与电影制作的约束条件相结合，从而在动态环境中实现流畅、适配且目标明确的运动效果。
从历史发展来看，相关方法最初是基于电影制作经验规则的系统（He等人，1996；Christie和Olivier，2009），后来逐渐发展为以优化和学习为驱动的流程，这类流程能更好地处理复杂场景并实现实时响应（Burg等人，2021）。在此发展过程中，出现了多种表示方式，包括7自由度相机模型（Christie和Olivier，2009）、以目标为中心的流形结构如环面空间（Lino和Christie，2015），以及考虑物理可行性和安全性的无人机专用扩展模型（Galvane等人，2018）。每种表示方式都在表达能力、计算成本以及适用性之间做出权衡，以适配特定任务。深度学习的最新进展——包括基于扩散模型的生成技术——进一步提升了相机运动合成过程中的可控性与情境感知能力（Massaglia等人，2024）。这些进步为诸多应用提供了支持，涵盖自主无人机（N?geli等人，2017b）、监控系统（Fiengo等人，2006）、游戏（Burelli和Yannakakis，2011）以及电影制作工作流程（Yang等人，2024）。
尽管取得了这些进展，但仍存在一些关键挑战，尤其是在动态场景中同时满足计算、感知和美学方面的约束条件。可靠的系统必须兼顾可行性，比如避免碰撞和遮挡，确保运动的流畅性与连贯性，同时还要符合更高层次的电影制作意图，以此维持沉浸感、视觉清晰度以及叙事效果。因此，相关进展取决于如何更好地将艺术目标与技术精确性以及用户驱动的控制方式结合起来。
目前还有一个不足之处，那就是缺乏一份能够整合相机轨迹生成领域各类不同方法的综合性综述。本文旨在填补这一空白，通过梳理过去二十年的基础原理、最新技术方法以及新兴趋势，同时总结当前存在的开放性问题，为未来的研究提供指引。我们通过IEEE Xplore、ACM数字图书馆以及SpringerLink等学术数据库，使用“相机轨迹生成”“自动相机控制”和“虚拟摄影”等搜索词，查阅了各类同行评审期刊、会议论文集和技术报告，力求覆盖该领域的广泛内容。
本文的其余部分结构如下：第2节将从三个抽象层级回顾轨迹表示方式，并探讨可用性与精确性之间的平衡关系。第3节介绍相机运动设置及系统层面的考量因素。第4节重点研究轨迹生成算法，尤其关注其实时性能与电影制作目标的一致性。第5节总结定量与定性评估指标，第6节介绍该领域常用的数据集。第7节阐述现有研究的局限性以及未来的研究方向。最后一部分则总结了主要研究成果，并强调了在相机轨迹生成领域持续创新的重要性。
各章节要点
表示方式
相机轨迹生成需要将用户的约束条件转化为能够确定相机位置、方向、投影方式以及运动规律的参数（Zhang，2021c）。准确的相机建模依赖于内在参数，比如焦距和主点（Zhang，2021a），以及外在参数，后者用于指定相机在世界坐标系中的姿态（Zhang，2021b）。
我们将相机轨迹的表示方式从具体到抽象依次分为：（i）低级数学表示
运动系统
在计算机视觉与图形学领域，相机运动系统至关重要，因为它们决定了视角是如何被捕获或呈现的。在本综述中，相机运动指的是相机在3D空间中的运动，通常表现为随时间变化的姿态轨迹（包括平移和旋转，必要时还会包含焦距/变焦等内在参数）（Christie和Olivier，2009）。可用的运动方式会直接影响轨迹的生成与评估，因为它限制了某种方法所能实现的效果
算法
算法通过自动化处理复杂环境、计算约束以及实时要求下的规划任务，使得在电影制作、图形学和机器人技术领域能够实现精准且高效的相机轨迹生成（Bonatti等人，2020b；Gebhardt和Hilliges，2021；Burg等人，2020；Burg等人，2021；N?geli等人，2017a）。通过将电影制作的目标转化为可执行的运动指令，这些算法有助于保持视觉的连贯性以及用户的沉浸感，近期的进展涵盖了基于规则的方法、
评估指标
要评估相机轨迹生成方法，就需要用既能反映轨迹质量又能体现功能适用性的指标来进行衡量。这些指标能为方法对比提供客观且可重复的标准；如果没有这些指标，评估结果就会带有很大的主观性且缺乏一致性。现有的评估方法可分为通用指标，这类指标将轨迹视为时间序列；还有针对电影制作和人机交互场景设计的领域特定指标。
因为
数据集
在利用深度学习进行相机轨迹生成时，一个重大挑战是高质量、针对特定应用场景的数据集极为稀缺，而这些数据集对于训练能够在不同环境和运动模式下通用化的模型而言至关重要。由于无法做到全面列举，本节将重点介绍一些在该领域中被广泛采用且具有较大影响力的数据集，这些数据集常被用于训练或评估相机轨迹生成模型，同时也会总结它们的关键特点
局限性与未来方向
自动化的相机轨迹生成是虚拟摄影及相关应用的核心技术，但目前的方法仍存在诸多实际局限性，这些局限性制约了系统的可靠性、可扩展性以及实际应用能力。本节将总结这些主要瓶颈，并提出能够提升其在现实世界中应用价值的发展方向。
结论
自动化相机轨迹生成技术发展迅速，涵盖了基于规则的系统、优化方法、基于学习的方法以及混合式处理流程。在各种研究范式中，以往的研究通过明确拍摄约束、降低搜索复杂度以及从数据中学习运动模式，提升了计算的效率、系统的稳定性以及电影制作的画面质量。本综述汇总了相关的基础理论以及最新的前沿进展，旨在阐明不同的表示方式以及
CRediT作者贡献说明
Zahra Dehghanian：撰写——初稿、验证、资源整理、项目管理、方法设计、研究实施、正式分析、数据整理、概念构建。Pouya Ardehkhani：撰写——初稿、验证、软件开发、资源整理、研究实施、正式分析、数据整理。Amir Vahedi：撰写——初稿、验证、软件开发、资源整理、研究实施、正式分析、数据整理。Hamid Beigy：撰写——审阅与编辑、验证、监督指导、方法设计、正式分析
未引用参考文献
Eslamian等人（2020年），Wang等人（2020年）
利益冲突声明
作者声明自己不存在任何可能影响本文研究结果的已知财务利益关联或个人关系。本研究得到了伊朗国家科学基金会（INSF）的资助，资助编号为4033002。
致谢
本研究得到了伊朗国家科学基金会（INSF）的资助，资助编号为4033002。
