《Sensors》：Adaptive Task Planning for Long-Horizon Robotic Manipulation Based on Video Priors and Dynamic Scene Graphs
编辑推荐：
当前，机器人需要在非结构化环境中执行日益复杂的长期任务。尽管预训练的视觉语言模型（Vision-Language Model, VLM）在任务规划方面具有强大潜力，但其直接应用于机器人操作仍受到逻辑推理偏差和几何场景感知不足的阻碍。本工作提出一种基于视频先验与
当前，机器人需要在非结构化环境中执行日益复杂的长期任务。尽管预训练的视觉语言模型（Vision-Language Model, VLM）在任务规划方面具有强大潜力，但其直接应用于机器人操作仍受到逻辑推理偏差和几何场景感知不足的阻碍。本工作提出一种基于视频先验与动态场景图的自适应任务规划方法（ATP-VPDSG）。该方法利用VLM从视频演示中提取操作逻辑，从而补充操作先验；同时，集成场景图将非结构化环境转换为具有空间拓扑关系的结构化表示，以弥补感知缺陷。进一步引入基于视觉期望的双轨反馈机制，实现复杂环境下的失败诊断与自适应重规划。以Qwen3-VL为核心VLM，在LIBERO-10基准上开展了大量长时程机器人操作实验。结果表明，ATP-VPDSG的平均任务规划准确率达到91.2%，任务执行成功率达到74.67%，优于所选任务规划基线。消融实验验证了视频先验与动态场景图在逻辑约束和物理可行性方面发挥互补作用。此外，在工业滑块-导轨装配任务上进行的真实机器人实验验证了成功的仿真到现实迁移，在无需任务特定微调的情况下实现了82.0%的成功率。
**研究背景与问题**
随着人工智能发展，机器人正从预编程自动化设备向具备感知、推理与决策能力的具身智能系统转变。在智能制造柔性装配、老龄化社会家庭服务、医疗健康等非结构化场景中，机器人需要通过自然语言与人类交互，并自主完成复杂的长时程任务。视觉语言模型（Vision-Language Model, VLM）凭借大规模跨模态预训练，具备将抽象指令分解为结构化子任务序列的潜力，被视为机器人“大脑”的候选方案。然而，VLM本质上是概率序列生成器，尽管能理解语义，却缺乏针对具体任务的领域知识，难以准确感知场景空间几何和物体实时状态，容易生成符合语义逻辑但违反操作规范或空间几何约束的规划结果，并且难以应对动态环境变化。
现有研究仍存在两个关键缺口：其一，基于场景图（Scene Graph）的规划方法主要关注空间几何表示，缺乏从演示视频中引入时间维度操作逻辑的机制，任务排序过度依赖VLM的零样本常识；其二，闭环重规划方法虽能通过视觉反馈进行失败恢复，但其失败诊断缺乏标准化操作先验作为参照，容易出现试错式重规划并重复同类错误。因此，需要一种统一框架，同时利用演示中的时间逻辑先验和场景图中的空间几何约束，提升规划的准确性与执行鲁棒性。针对该问题，论文发表于《Sensors》，提出基于视频先验与动态场景图的自适应任务规划方法（ATP-VPDSG）。
**研究内容与总体结论**
研究人员提出ATP-VPDSG框架，包含视频先验提取、动态场景图构建和自适应闭环任务规划三个核心模块。视频先验提取模块利用VLM从视频演示中提取标准化任务逻辑骨架；动态场景图构建模块通过视觉提示策略将非结构化环境转化为带唯一标识（ID）与空间拓扑关系的结构表示；自适应任务规划模块在两类约束引导下生成操作序列，并引入基于视觉期望的双轨闭环反馈机制，实现执行验证、失败诊断与动态重规划。
在LIBERO-10基准上以Qwen3-VL为核心VLM进行实验，结果表明：初始规划平均准确率为91.2%，结合原子技能的执行成功率为74.67%，优于所选VLM规划基线；消融实验验证了视频先验与动态场景图分别对逻辑约束和物理可行性起互补作用；真实机器人滑块-导轨装配实验取得82.0%的成功率，验证了仿真到现实的迁移能力。
**主要技术方法**
主要技术方法包括：基于结构相似性（Structural Similarity, SSIM）的自适应关键帧采样和思维链（Chain-of-Thought, CoT）提示，让VLM从视频演示中提取标准化技能原语级操作先验；基于视觉提示的动态场景图构建，用Grounding DINO开放词汇检测为实例分配唯一ID并标注，再由VLM解析拓扑关系生成JSON场景图；双轨闭环规划，通过视觉期望验证子任务，失败时进行语义诊断、场景图重建和上下文重构后重规划。实验来源为LIBERO-10仿真基准和真实滑块-导轨装配任务（30/50段遥操作演示）。
**研究结果**
**4.2 评估实验与性能分析**
**4.2.1 操作先验提取实验**
在LIBERO-10全部十个任务上开展系统解析实验。自适应SSIM采样策略对不同类型任务均能将原始演示视频压缩60%–75%，同时保留关键状态转换。操作序列解析准确率范围为85.3%–96.0%，平均为91.2%。涉及细微状态变化的任务准确率相对较低。结果表明，VLM能够从演示视频中提取可迁移的操作工作流与条件先验，为后续规划提供可靠逻辑参考。
**4.2.2 规划准确率**
对每个任务选取50次规划输出进行评估，平均规划准确率达到91.2%。任务2、任务3和任务9成功率较低，失败主要源于VLM先验知识提取不准确以及细粒度物体状态判别不可靠。任务8准确率最高，基于视觉提示构建的场景图为每个物体分配唯一ID并记录相对位置关系，增强了VLM的空间推理能力，从而提升规划成功率。
**4.2.3 失败诊断准确率**
研究人员收集并人工标注了完整实验中出现的失败实例，将其分为抓取滑落、物体位置混淆、碰撞障碍和遮挡干扰四类。VLM失败分析器的总体分类准确率为87.3%。碰撞类失败准确率最高，因为其接触位移特征明显；遮挡干扰类失败最具挑战性，部分物体可见性不足导致根因判别困难。双轨机制中嵌入的视频先验为分析器提供预期流程参考，场景图提供确定性状态信息，缩小了失败原因假设空间。
**4.3 对比实验**
将ATP-VPDSG与VILA、ReplanVLM、Prompt2Act三个VLM规划基线在LIBERO-10全部任务上对比，每个方法执行30次。结果表明，ATP-VPDSG平均成功率提升约16.67%，在十个任务中的九个上优于所有基线。基线方法在任务1上均为0%成功率，而ATP-VPDSG能够完成炉灶开启与摩卡壶放置任务。对剩余失败的根因分析显示，低层物理执行误差占比最大，感知误分类次之，而规划逻辑错误占比最小，说明视频先验和场景图约束有效减少了认知层错误。
**4.4 消融实验**
消融实验设置两种配置：一是不含演示视频先验，二是不含视觉标记与场景图。去除视频先验后，十任务平均成功率下降9.34%；去除视觉标记和场景图后，平均成功率下降10.34%，并出现如任务8中两个杯子位置互换的空间关系误判。结果表明，视频先验与动态场景图分别从逻辑约束和物理可行性两方面发挥互补作用。对场景图子组件的定性分析显示，唯一ID标注对解决实例引用混淆贡献最大，拓扑关系解析提供显式几何约束，Grounding DINO提供比VLM原生感知更稳定的开放词汇检测。
**4.5 计算开销与实时性能**
在单张NVIDIA GeForce RTX 5090（32 GB）GPU上统计各模块推理延迟。视频先验提取完全离线运行，不影响在线性能；在线初始场景图构建与全序列规划总开销约4秒；最频繁执行的单步验证延迟低于1秒。由于底层运动控制由原子技能层以更高频率处理，规划层不要求毫秒级响应，该多阶段推理流程满足离散操作调度的实时性要求。
**4.6 分布外任务泛化**
对于分布外（Out-of-Distribution, OOD）任务，LIBERO-10在每次试验中随机化物体位置和初始姿态，平均74.67%的成功率表明框架对布局层面的分布变化具有鲁棒性。对于与演示任务共享子技能但涉及不同物体的任务，先验知识以参数化技能原语序列组织，可实现部分迁移。对于完全没有相关先验的新任务，系统自动退化为带场景图约束的零样本VLM推理，保证性能不会因引入视频先验而下降。
**4.7 真实机器人实验**
在工业滑块-导轨装配任务上进行真实机器人实验，该任务包含识别、抓取、搬运、对准、下压安装、推动和复位等多步操作，导轨配合公差为2 mm。使用30段演示视频时，50次试验成功32次，成功率为64.0%，平均执行时间21.32秒；使用50段演示视频时，成功41次，成功率为82.0%，平均
