《Frontiers in Neurorobotics》：WIS: world-guided instruction semantic diffusion policy for predictive bimanual manipulation
编辑推荐：
引言：机器人双臂操控（bimanual manipulation）对反应式视觉运动策略（visuomotor policies）构成显著挑战，该类策略本质上缺乏预测未来环境动态（environmental dynamics）的能力，尤其在长时序（long-
引言：机器人双臂操控（bimanual manipulation）对反应式视觉运动策略（visuomotor policies）构成显著挑战，该类策略本质上缺乏预测未来环境动态（environmental dynamics）的能力，尤其在长时序（long-horizon）和语义复杂的任务中。为应对这一局限，亟需将预测建模（predictive modeling）与任务级推理（task-level reasoning）相集成的框架，以实现协调的、前瞻性的双臂控制。方法：研究人员提出世界引导指令语义扩散策略（World-guided Instruction Semantic Diffusion Policy, WIS），这是一种新颖的分层框架，将语言驱动的世界模型（language-driven world model）与基于扩散的策略（diffusion-based policy）紧密整合，用于双臂协调。该架构包含三个核心模块：（1）多模态语言-视觉感知模块（multimodal language–visual perception module），通过跨模态注意力（cross-modal attention）将三维点云特征与自然语言嵌入相融合，实现任务相关的语义锚定（semantic grounding）；（2）语言条件世界模型（language-conditioned world model），以当前状态、动作序列和语言指令为条件，显式预测未来状态轨迹，提供前瞻性的预测推理；（3）分层扩散策略（hierarchical diffusion policy），包含高层潜在规划器（high-level latent planner）和低层扩散控制器（low-level diffusion controller），其中世界模型的预测通过预测感知采样机制（prediction-aware sampling mechanism）主动引导动作精化。该设计将高层任务推理与低层运动生成清晰分离，同时确保每个动作既基于即时观测又锚定于预期的未来结果。研究人员在RoboTwin 2.0平台上使用Aloha-AgileX双臂机器人，在多个具有挑战性的操控任务上对WIS进行了广泛评估。结果：在RoboTwin 2.0基准上的实验结果表明，WIS在所有评估任务中均持续优于强基线方法，取得了更高的成功率。讨论：所提方法为时序连贯的双臂操控提供了一种高效且鲁棒的解决方案，相较于基线方法，计算开销增加极小。这些发现凸显了将预测世界模型与语义指令相整合在提升机器人双臂系统在复杂真实场景中的预见性和灵巧性方面的价值。
**论文解读**
**一、研究背景与问题**
机器人操控领域长期追求接近人类的灵巧性和适应能力，尤其是在双臂操控场景中，协调的双臂控制对于复杂的真实世界任务至关重要。近年来，模仿学习（imitation learning）、大规模机器人数据集以及基于Transformer的策略显著提升了视觉运动控制（visuomotor control）的水平。然而，现有大多数方法以反应式（reactive）方式运行，直接将当前感官观测映射为动作，而未对环境随时间的演变进行显式推理。这种反应式范式在长时序、语义丰富的任务中性能受限，而对此类任务而言，对未来状态的预见是实现成功协调与执行的关键。
扩散策略（diffusion-based policies）作为一种生成平滑、多模态动作轨迹的有效方法已崭露头角，例如扩散策略（Diffusion Policy）、ACT以及三维扩散策略（3D Diffusion Policy）等方法均表明，条件去噪过程（conditional denoising processes）能够有效建模复杂的动作分布。与此同时，以CLIP、SayCan和PaLM-E为代表的语言条件学习（language-conditioned learning）为任务指定提供了直观的语义接口，使机器人能够理解自然语言指令并将其与视觉观测对齐。然而，这些方法主要将语言视为辅助条件信号，而非将其作为关于未来物理动态的预测推理驱动，并且缺乏在给定动作序列下预测场景变化的显式机制。世界模型（world models）为赋予机器人预测能力提供了一条有前景的途径。通过学习环境动态的紧凑潜在表示，Dreamer、PlaNet等方法实现了基于模型的规划（model-based planning）和想象轨迹优化（imagined trajectory optimization）。但现有世界模型通常与模仿学习策略孤立发展，其预测输出很少被直接用于引导基于扩散的动作生成。
**二、研究内容与意义**
针对上述问题，研究人员提出了世界引导指令语义扩散策略（World-guided Instruction Semantic Diffusion Policy, WIS），这是一种新颖的分层框架，将语言驱动的世界模型与基于扩散的策略紧密整合，用于双臂机器人操控。研究人员设计了一个多模态语言-视觉感知模块，通过跨模态注意力将三维点云特征与自然语言嵌入相融合，使策略能够动态聚焦于场景中与任务相关的区域。此外，研究人员开发了语言条件世界模型，根据当前状态、动作序列和语言指令显式预测未来状态轨迹，从而使系统具备对环境演变的前瞻性理解。为配合该框架，研究人员设计了由高层潜在规划器和低层扩散控制器组成的分层扩散策略，其中世界模型的预测通过预测感知采样机制主动引导动作精化。该整体架构将高层任务推理与低层运动生成清晰分离，同时确保每个动作既基于即时观测又锚定于预期的未来结果。研究人员在RoboTwin 2.0平台上使用Aloha-AgileX双臂机器人，在多个具有挑战性的操控任务上对WIS进行了广泛评估。实验结果表明，WIS在所有评估任务中均持续优于基线方法，以极小的计算开销取得更高的成功率，从而为长时序、时序连贯的双臂操控提供了一种高效的解决方案。该研究验证了将显式预测推理与语义理解和分层生成紧密结合，可为双臂操控提供高效且鲁棒的解决路径。
**三、关键技术方法**
WIS的架构包含三个核心模块。其一，多模态语言-视觉感知模块采用点云（point cloud）作为主要视觉表示，通过轻量级多层感知机编码器（MLP-based encoder）将原始三维坐标压缩为紧凑视觉特征，并利用预训练语言编码器提取自然语言指令的语义嵌入；在此基础上，跨模态语义注意力机制（cross-modal semantic attention）通过可学习的投影矩阵计算语言-视觉注意力权重，实现任务相关区域的动态聚焦。其二，语言条件世界模型采用基于Transformer的架构，通过序列维度的自注意力（self-attention）建模时间依赖关系，并通过语言嵌入的交叉注意力（cross-attention）注入任务语义，在训练中利用目标编码器（target encoder）的指数移动平均（EMA）和方差正则化（variance regularization）防止表示坍缩（representation collapse）。其三，分层扩散策略将高层潜在规划器与低层扩散控制器解耦，高层规划器在紧凑的潜在空间中生成编码任务级时序结构的潜在计划（latent plan），低层控制器则依据该潜在计划生成具体动作序列；在去噪采样的最后5步中，预测感知采样机制通过计算动作序列与参考未来轨迹之间的余弦相似度梯度来引导动作精化，引导强度λ设为0.1。训练采用端到端复合目标函数，包括扩散损失、世界模型预测损失和高层计划重建损失。所有实验在RoboTwin 2.0平台上进行，每个双臂配置使用50条专家演示轨迹，视觉输入为单视角640×480分辨率深度图像，下采样至2,048个点，不使用RGB图像或多视角输入。
**四、研究结果**
**学习效率**：研究人员追踪了训练过程中各任务的成功率变化。结果显示，WIS在双臂协调任务中收敛更快且更鲁棒。
**引导敏感性分析**：在Place A2B Right任务上，研究人员对引导权重λ进行了敏感性分析。结果表明，当λ从0.01增加到0.1时，性能单调提升，在λ=0.1时达到58%的峰值成功率；当λ进一步增至0.2和0.5时，成功率分别下降至51%和43%。这表明适度引导可有效使扩散过程偏向与预测未来状态一致的动作，而过度引导会导致动作生成过度正则化、采样质量下降。
**计算复杂度分析**：研究人员测量了WIS在五个任务上的平均内存使用和推理延迟。与基线方法相比，推理时间仅温和增加0.1387秒，该增量可归因于世界模型前向预测和引导梯度计算，且后者仅在最后五个去噪步骤中执行，占每步推理时间的11.7%。
**世界模型预测误差分析**：研究人员评估了语言驱动世界模型在测试集轨迹上的预测精度。在Place A2B Right任务上，平均均方误差（MSE）从预测步长H=1时的0.012上升到H=10时的0.087，余弦相似度（cosine similarity）相应从0.94下降至0.71。误差近似线性增长，表明模型在测试范围内捕获动态而未出现灾难性误差累积。
**任务成功率评估**：在Aloha-AgileX平台上五项评估任务中，WIS在Move Pill Bottle Pad（50%±3%）、Place A2B Left（55%±4%）、Place A2B Right（58%±3%）、Place Phone Stand（52%±4%）和Scan Object（39%±3%）任务上均优于Pi0、ACT、DP和DP3基线方法。所有结果在5个独立训练种子、每种子100次评估运行中取平均，各任务相较于DP3的改进均具有统计显著性（p<0.05），其中Place A2B Left、Place A2B Right和Place Phone Stand任务达到p<0.01。
**消融研究**：在Place A2B Right任务上的消融实验表明，去除世界模型（44%）、去除引导梯度（49%）、去除高层规划器（50%）、去除跨模态注意力（46%）、仅使用世界条件（47%）和采用单层控制器（45%）均导致性能显著下降，验证了每个架构组件的作用。
**五、讨论与结论**
WIS通过语言驱动的世界模型在动作生成过程中引入预测推理能力，使策略能够预见未来环境状态并据此精化动作序列。消融实验证实，世界模型和跨模态注意力机制的贡献尤为突出，引导梯度和高层规划器也提供了明确的性能增益。然而，预测感知引导依赖于从示范中导出的参考未来分布，可能无法涵盖所有可行策略；当前评估仅限于仿真环境，物理部署会引入感知噪声、执行延迟和校准误差；高层潜在计划缺乏显式子目标监督，其语义可解释性尚未探索；评估仅测试了在不同初始配置和物体外观下的分布内泛化，未涉及新任务语义、未见物体类别、变化视角或改写指令等零样本泛化场景。
研究结论如下：研究人员提出了WIS，一种用于双臂机器人操控的分层框架，将语言驱动的世界模型与基于扩散的策略相集成，在动作生成中实现了预测推理。该方法结合了三个关键模块：用于语义锚定的跨模态感知模块、用于未来状态预测的语言条件世界模型，以及通过预测感知采样将预期结果主动纳入动作精化的分层扩散策略。在RoboTwin 2.0平台上使用Aloha-AgileX机器人的大量实验表明，WIS在多个长时序双臂任务中持续优于强基线方法，以极小的计算开销增加取得了更高的成功率。这些结果验证了显式预测推理与语义理解和分层生成紧密结合，可为时序连贯的双臂操控提供高效且鲁棒的解决方案。未来研究应探索不确定性感知规划（uncertainty-aware planning）、真实系统迁移（real-system transfer）和在线自适应（online adaptation）。
