预测性交互：面向演化双臂操控的预测扩散框架

《Frontiers in Neurorobotics》：Anticipating interactions: a predictive diffusion framework for evolving bimanual manipulation

　　

摘要 引言： 双臂机器人操控在具身人工智能中仍是一项重大挑战，因为它要求在长任务时域内实现同步运动规划、臂间碰撞避免以及动态角色分配。尽管现有的基于扩散的策略（diffusion-based policies）与可供性学习方法（affordance learning methods）已展现出可观的能力，但它们大多将环境视为静态，未能建模交互关系与协调模式随时间演化的情况。 方法： 本文提出预测性可供性与协调演化扩散策略（Predictive Affordance and Coordination Evolution Diffusion Policy，PACE-DP），这是一个统一框架，显式预测未来场景动态，并建模操控可供性与双臂协调的时间演进过程。PACE-DP整合了三个预测组件：（1）预测场景模块（Predictive Scene Module），用于预测潜在的未来以对象为中心的表示；（2）可供性与协调演化模块（Affordance and Coordination Evolution Module），构建时间演化的交互图，并采用图Transformer（Graph Transformer）预测未来关系类型、抓取成功概率、协调模式与空间对齐目标；（3）条件扩散策略（Conditional Diffusion Policy），基于融合的当前与预测特征生成平滑、协调的动作序列。 结果： 研究人员在RoboTwin 2.0平台上对PACE-DP进行了评估，涵盖10项多样的双臂任务，包括交接（handover）、放置（placement）、堆叠（stacking）与开关操作（switch operation）。实验结果表明，PACE-DP相较于基线方法表现更优，在协调密集型任务上取得了更高的成功率，且仅产生极小的计算开销。 讨论： 这些发现表明，显式预测未来可供性与协调演化可为双臂操控提供有效的归纳偏置（inductive bias），在不显著增加计算成本的前提下实现更可靠的协调。因此，PACE-DP为面向长时域双臂任务的预测性、时间感知型策略迈出了有前景的一步。

论文解读：预测性交互——面向演化双臂操控的预测扩散框架

一、研究背景与问题

双臂机器人操控是具身人工智能领域的核心挑战之一。与单臂系统不同，双臂操控要求两个机械臂在长任务时域内实现同步运动规划、臂间碰撞避免以及动态角色分配，同时还需应对空间不确定性、多样物体的物理接触以及复杂的时序编排问题。尽管模仿学习与生成建模技术已取得显著进展，现有方法仍面临一个关键困难：如何预测操控关系与协调模式随时间演化，并据此调整动作。当前主流的扩散策略（diffusion policies）虽然能有效建模多模态动作分布并生成平滑轨迹，但大多将环境视为静态配置，未显式建模操控场景在任务推进中的演化过程。同时，可供性学习（affordance learning）与关系推理方法虽能理解动作可行性，却通常基于静态快照，难以捕捉交互结构的时间动态。因此，建模动态关系演化成为长时域双臂操控中亟待解决的关键问题。

二、研究内容与结论

针对上述问题，研究人员提出了预测性可供性与协调演化扩散策略（PACE-DP），这是一个将三种预测能力整合到基于扩散的动作生成流水线中的统一框架。PACE-DP包含四个核心组件：点云编码器（Point Cloud Encoder）、预测场景模块（Predictive Scene Module）、可供性与协调演化模块（Affordance and Coordination Evolution Module）以及条件扩散策略（Conditional Diffusion Policy）。实验在RoboTwin 2.0平台上进行，覆盖10项多样的双臂任务，包括交接、放置、堆叠与开关操作。结果表明，PACE-DP在协调密集型任务上取得了显著优于基线方法的成功率提升，且计算开销增量极小。这一发现表明，显式预测未来可供性与协调演化可为双臂操控提供有效的归纳偏置，在不显著增加计算成本的前提下实现更可靠的协调，为长时域双臂任务的预测性、时间感知型策略研究迈出了重要一步。

三、关键技术方法

研究人员采用的主要技术方法包括：其一，基于PointNet++的分层点云编码器，从多视角RGB-D观测中提取几何与空间特征，并利用Segment Anything Model（SAM，ViT-H变体）进行实例分割，通过均值池化聚合对象级特征；其二，预测场景模块采用因果Transformer编码器建模对象中心特征的时间依赖，通过自回归预测头生成未来场景的潜在表示，并辅以时间一致性损失与对比学习损失进行优化；其三，可供性与协调演化模块构建包含双臂、对象、目标区域与环境元素为节点的时间演化交互图，采用图Transformer（Graph Transformer）进行多头注意力更新，通过时间Transformer预测未来关系嵌入；其四，条件扩散策略以U-Net为去噪网络，将当前场景特征、预测未来状态、关系嵌入与协调嵌入融合为条件向量，生成双臂动作序列。实验数据来源于RoboTwin 2.0仿真平台。

四、研究结果

3.1 点云表示与编码： 通过将深度图像投影为3D点云，融合多视角观测并采用体素降采样与最远点采样，构建统一的场景点云表示。PointNet++编码器提取多尺度几何特征，SAM实例分割赋予每个点对象标签，均值池化得到对象级特征，为后续场景预测与关系建模奠定基础。

3.2 预测场景模块： 采用时间Transformer架构，对历史对象特征进行潜在空间投影与因果编码，通过自回归预测头生成未来潜在场景表示。时间一致性损失确保预测的时序平滑性与物理合理性，对比损失增强对象特征的判别性，两者作为辅助监督间接提升下游扩散策略的性能。

3.3 可供性与协调演化模块： 构建时间演化的交互图，节点涵盖左臂、右臂、各对象、目标区域与环境元素，边编码关系类型。关系集合包括抓取、接触、支撑、对齐、到达等可供性关系，以及共抓取、交接、共操控、同步运动、角色分化等协调关系。图Transformer层通过多头注意力更新节点表示，时间Transformer处理图状态序列并预测未来关系嵌入。真实关系类型与协调模式根据RoboTwin 2.0的模拟器状态，基于实体间距离、接触与相对速度的启发式规则自动标注。

3.4 条件扩散策略： 将当前场景特征、预测未来场景表示、关系嵌入与协调嵌入融合为条件向量，输入扩散模型生成平滑协调的双臂动作序列。扩散模型通过迭代去噪过程建模多模态动作分布，条件信号确保动作直接受预期未来状态与关系变化引导。

五、讨论与结论

研究讨论指出，显式预测未来可供性与协调演化为双臂操控提供了有效的归纳偏置。预测场景模块的时间一致性损失与对比损失通过提升预测场景表示质量，间接引导扩散策略生成与预期未来状态更对齐的动作。可供性与协调演化模块通过建模关系动态变化，使策略能够适应任务推进过程中交互结构的转变。研究结论表明，PACE-DP在10项双臂任务中相较于基线方法取得更优表现，在协调密集型任务上成功率提升显著，且计算开销增量极小。这一成果表明，将预测性场景建模与关系演化推理整合进扩散策略框架，是实现长时域双臂可靠操控的有效途径，为具身智能领域的时间感知型策略研究提供了新的方向。