GSP-3D：基于扩散策略与世界模型的可泛化三维高斯泼溅用于长时程双臂操作

《Frontiers in Neurorobotics》：GSP-3D: generalizable 3D Gaussian Splatting with diffusion policy and world model for long-horizon bimanual manipulation

　　

引言：学习鲁棒的视觉运动策略进行双臂操作仍然具有挑战性，因为需要严格的手臂精确协调以及在不同环境条件下的泛化能力。现有的基于扩散的策略常常产生时间上不一致的动作生成，同时它们依赖于稀疏点云表示，限制了结构完整性，并且无法捕捉未来的场景动态，从而阻碍了长时程任务的表现。
方法：为解决这些局限，研究人员引入了GSP-3D，一个统一框架，将可泛化三维高斯泼溅（3DGS）与基于扩散的策略学习相集成。GSP-3D包含三个关键组件：（1）可泛化高斯回归器（GGR），从单帧RGB-D图像实时预测3D高斯原语；（2）3DGS条件扩散策略，将高斯聚合成紧凑的潜在表示，用显式几何原语替代点云；（3）基于Transformer的世界模型，预测未来的高斯集合，并利用预测误差作为辅助损失以强制动作间的时间一致性。
结果：研究人员在RoboTwin 2.0基准上评估了GSP-3D，涵盖多种双臂操作任务，在干净和域随机化条件下，包括光照、背景和桌面干扰物的变化。实验结果表明，GSP-3D持续优于现有基线方法，在保持最小计算开销的同时实现了更高的成功率。
讨论：这些发现表明，将显式3D高斯表示与扩散策略集成，为长时程、时间一致的双臂操作提供了一种高效且鲁棒的解决方案，有效解决了当前方法所面临的泛化和一致性问题。

该论文发表于《Frontiers in Neurorobotics》，针对双臂操作中的鲁棒视觉运动策略学习问题展开研究。双臂操作要求两个机械臂在时间上精确协调，并同时感知复杂物体交互与长时程任务依赖，相较于单臂操作更具挑战性。在真实环境中，光照变化、背景杂波和物体外观差异进一步增加了难度，因此策略学习不仅需要精确的三维场景几何感知，还需要预测机器人动作下未来场景的演化。现有基于扩散的策略虽能建模多模态动作分布，但常依赖稀疏点云表示，缺失完整场景结构，且在训练中仅通过行为克隆优化，缺乏对未来场景动态的显式约束，导致动作时间不一致和物理上不合理的转移。三维高斯泼溅（3D Gaussian Splatting，3DGS）在视觉与图形领域展现了高效显式场景重建能力，但其在机器人策略学习中的应用尚未深入；同时，世界模型与扩散模仿学习的结合也鲜有研究。为此，研究人员提出GSP-3D框架，将可泛化3DGS、扩散策略和预测性世界模型统一到同一架构中。

GSP-3D由三个关键组件构成。第一，可泛化高斯回归器（GGR）从单帧RGB-D图像实时预测3D高斯原语，消除了逐场景优化成本。第二，3DGS条件扩散策略通过稀疏体素化与交叉注意力机制将高斯原语聚合为紧凑的潜在表示，替代稀疏点云，提供结构完整的几何信息。第三，基于Transformer的3DGS世界模型（GS-WM）在给定当前观测和动作的条件下预测未来高斯状态，并将预测误差作为辅助正则化损失，促使策略生成时间上一致且物理上合理的动作序列。该框架以端到端方式训练，辅助通路仅在训练阶段使用，测试时策略仅依赖当前观测执行动作。

在技术方法上，GSP-3D采用的主要关键技术包括：GGR采用U-Net风格编码器-解码器，通过深度反投影和点云解码器回归每像素高斯参数（位置μ、协方差Σ、不透明度α、颜色c），并以可微渲染损失监督训练；扩散策略使用去噪U-Net，以3DGS潜在编码、本体感觉和任务嵌入为条件生成动作；世界模型基于Transformer，以过去高斯状态序列与动作块为输入预测未来高斯状态，其损失函数包含位置、协方差、不透明度和颜色的预测误差。训练数据来源于RoboTwin 2.0平台自动生成的专家演示，每个任务使用50条演示，所有方法在相同数据、相同14维关节位置动作空间和相同评估协议下训练与测试。评估在Aloha-AgileX双臂平台上进行，每任务100次独立试验。

实验结果部分，研究人员首先关注学习效率。通过跟踪训练过程中成功率随epoch的变化，他们发现GSP-3D在全部8个任务上的收敛速度和最终成功率均优于基线DP3，显示出更强的协调双臂控制学习能力。在计算复杂度分析中，GSP-3D相比DP3仅增加极小的内存开销（初始内存2.301 GB对2.274 GB，峰值2.384 GB对2.356 GB）和推理时间（平均1.5214秒对1.3981秒），但取得了更高的任务成功率，体现了良好的效率-性能权衡。在干净与域随机化条件下的性能比较中，GSP-3D在Demo Clean和Demo Randomized两种环境下，所有任务的成功率均高于DP3，表现出更强的鲁棒性和泛化性。在任务级性能对比中，研究人员将GSP-3D与RDT、Pi0、ACT、DP、DP3等基线方法比较，结果显示GSP-3D在点击闹钟、传递积木、移动罐子、放置空杯、旋转二维码、扫描物体、放置风扇、按压订书机这8个任务上均取得最高成功率，例如点击闹钟达84%，传递积木78%，移动罐子76%。消融研究在Demo Clean设置下进行，使用三种随机种子取平均成功率，完整GSP-3D在每项任务上均优于去除3DGS、去除世界模型以及两者都去除的变体，证实了各关键组件的独立贡献。

讨论部分指出，GSP-3D利用显式3D高斯原语为扩散策略提供了比点云更丰富的几何条件，包括表面方向和体积占用信息；世界模型通过惩罚物理上不合理的未来场景转换，增强了时间一致性。局限性方面，该方法在遮挡或动态任务下偶尔失败，对世界模型损失权重敏感，在极端光照或反射表面下鲁棒性有所下降，尚未验证sim-to-real迁移，世界模型计算量随高斯数量二次增长，且不适用于可变形物体、极长时程任务或高频控制。未来工作包括在真实硬件上评估、扩展动态物体与可变形操作、部署时在线自适应世界模型，以及引入碰撞检测或刚体动力学先验等物理归纳偏置。

研究结论可概括为：研究人员提出了用于双臂操作的GSP-3D，统一了三维高斯泼溅、扩散策略学习与预测性世界模型。与依赖稀疏点云的先前方法不同，该方法使用由可泛化高斯回归器实时生成的显式3D高斯原语。这些原语为扩散策略提供了更丰富的几何条件，捕获了点云缺失的表面方向和体积占用。此外，基于Transformer的世界模型引入了辅助正则化损失，通过惩罚物理上不合理的未来场景转换来强制时间一致性，促使策略生成连贯且真实的状态演化。在RoboTwin 2.0的多种双臂任务上评估，GSP-3D在干净和域随机化条件下均实现了更高的成功率，且与基线方法相比计算开销最小。