《Frontiers in Neurorobotics》：Learning robust and generalizable bimanual skills: a spatiotemporal causal hierarchical diffusion framework with attention anti-interference
编辑推荐：
双手视觉运动模仿学习使机器人能够从视觉演示中获取协调的双臂操作技能，但其面临时间同步、空间碰撞避免、长时程推理以及对视觉干扰鲁棒性等方面的重大挑战。现有基于扩散的策略往往难以同时捕获长时程时间依赖关系和细粒度空间精度，且对虚假相关性和域偏移保持敏感。为解决这些
双手视觉运动模仿学习使机器人能够从视觉演示中获取协调的双臂操作技能，但其面临时间同步、空间碰撞避免、长时程推理以及对视觉干扰鲁棒性等方面的重大挑战。现有基于扩散的策略往往难以同时捕获长时程时间依赖关系和细粒度空间精度，且对虚假相关性和域偏移保持敏感。为解决这些局限性，研究人员提出了时空因果分层扩散模仿学习器（Spatiotemporal Causal Hierarchical Diffusion Imitation Learner, SCH-DIL），该框架整合时空分层扩散优化，将去噪过程分解为时间分支和空间分支以实现多尺度动作建模。该框架进一步结合因果视觉表征学习，通过最小化与混淆环境因素之间的互信息来生成不变特征，同时采用噪声鲁棒扩散建模，利用可学习的观测不确定性估计和置信度感知去噪。此外，还引入了注意力抗干扰正则化来惩罚干扰并强制时间注意力一致性。在RoboTwin 2.0基准上的大量实验表明，SCH-DIL始终优于现有的基于扩散的和模仿学习基线方法，在干净和域随机化推理设置下均实现了更高的成功率。这些改进以极小的计算开销实现，表明所提出的分层且因果正则化的扩散框架为视觉挑战性和域偏移环境中的双手视觉运动模仿学习提供了一种实用且鲁棒的解决方案。
该研究聚焦于双手视觉运动模仿学习（bimanual visuomotor imitation learning）领域，旨在使机器人能够从视觉演示中学习协调的双臂操作技能。与单臂设置相比，双手任务在时间同步、空间碰撞避免以及部分可观测性下的长时程推理方面提出了额外挑战。尽管近期基于扩散的策略在建模多模态动作分布和提升确定性行为克隆的鲁棒性方面展现出潜力，但将其应用于真实双手场景时仍面临关键局限。
现有研究存在的主要问题包括：标准扩散策略无法同时捕获长时程时间依赖关系和细粒度空间精度，大多数现有方法将动作生成视为单一去噪过程，导致要么丢失高层时间结构，要么无法保持底层控制精度；此外，视觉表征对虚假相关性和域偏移敏感，依赖相关性视觉特征的传统策略在光照变化和杂乱背景等扰动下性能显著下降。为应对这些挑战，研究人员开发了时空因果分层扩散模仿学习器（SCH-DIL），该框架包含四项关键创新：时空分层扩散优化将去噪过程分解为时间扩散分支（建模高层动作节奏）和空间扩散分支（精细化底层控制精度）；因果视觉表征学习通过最小化学习特征与混淆环境因素之间的互信息来产生对视觉干扰不变的不变表征；噪声鲁棒扩散建模采用可学习的观测不确定性估计和置信度感知去噪；注意力抗干扰正则化惩罚分配给非任务相关区域的注意力并强制时间注意力一致性。
该研究在RoboTwin 2.0基准上进行评估，该基准包含动态场景、双臂协调和强域随机化，实验结果表明SCH-DIL在干净和随机化推理设置下均一致优于现有基于扩散的和模仿学习基线，且计算开销极小。该论文发表于《Frontiers in Neurorobotics》，为双手视觉运动模仿学习提供了实用且鲁棒的解决方案。
研究人员为开展该研究运用的主要关键技术方法包括：时空分层扩散优化，将去噪过程分解为时间扩散分支和空间扩散分支，分别建模高层动作节奏和底层控制精度，通过可学习插值算子实现联合优化；因果视觉表征学习，基于点云（point cloud）输入，采用对抗性环境分类器最小化条件互信息I(f;e|a)，通过变分上界推导实现不变特征提取，辅以点云重建损失保留任务相关几何信息；噪声鲁棒扩散建模，引入可学习的观测不确定性估计器，通过指数移动平均（EMA）目标进行异方差回归训练，采用置信度感知去噪网络将基础去噪器和补偿去噪器按不确定性倒数加权混合；注意力抗干扰正则化，利用仿真器提供的语义标签生成任务相关掩码，通过空间注意力正则化惩罚非任务区域注意力、时间注意力一致性损失强制跨步骤稳定关注，并结合随机掩码扰动和注意力掩码增强鲁棒性，推理时无需掩码输入。
研究结果部分，研究人员首先在两个代表性任务Dump Bin Bigbin和Put Bottles Dustbin上进行了主要实验，并扩展至五个任务进行全面对比。在干净推理设置下，SCH-DIL在Dump Bin Bigbin任务达到0.90±0.01的成功率，在Put Bottles Dustbin任务达到0.71±0.01的成功率；在域随机化推理设置下，两个任务的成功率分别为0.68±0.02 about 0.02和0.39±0.02，均显著优于最强基线DP3（p<0.01，成对t检验）。在五个扩展任务（Click Alarmclock、Open Microwave、Place Burger Fries、Open Laptop、Put Bottles Dustbin）上，SCH-DIL在干净和域随机化条件下均一致取得更高的平均成功率，干净设置下平均为0.78±0.02，随机化设置下平均为0.26±0.03。与RDT、π0、ACT、DP、DP3等多种基线方法的对比显示，SCH-DIL优势显著，特别是在域随机化条件下，多数基线方法性能急剧下降甚至归零，而SCH-DIL保持了较强的鲁棒性。消融实验系统验证了各核心组件的贡献：去除时间分支或空间分支均导致性能显著下降；因果模块在域偏移条件下贡献突出；噪声鲁棒模块和注意力模块均对整体性能有积极贡献；即使使用噪声掩码（w/ Noisy mask），SCH-DIL仍保持接近完整模型的性能，验证了其对掩码质量的鲁棒性。计算复杂度分析表明，SCH-DIL引入的内存开销极小（峰值内存约2.387 GB vs DP3的2.358 GB），推理时间增加有限，在鲁棒性与实时可行性之间保持了实用平衡。
讨论部分，研究人员指出SCH-DIL通过整合分层时空建模、因果表征学习和鲁棒注意力机制，显著增强了双手视觉运动模仿的泛化性、鲁棒性和成功率。各组件的协同作用使得模型能够有效应对视觉干扰和域偏移挑战，同时以最小计算开销实现性能提升。研究结论表明，SCH-DIL通过四项关键技术创新——时空分层扩散优化、因果视觉表征学习、噪声鲁棒扩散建模和注意力抗干扰正则化——为长时程可泛化双手操作提供了一种统一的扩散策略框架，在RoboTwin 2.0基准上的广泛实验验证了其优越性。研究也存在一定局限性：目前依赖训练阶段的真值语义掩码和已知环境混淆因素，增加了训练复杂度；评估仅限于仿真环境。未来工作将探索自监督掩码预测方法（如利用SAM等基础模型生成伪掩码）、域适应技术以缩小仿真到真实的差距、在真实机器人平台上的验证，以及进一步评估计算效率并将方法扩展至跨具身设置。
