PGCSPose：基于物理约束的生成技术与因果语义融合方法，用于实现鲁棒的手持物体姿态估计

《IEEE Robotics and Automation Letters》：PGCSPose: Physics-Constrained Generation and Causal-Semantic Fusion for Robust In-Hand Pose Estimation

手部姿态估计在视觉遮挡超50%和触觉中断60%时仍能保持实时性能，通过物理约束扩散模型TacDiffusion生成触觉信号，结合因果推理模块CauCon整合语言模型语义先验，将姿态误差降低50%，达到厘米级位置精度和弧度级角度精度。

　　

摘要：

精确的手部姿态估计对于灵巧的机器人操控至关重要，但在严重的视觉遮挡（50%）和间歇性的触觉接触情况下，其准确性会受到影响。现有的视觉-触觉融合方法将视觉和触觉视为对称的处理对象，忽略了它们之间的非对称依赖性：视觉观察（物体几何形状和抓取方式）会通过接触力学影响触觉反馈。我们提出了PGCSPose框架，该框架利用这种视觉与触觉之间的依赖性，通过两个组件来实现这一目标：TacDiffusion是一个受物理约束的扩散模型，能够在接触丢失的情况下合成合理的触觉信号；CauCon是一个受因果原理启发的推理模块，它整合了来自语言模型的语义先验，以进行鲁棒的推理。在ObjectInHand和VinT-6D数据集上的广泛测试表明，PGCSPose在70%的遮挡率和60%的触觉信号丢失情况下，可以将姿态误差降低50%；在各种基准测试中，其位置误差保持在0.44–0.47厘米之间，角度误差保持在0.075–0.081弧度之间，同时保持了实时性能（16.1帧/秒）。这些结果证明，受物理约束的生成机制和基于因果关系的语义推理能够在感知条件下降的情况下实现可靠的操控。