CausalPose：一种基于因果关系的视觉-触觉融合技术，用于实现鲁棒的六自由度（6-DoF）物体姿态估计

《Pattern Recognition》：CausalPose: Causal visuo–tactile fusion for robust 6-DoF object pose estimation

　　吴佩良|李瑶|李远志|牛明月|赵风达|宋紫英|杨永涛|陈文白
中国河北省秦皇岛市河北街燕山大学软件学院人工智能学院，邮编066004

**摘要**
估计被抓取物体的6自由度（6-DoF）姿态面临遮挡、稀疏触觉接触和纹理模糊等挑战，这些因素常常导致虚假的跨模态相关性。我们提出了CausalPose，这是一种因果性的视觉-触觉融合框架，通过明确的前门中介机制和基于可靠性的选择来解决这些问题，从而实现可解释且具有因果依据的姿态推断。该框架包含两个模块：用于语义对齐和因果消混的前门中介对齐（FD-MA），以及基于上下文的多臂老虎机模型的因果可靠性自适应选择器（CRAS），后者根据不确定性和跨模态一致性自适应地权衡不同模态的信息。在Object-in-Hand、VinT-6D和我们自收集的ViTaReal-7（7个日常用品和类似工具的物体）上的实验表明，该框架在所有三个基准测试中都能 consistent 地降低位置/角度误差，与SelectLSTM相比提高了79.2%/74.1%，与VinT-Net相比提高了55.2%/45.5%，同时在仅依赖视觉的基准测试中也表现出竞争力。这些结果证明了因果推理是一种通用的方法，可用于鲁棒的视觉-触觉6自由度姿态估计。

**引言**
从视觉-触觉观测中准确估计物体的6自由度姿态是实现稳定抓取和感知接触式操作的基础，但在视觉遮挡、纹理模糊和稀疏触觉接触条件下仍然具有挑战性。现有方法要么从以相机为中心的深度观测数据中反推姿态[1]，要么在共享的潜在空间中对齐多模态特征[2]。仅依赖视觉的方法通过刚度感知检测[3]、隐式表示[4]和形状建模[5]来处理遮挡问题，但它们都将模态贡献视为固定或基于启发式的权重分配[1]，因此对跨模态不一致性较为敏感，因为部分观测下虚假的传感器相关性会累积[6]（因为它们无法区分真正的因果关系）。可靠的视觉-触觉融合需要：（1）如多模态研究[7]中所述的、基于语义的跨模态对齐；（2）在不完整模态条件下区分虚假依赖关系的原则性方法[8]；（3）在不确定性下自适应调节模态可靠性[9]。我们提出的CausalPose通过前门中介对齐（FD-MA）解决了（1）和（2）问题，该机制对预训练的视觉-语言嵌入进行因果干预[10]；并通过因果可靠性自适应选择器（CRAS）解决（3）问题，后者根据不确定性和一致性信号来权衡不同模态的信息[11]。

在Object-in-Hand[1]、VinT-6D[12]和我们自收集的ViTaReal-7数据集上的实验表明，该框架在统一协议下将位置/角度误差分别降低了79.2%/74.1%和73.4%/64.7%，相对于SelectLSTM基线，并且在ViTaReal-7数据集上相对于VinT-Net降低了55.2%/45.5%。主要贡献包括：（1）一个基于因果关系的融合框架，能够显著降低误差；（2）FD-MA和CRAS结合了语义先验、前门因果中介机制和基于老虎机的可靠性适应机制；（3）在ViTaReal-7数据集上的真实世界验证结果，该数据集涵盖了多种物体和操作条件，与SelectLSTM和VinT-Net进行了对比。

**部分片段**
6自由度物体的手握姿态估计
PoseFusion[1]引入了Object-in-Hand数据集和SelectLSTM流程，证明了在遮挡条件下的触觉感知能力，但仍存在相关性驱动的问题。碰撞感知方法[13]通过多个触觉传感器应用几何推理；加权ICP[14]动态融合RGB-D和触觉点云数据。VinT-6D[12]可处理数百万个样本，但存在持续的跨模态对齐不一致性问题。NeuralFeels[15]和ViTa-Zero[16]通过神经场扩展了融合功能。

**概述**
CausalPose将视觉-触觉姿态估计过程分为两个具有因果意义的阶段。给定视觉观测数据I∈R4×H×W和触觉图特征G=(N,E)，该框架学习f:{I,G}→P?∈SE(3)，以保持输入与姿态之间的因果结构。视觉特征由ResNet18主干网络（4通道RGB-D，投影到R128）提取；触觉图特征由NNConv+GCNConv提取（同样为R128）。如图2所示，FD-MA建立了一条前门因果路径，用于区分虚假的关联。

**数据集**
我们在两个公开的视觉-触觉基准测试和一个自收集的真实世界数据集（ViTaReal-7，详见第4.5节）上评估了所提出的框架。
- **Object-in-Hand[1]**：包含6自由度真实数据的RGB-D + BioTac触觉信号，具有多种抓取类型，特征是严重的遮挡和触觉数据的稀疏性。样本对象如图6(a)所示。
- **VinT-6D[12]**：大规模RGB-D + GelSight数据集（50个物体，120多个抓取动作），具有更高的触觉分辨率和更丰富的物体多样性。

**结论**
相关性驱动的视觉-触觉融合本质上是不稳定的：在没有明确的因果模型情况下，视觉遮挡模式与传感器特定噪声之间的虚假关联会直接影响到姿态预测，尤其是在需要可靠估计的时候。CausalPose通过将多模态融合视为因果推断来解决这一根本问题。两个互补的模块在估计流程的不同阶段发挥作用：

**作者贡献声明**
吴佩良：资金筹集。
李瑶：撰写 – 审稿与编辑、撰写 – 原稿、软件实现、方法论研究、数据分析、概念化。
李远志：数据分析。
牛明月：撰写 – 审稿与编辑。
赵风达：撰写 – 审稿与编辑。
宋紫英：撰写 – 审稿与编辑。
杨永涛：撰写 – 审稿与编辑。
陈文白：资金筹集。

**未引用参考文献**
[43]
**利益冲突声明**
作者声明他们没有已知的可能会影响本文研究的财务利益或个人关系。

**致谢**
本研究部分得到了中国国家自然科学基金（62276028）、河北省中央政府引导的地方科技发展基金（236Z1811G）、河北省创新能力提升计划（22567626H）、河北省科技厅（F2021203079）以及河北省燕山金色平台人才集聚计划（Grant号C2025005）的支持。