接触图引导的离散制造单元数字孪生构建与增量更新

《ROBOTICS AND COMPUTER-INTEGRATED MANUFACTURING》：Contact-graph-guided digital twin construction and incremental update for discrete manufacturing cells

　　

**要点总结**

• 接触图统一了单目数字孪生构建与增量更新。
• CAD约束与图优化提升了位姿和物理一致性。
• 局部子图维护避免了重复的全场景重建。
• 增量更新以全运行时26.5%的开销保持了几何质量。

**引言**

在离散制造等动态工业场景中，实例级数字孪生系统的核心价值在于持续提供与物理现场保持一致的可见实例级三维表示，从而支持机器人运动规划、碰撞检测和工艺仿真等下游任务。相较于依赖人工扫描的传统离线流程，利用低成本视觉传感器自动构建和维护数字孪生可以降低部署成本，并避免场景变化后重复建模。然而，对于持续运行的物理生产线而言，这不仅仅是一个静态视觉重建问题。系统必须检索CAD模型并恢复6D位姿，同时需要在局部变化后基于几何接触一致性维护场景状态。

现有方法在这些需求下仍存在局限。在场景重建方面，先前工作已证明从单目图像恢复实例级几何的可行性，涵盖联合布局与网格恢复[1]以及CAD对齐优化[2]、[3]、[4]。一些方法引入支撑层级以减少悬浮和穿透伪影[4]、[5]，但其关系结构主要服务于单次布局优化。在数字孪生同步方面，近期研究如Real-is-Sim、GaussTwin和SyncTwin[6]、[7]、[8]强调了持续维护虚实一致性的重要性，但其更新机制多以单个物体为基本单元。当一组工件随托盘一起移动，或底层支撑物体发生位移时，基于物体单位的更新无法高效利用已知的物体间约束进行运动传播。与此同时，主流场景图研究[9]、[10]、[11]提供了结构化关系表示，但其图主要描述语义关系，缺乏可直接转化为物理布局约束和更新边界的关系语义。

因此，本文提出了一种面向离散制造单元的数字孪生场景构建与增量更新框架，基于固定视角单目RGB图像序列，以接触图作为统一中间表示。接触图显式编码实例之间的支撑边和同级接触边。在初始构建阶段，它组织接触约束并驱动分层布局优化。在增量更新阶段，它界定变化传播的范围，用受影响的局部子图维护取代全场景重建。由此，初始构建与持续维护在单一结构化表示下得以集成。图1对比了所提出的局部增量更新与全重建和基于物体的更新。

本文的主要贡献如下。第一，提出了一种单目RGB数字孪生维护框架，通过接触图统一初始构建与增量更新。第二，引入基于CAD几何约束的深度尺度校准和基于接触图的分层布局优化，以提升实例平移精度和物理接触一致性。第三，提出了一种接触图引导的局部增量更新机制，将全重建转化为受影响的子图维护。

本文其余部分组织如下。第2节综述相关工作。第3节详述所提方法。第4节报告实验评估与消融分析。第5节总结全文。

**章节摘要**

**基于CAD检索的实例级场景重建**

面向数字孪生的实例级场景重建近期方法仍可大致分为生成式和检索式两类。生成式方法通常从单张图像出发，通过扩散或组合建模同时恢复物体几何、位姿和场景布局。然而，其输出往往是基于观测生成的近似几何，而非与标准化工业资产严格绑定的可索引模型。这使得稳定

**问题定义**

设固定视角单目RGB图像序列为$\{I_t\}_{t=0}^T$。本文仅维护可观测工作区域内的可见实例级几何状态，不维护当前视野之外不可见的实例。时刻$t$的可见实例集为$\mathcal{S}_t = \{o_k^t\}$，标识符集为$\mathcal{K}_t$。每个实例具有跨帧一致的标识符$k$、绑定的CAD模型$M_k \in \mathcal{M}$，以及6D位姿$T_k^t \in SE(3)$。除非另有说明，$T_k^t = [R_k^t, t_k^t]$表示刚

**数据集**

使用Visual Components Premium 4.8商业离散制造仿真软件构建合成数据集，以评估数字孪生构建与增量更新能力。该数据集包含47个工业场景，涵盖工件装配、机器人装卸和多工艺流。每个场景提供60秒、1 FPS的图像序列，分辨率为1120 × 1120。随附的CAD资产库包含381个高精度模型。每帧

**结论**

本文针对离散制造单元数字孪生中局部动态场景状态维护的需求，提出了一种基于固定视角单目RGB序列的实例级数字孪生构建与增量更新框架。该框架通过接触图将初始构建与持续维护连接起来。在初始构建阶段，支撑关系和同级接触关系驱动分层布局优化，以减少常见的悬浮和

**CRediT作者贡献声明**

Lv Chaofan：撰写 – 原稿，软件，方法论，数据整理，概念化。Bao Jinsong：撰写 – 审阅与编辑，经费获取，概念化。

**利益冲突声明**

作者声明不存在已知可能影响本文所述工作的竞争性经济利益或个人关系。

**致谢**

本工作受国家自然科学基金（编号：52475513）和中国上海市科学技术委员会重点技术研发计划（编号：25JC3202300）资助。

Lv Chaofan | Bao Jinsong