《Optics & Laser Technology》：Stereo vision reconstruction method for variable-diameter bent pipes based on 2D-3D cyclic mapping
编辑推荐：
摘要由于具有高精度、非接触式操作以及低成本等优点，立体视觉已被广泛用于工业管道外部形状的质量控制中的3D重建。然而，目前大多数基于立体视觉的研究都集中在直径恒定的管道上，而直径可变的管道则较少受到关注。为解决这一问题，我们将直径可变的弯曲管道建模为弯曲的截头圆锥体，并提出了一种基
摘要
由于具有高精度、非接触式操作以及低成本等优点，立体视觉已被广泛用于工业管道外部形状的质量控制中的3D重建。然而，目前大多数基于立体视觉的研究都集中在直径恒定的管道上，而直径可变的管道则较少受到关注。为解决这一问题，我们将直径可变的弯曲管道建模为弯曲的截头圆锥体，并提出了一种基于2D-3D循环映射的整体截面圆重建方法。首先建立弯曲截头圆锥体的透视投影模型，引入重建辅助线，然后利用该圆锥体的结构特征以及重建辅助线所施加的约束，确定截面圆的法向量和投影中心，进而估算出对应的3D圆心和半径。最后，将这些圆重新构建并组合起来，形成弯曲截头圆锥体的外表面，从而实现直径可变弯曲管道的3D重建。为验证该方法，我们开发了多视图立体视觉系统，同时进行了仿真和实验研究。实验结果通过ATOS Q扫描和Leitz PMM-C接触式测量设备进行评估。对于轴弯曲半径为270毫米、中心角为90度、两端半径分别为15毫米和40毫米的直径可变弯曲管道，该系统的重复性误差为0.026毫米，重建误差为0.098毫米，充分证明了该方法的可靠性和高精度。
引言
管道在能源、汽车和航空航天等行业中被广泛应用[1]，是各类系统中的关键组成部分。制造误差以及长期使用导致的管道变形可能会影响整个系统的稳定性，甚至引发故障[2]。在那些对可靠性要求极高的应用中，人们对管道的外部形状质量有着更为严格的要求，这就需要通过3D重建来实现有效的质量控制。此外，重建得到的3D管道数据还可以为新兴的数字孪生和监测辅助应用提供基础的几何支持[3][4]。然而，管道种类的多样性、缺乏明显的视觉特征[5]，以及某些系统中存在直径可变的管道，这些都给精确重建带来了困难。因此，对于实际工程应用而言，可靠的管道3D重建仍然至关重要。
常见的管道检测方法包括坐标测量机[CMMs][6]、光学扫描以及立体视觉。虽然坐标测量机具有高精度和高可靠性，但其高昂的成本和复杂的操作流程通常使其只能用于抽样检测[7]。光学扫描方法则是通过向物体投射激光线[8][9][10][11]或结构光图案[12][13][14][15]来获取3D点云。不过，多视图配准通常依赖于外部定位装置或人工标记来建立统一的坐标系，这不仅会增加系统的复杂性，还可能影响点云的完整性。相比之下，立体视觉提供了一种更为简单且成本更低的解决方案，近年来在管道检测研究中受到了广泛关注。
在基于立体视觉的管道检测方法中，早期的研究假设在正交投影条件下，将管道轮廓的中心线视为管道轴线的投影[16][17]，但这种做法在透视成像条件下必然会引入重建误差。为了解决这个问题，一些研究开始关注管道的透视投影模型。Cheng等人[18]分析了直径恒定管道的单视图投影模型，提出了一种提取投影轴线并估算直径以用于3D重建的方法。Zhao等人[19]则结合投影模型与多视图立体视觉来重建直径恒定管道，同时运用普吕克坐标来精确确定管道端点的位置。这些研究通过分析投影模型，准确估算出了管道轴线，降低了重建误差。然而，他们的模型是基于直径恒定管道开发的，因为这类管道表面的轮廓生成元素之间存在平行关系，有助于限定截面方向。而对于直径可变的管道，由于轴线上的半径会发生变化，这一条件不再成立，因此这些模型无法直接应用于直径可变管道。
近年来，人们开始探索基于优化的框架，以提高管道重建的精度和稳健性。Wang等人[20]通过优化符合光一致性约束的3D中心线，利用立体视觉实现了多弯管道的重建。Wu等人[21]则采用了改进的蛇形模型能量函数，对最初重建得到的中心线点云进行优化。Pai等人[22]首先通过立体视觉确定“管道种子”，再利用多视图一致性优化其参数，最后以自适应步长逐步扩展该“种子”以完成重建。这些方法都在多视图约束下共同优化管道参数，取得了良好的重建精度。不过，这些优化框架通常需要预先定义管道参数。对于直径可变管道，图像轮廓的偏差还会受到截面半径变化的影响，这会在优化过程中引入额外的参数耦合，使得这些框架难以直接应用。最近，基于学习的方法通过改进视差估算[23]以及直接从图像对中恢复3D表示[24]，推动了立体重建技术的发展。深度学习也被应用到了基于几何的重建中。Hart等人[25]利用实例分割技术在摄影测量图像中识别管道，然后根据得到的轮廓重建其几何结构。不过，基于学习的方法可能对训练数据较为敏感，那些表面平滑、纹理较弱的管道仍然很难被准确重建。
综上所述，尽管深度学习推动了基于图像的3D重建技术的发展，但它在该领域中的应用仍然十分有限。现有的基于立体视觉的管道检测方法主要针对直径恒定的管道，而针对直径可变管道的重建研究则相对较少。然而，作为连接不同直径管道的关键部件，直径可变管道在航空航天和能源等领域被广泛使用。与直径恒定的管道相比，尤其是那些直径可变的弯曲管道，其几何结构更为复杂，给精确的3D重建带来了巨大挑战。为了解决这一问题，本文将直径可变弯曲管道建模为弯曲的截头圆锥体，进而开发了一套基于2D-3D循环映射的直径可变弯曲管道重建框架。本文的主要贡献如下：
(1) 建立了弯曲截头圆锥体的透视投影模型。该模型将弯曲截头圆锥体描述为一系列半径不断变化的截面圆，为从图像轮廓中恢复不同的截面参数提供了几何基础。
(2) 引入了重建辅助线，用以将2D轮廓信息与3D几何结构联系起来。通过重建和分析这条辅助线，可以确定截面圆的法向量，为后续的中心点和半径估算提供重要约束。
(3) 提出了一种基于2D-3D循环映射的整体截面圆重建策略。通过多视图观测数据，可以估算出每个截面圆的法向量、3D中心点和半径，进而根据这些信息重建出直径可变弯曲管道的表面。
(4) 构建了多视图立体视觉系统，并通过仿真和实物实验来验证所提出的直径可变弯曲管道重建方法的准确性和重复性。
本文的其余部分结构如下：第2节详细介绍了直径可变弯曲管道的重建方法；第3节介绍了基于仿真的方法验证与分析；第4节介绍了多视图立体视觉系统，并展示了实验验证结果；第5节探讨了该方法的适用性、局限性以及未来的发展方向；第6节对全文进行总结。
章节要点
直径可变弯曲管道的重建方法
在本文中，直径可变弯曲管道被建模为弯曲的截头圆锥体，这类圆锥体可以看作是一系列直径和中心位置不断变化的空间圆堆叠而成。这些空间圆代表了弯曲截头圆锥体的截面圆，而它们中心点所形成的轨迹则构成了通常呈弧形的圆锥体轴线。每个圆心处的轴线切线即为该截面圆的法向量，而所有与这个法向量共面的圆锥体外表面切线
仿真验证与分析
本研究开发的多视图视觉系统由八台工业相机组成，并采用了背光照明方式。在本节中，我们对该系统的成像过程进行了仿真，同时利用仿制的管道模型验证了第2节中提出的方法。此外，这些仿真结果还为后续实物平台的设计提供了依据[30]，包括结构配置、硬件选型以及视野覆盖范围等方面的设计。
实验与结果
本节中，我们根据第3节中的仿真参数构建了用于管道检测的多视图立体视觉系统，该系统配备了Hikrobot MV-CS050-10GM相机和Computar M0828-MPW3镜头，如图13所示。所有相机都通过外部触发信号来控制，以实现同步图像采集，这样可以减少因测量过程中可能出现振动而导致的多视图不一致问题。由于所提出的方法主要依赖于管道轮廓以及背光照明
讨论
(1) 弯曲截头圆锥体模型的适用性
所提出的方法基于弯曲截头圆锥体模型，主要适用于那些截面近似为圆形、半径连续变化且轴线呈弧形的光滑直径可变弯曲管道。对于几何形状不规则或存在局部变形的管道，其轮廓边缘可能会偏离典型的弯曲截头圆锥体投影形态，这使得难以识别出成对的对应点。另外，如果截面半径的变化是不连续的，那么由各切线交点所形成的轨迹
结论
在本研究中，我们将直径可变弯曲管道建模为弯曲的截头圆锥体，并提出了一种基于2D-3D循环映射的其截面圆的整体重建方法。具体而言，通过建立透视投影模型、构建重建辅助线以及重建截面圆，就能够实现直径可变弯曲管道的3D重建。通过ATOS Q扫描和Leitz PMM-C接触式测量设备对实验结果进行的评估，证明了所提出方法的可靠性，尤其是对于双弯结构的管道
关于稿件准备过程中生成式人工智能及人工智能辅助技术的声明
在撰写本文的过程中，作者们使用了ChatGPT来提升文本的表达质量和可读性。在使用该工具之后，作者们对内容进行了必要的审阅和修改，并对最终发表的内容负全责。
CRediT作者贡献声明
王玉桐：写作——初稿撰写、软件应用、方法设计、研究实施、形式分析、数据整理、概念构思。穆丹宇：可视化处理、方法验证。王欣韵：研究实施、数据整理。孙俊华：写作——审稿与编辑、项目监督、资源协调、项目管理、研究实施。
利益冲突声明
作者声明，他们不存在任何可能影响本文研究结果的已知财务利益关系或个人关系。
王玉桐|穆丹宇|王欣韵|孙俊华
