基于三维点云数据与轻量级模型的船舶制造子组件识别方法

《Ocean Engineering》：Recognition method for sub-assemblies in shipbuilding based on three-dimensional point cloud data and lightweight models

　　韩恩珍|金尚宇|郑大镇|安昌宇|文承焕|金亨珍|崔斗镇|权基渊•一种无需训练的新方法，可通过点云和CAD数据识别子装配体。•多特征方法通过孔洞和加强筋布局来区分相似的面板。•CAD中的焊接线可自动映射到机器人坐标系中，无需手动设定。•该方法已在469个CAD模型以及三个实际造船厂数据集上得到验证。•精准的对齐减少了机器人焊接时对触觉感应的需求。

引言
船体设计是将结构划分为多个模块，每个模块在最终组装前分别制造。建造过程从子装配体开始，即先拼接加工好的薄板，然后再逐步组装单元组件和整体结构。组装主要通过连接各部件接触处的焊接来实现。焊接是造船厂中最主要的成本因素，因此保持焊接质量（Amirafshari等人，2021；Tessema和Bismor，2024）以及控制焊接引起的变形至关重要（Ha，2013；Heo和Chung，2014）。为降低焊接成本并提升质量，机器人焊接自动化已被广泛应用。焊接工艺可分为完全由熟练工人操作的手工焊接、使用移动装置的半自动焊接，以及采用关节式或龙门式机器人的全自动焊接。在子装配阶段，如图1所示，加强筋会被固定在薄底板上，随后进行焊接。由于加强筋数量众多，这一阶段需要大量焊接作业，但整体几何结构相对简单。此外，除了固定的加强筋外，工作环境基本没有障碍物，非常适合实现焊接自动化（Wahidi等人，2023；Wang等人，2022；Xu等人，2022）。

在半自动焊接中，路径要么由人工设定，要么依靠轨道引导，没有预先设定的轨迹。而自动焊接则依赖预先设定的路径，机器人会按照这些程序化的路线进行焊接（Wahidi等人，2024）。通常，焊接路径是根据三维计算机辅助设计（CAD）模型生成的（Kwon等人，2023）。由于这些路径是在CAD坐标系（即船舶坐标系）中定义的，因此必须将其转换为机器人坐标系，才能实现精确的机器人操作。这种转换可以通过手动指定参考点或自动识别焊接目标来完成。本研究提出了一种利用轻量级模型和点云数据识别目标子装配体的方法，以助力子装配阶段的焊接自动化。同时，该方法还解决了如何将CAD模型中的焊接线映射到实际工件上的问题。

目前，用于识别一般零件和特定对象的方法大致可分为基于人工智能的方法（Batool等人，2023；Deshpande等人，2024；Lee等人，2023；Ren等人，2024；Yun等人，2023；Zendehdel等人，2023）、基于视觉传感器的方法（Chen和Ventura，1995；Guo等人，2024；Huang等人，2023；Lee等人，2023；Zou等人，2018），以及基于3D扫描仪的方法（Dantanarayana和Huntley，2017；Heged?s-Kuti等人，2023；Salti等人，2014；Zhou等人，2024）。基于人工智能的技术主要利用深度学习模型自动学习各种零件的几何形状。例如，Lee等人（2023）构建了B-rep模型，并运用图神经网络来识别CAD模型中的特定几何结构。Deshpande等人（2024）提出了一种基于深度学习的方法，通过分析增材制造过程中拍摄的图像来对零件进行分类并检测缺陷。Zendehdel等人（2023）基于YOLOv5开发了一种物体识别模型，利用已制造的零件图像数据实现快速检测。不过，这些基于人工智能的方法的效果在不同程度上取决于训练数据的多样性和数量。虽然它们非常适合重复识别形状相同的零件，但在处理船舶子装配过程时，其性能会下降，因为这些过程中的零件往往具有相似的尺寸、形状或对称结构，如图2所示。这种相似性可能导致即使使用了经过训练的模型也会出现误识别。此外，当出现新的零件几何形状时，就需要重新进行训练，而构建大规模训练数据集既耗时又昂贵（Batool等人，2023；Ren等人，2024）。因此，这些方法并不适用于处理形状相似的零件子装配过程。而且，除了识别目标子装配体外，还需要额外步骤将CAD坐标系中定义的焊接线转换为机器人坐标系。

基于视觉传感器的方法通过RGB摄像头扫描零件的外部形状，并从捕获的图像中提取特征来识别零件。例如，Lee等人（2023）开发了一种自动检测技术，利用RGB摄像头图像来评估零件的形状并检测制造过程中的缺陷。类似地，Chen和Ventura（1995）提出了一种方法，利用机器视觉从机械零件的二维图像中提取轮廓数据，从而分析其形状、位置和尺寸。这些方法具有快速识别的优点，非常适合实时处理。然而，它们的性能会受到照明、反射、阴影和表面材料等外部环境因素的显著影响。尤其是钢板等金属表面，由于光线反射会导致图像质量下降（Huang等人，2023）。此外，这些方法与其他基于人工智能的技术存在类似的局限性。相比之下，基于3D扫描仪的方法能够通过直接捕获零件的实际几何形状作为点云数据，实现高精度识别。所得的点云数据通常包含数十万到数亿个点，每个点都有x、y和z坐标值。这使得可以直接获取详细的几何信息，如孔洞的大小、高度、曲率及位置。例如，Dantanarayana和Huntley（2017）提出了一种利用点云数据估算零件位置和方向的技术。他们的方法假设存在多个候选位置，然后通过最大似然估计选出与观测数据最匹配的位置。通过概率方式评估点云中的候选位置，该方法能够确定零件最可能所在的位置。Salti等人（2014）提出了方向直方图特征描述符，该描述符将每个点周围的局部表面特征以直方图形式呈现。这种方法能够准确表示零件的独特三维几何结构，从而实现可靠识别，并与对应的CAD模型进行精确对齐。

在典型的工业环境中，工作区域内通常会同时存在多个子装配体，且需要同时进行多项操作。对于焊接自动化而言，必须识别每一个子装配体，并将CAD坐标系中定义的焊接线转换为机器人坐标系。在焊接过程中，机器人会先使用触觉传感器或激光视觉系统确定每条焊缝的起始点和结束点，然后再执行焊接操作。为了提升焊接自动化水平并确保操作顺畅，必须大幅减少坐标转换过程中可能出现的映射误差。此外，如果能够将映射误差降到无需触觉感应的程度，就能显著提高焊接过程的效率。

本研究提出了一种方法，利用3D扫描仪获取的点云数据结合轻量级模型来识别子装配体，同时自动将CAD模型中的焊接线与零件的实际位置对齐（见图3）。零件识别的特征是从子装配体的轻量级模型以及相应的实测点云数据中提取的。通过评估这两组数据之间的相似度，即可识别出目标子装配体，同时还将CAD模型中的焊接线映射到实测零件上，选取相似度最高的那一组。

以往的研究大致可分为三类：(a)严重依赖大规模训练数据集的基于人工智能的方法（Lee等人，2023；Deshpande等人，2024；Zendehdel等人，2023）；(b)对光照和反射变化敏感的基于2D视觉的方法（Chen和Ventura，1995；Lee等人，2023）；(c)需要密集点云但难以区分几何结构相似的零件的基于3D描述符的技术（Salti等人，2014；Dantanarayana和Huntley，2017）。然而，船舶制造中的子装配过程面临着三个独特挑战：(1)由于经常出现新的零件形状，构建大规模训练数据集并不现实；(2)在同一工作区域内，存在大量基底板轮廓几乎相同，但孔洞和加强筋配置略有差异的零件；(3)在焊接自动化过程中，必须在识别零件的同时将焊接线映射到实测坐标系中。据我们所知，目前还没有任何方法能够同时满足这三大要求，而这正是本研究要解决的重要研究空白。

本研究的主要贡献如下：(1)一种无需训练的识别框架，无需训练数据，也不需要在引入新零件时重新训练。(2)一种多阶段识别流程，整合了面积、长宽比、距离分布、边界与加强筋的对应关系、孔洞特征以及加强筋的相似性分析，从而能够区分那些外观相似但孔洞位置或加强筋配置不同的零件。(3)一种自动化流程，可在识别零件的同时将CAD中的焊接线映射到实测坐标系中，这样映射后的焊接线可直接作为生成机器人焊接路径的几何输入，无需再进行识别后的额外对齐步骤。

当使用2D视觉技术来识别船舶子装配体零件并映射焊接线时，会在本研究涉及的操作环境中出现若干结构性限制。首先，子装配体零件通常带有许多高耸的加强筋。在使用单视点2D视觉系统时，这些加强筋往往会遮挡相邻基底板的边界，导致部分区域无法被测量。为了解决这一问题，本研究中将3D扫描仪以一定倾斜角度安装，从而提升了覆盖范围。

其次，2D视觉的一个重大局限在于它容易受到不同光照条件、钢板表面反射以及阳光照射的影响，这些因素都会妨碍稳定获取图像。虽然3D扫描仪在这种环境下也会产生噪声，但可以通过去噪、过滤和剔除异常值等后期处理技术来减轻噪声影响。

第三，本研究的目标是实现精确的零件识别和焊接线映射。为了使焊接机器人能够根据映射后的焊接线顺利工作，将焊接线转换为机器人坐标系的精度至关重要。要在约20米大的工作区域内通过2D视觉实现所需的精度，就需要部署多个摄像头并采用复杂的图像对齐流程，这会降低2D系统通常具备的简洁性和成本效益。

第四，2D成像在识别加强筋方面也存在困难。2D图像中加强筋的外观会因2D摄像机的安装位置而发生变化，而且基底板表面往往存在各种标记，状况也不均匀。这些因素使得很难将加强筋与背景清晰区分开来。

第五，也是最关键的一点，工作区域并非平面。整个工作区域长度约为20米，且存在倾斜，其中的零件基底板厚度也各不相同，有些甚至呈弯曲或倾斜状态。因此，要实现可靠的识别和映射，准确的深度测量十分必要。

鉴于上述挑战，本研究采用了基于3D点云数据的识别和焊接线映射方法，而非传统的2D视觉技术。

章节节选
轻量级模型
轻量级模型用于可视化，通常由三角形构成。目前，大多数造船厂都会开发和使用轻量级模型，以便进行设计评审并支持生产流程（Kim等人，2024；Kwon，2019）。在这些模型中，三维几何结构以三角形网格的形式呈现，有时还会包含额外的边界曲线信息。不过，加入此类曲线数据会增加文件大小并降低模型处理速度。

轻量级模型预处理
轻量级模型仅通过三角形元素来表示几何结构，省略所有非三角形信息，以此减小文件大小。因此，这类模型缺乏关于边界边缘、面以及三角形之间拓扑关系的明确数据。为了解决这个问题，必须通过分析相邻三角形之间的连接关系来确定边界边缘，同时对应地对面进行分类（Dantanarayana和Huntley，2017）。焊接线则被定义为某些特定区域。

去噪处理
子装配体的基底板厚度约为10毫米。如图6所示，噪声的存在以及基底板表面的不均匀状况都会给数据采集带来困难。支撑零件的滚筒与零件本身的高度差极小，而零件可能出现的变形进一步阻碍了纯零件数据的获取。为可靠地获得零件的精确点云数据，首先生成了地面高度图，以便筛选出合适的候选区域。初始候选区域是根据面积、长宽比以及距离图来选择的。由于测量数据中存在噪声，且某些底板区域可能被加强件遮挡，部分区域可能无法被完整捕捉。为解决这些不确定性，在选择与候选区域特征相似的CAD数据时采用了较大的容差值。面积相似度是指根据实际计算出的面积与候选区域面积之差的比值。

应用实例：该程序是用C++语言在Visual Studio 2019环境下开发的，所有组件均为内部开发，未依赖任何外部库。测试用的电脑配备了Intel Core Ultra 9285 K处理器和64GB内存。实验是在造船厂内的表面板上放置的子组件上进行的，共评估了三组数据集，每组数据集包含多个同时测量的子组件，总计使用了469个CAD模型，对应四个大型装配体。

讨论：所提出的方法与现有的零件识别技术进行了比较。通常，算法对比是通过在标准化数据集上定量测量识别率和处理时间来进行的。但对于基于深度学习的识别方法，此类定量对比在本研究中的可行性较低。在造船业的子组件加工过程中，零件并非重复生产，且每次投入的零件几何形状都可能有所不同。

结论：本研究提出了一种用于自动识别造船业子组件加工过程中的目标子组件的方法，同时还能将CAD模型生成的焊接线与实际测量位置对齐。该方法利用了已在造船厂广泛应用的轻量级模型和3D点云数据，旨在无需构建大量训练数据集的情况下，区分几何形状相似的子组件。

资金支持：本研究得到了贸易、工业和资源部资助的“船舶子组件智能化创新技术发展项目”（编号RS-2023-00253140）以及“造船与海洋工业技术发展项目”（编号RS-2024-00459445）的支持。

作者贡献说明：Eunjin Han负责概念设计、方法论、软件开发以及初稿撰写；Sangwoo Kim负责概念设计及软件开发；Daejin Jung负责概念设计及软件开发；Changwoo Ahn负责数据整理和方法论研究；Seunghwan Mun同样负责数据整理和方法论研究；Hyungjin Kim和Doojin Choi负责数据整理工作；Kiyoun Kwon则负责概念设计、方法论、软件开发、初稿撰写以及审稿编辑工作。

利益冲突声明：作者声明存在以下可能被视为利益冲突的财务利益/个人关系：Kiyoun Kwon表示获得了韩国国家研究基金会和韩国政府（贸易、工业和资源部）的财政支持。