基于语义-几何双重知识的车辆零部件实例分割

《Engineering Applications of Artificial Intelligence》：Semantic-geometric dual knowledge guided instance segmentation for vehicle components

提出双知识引导的车辆部件实例分割网络DKGNet，通过增强语义知识网络和嵌入几何知识模块，有效解决多目标、低类内相似性及高类间相似性挑战，在59类车辆部件数据集上检测精度提升19.3%，分割精度提升19.1%。

　　车辆组件的检测与分割是智能车辆损伤评估中的关键步骤。然而，由于车辆组件种类繁多，形状各异，且镜像对称组件之间存在高度相似性，漏检和误检仍然是车辆组件检测与分割中的常见挑战。为了解决这些问题，本文提出了一种基于深度学习的双知识引导车辆组件实例分割网络。该方法通过增强语义知识网络融合隐式多尺度语义知识，从而提升模型过滤和捕捉关键组件信息的能力。这一设计增强了对关键前景特征的关注，同时抑制了背景特征的干扰。此外，本文提出的嵌入式几何知识模块将车辆组件的几何约束知识与模型的内在学习能力相结合。通过推理三种类型地标组件之间的位置关系，它显式地为模型补充了难以仅凭数据学习的组件空间关系信息。我们在包含59类车辆组件的数据集上评估了所提方法的检测与分割性能。与基线模型相比，我们的方法在检测平均精度和分割平均精度方面分别实现了19.3%和19.1%的显著提升。此外，我们还在一个独立的公开数据集上评估了该方法的泛化能力。与现有的实例分割方法相比，所提方法在车辆组件的检测和分割任务中均表现出优越的性能。

随着现代社会私家车的普及，交通事故的发生频率不可避免地增加。车辆损伤评估（Hsu et al., 2015）作为事故后保险理赔的关键环节，目前主要依赖于人工现场检查方法，这种方法存在较高的运营成本、标准不统一以及效率低下等问题。因此，将深度学习（Fan et al., 2024, Nanayakkara and Meegama, 2024）引入损伤评估流程，使得智能损伤评估（Zhang et al., 2020, Maiano et al., 2023）成为可能。智能损伤评估流程如下：车辆图像上传至评估系统后，系统会自动检测并分割损伤类型及相应的车辆组件，随后生成赔偿建议。在这一过程中，准确且高效的车辆组件实例分割是实现智能损伤评估的基础。

图1展示了车辆损伤评估中常用的典型图像，每张图像通常包含数十个组件类别。多目标的特性为车辆组件实例分割带来了第一个主要挑战（Challenge 1）。如图1(a)和图1(b)的对比分析所示，相同类别对象在不同车辆图像中表现出显著的颜色和形状特征差异。这种类别内部相似性较低的现象是车辆组件实例分割的基本挑战之一（Challenge 2）。图1还表明，车辆的镜像对称特性导致了对称类之间的混淆（例如左门和右门），突显了车辆组件实例分割中类别间相似性较高的挑战（Challenge 3）。

早期学者主要采用传统的图像处理算法进行车辆组件检测（Leung, 2004, Chávez-Aragón et al., 2011）。这些算法通过学习每个组件的轮廓特征，实现了对车辆组件的图像提取，从而在简单背景下完成检测。然而，传统图像处理算法普遍面临适用性差、精度低和鲁棒性有限的问题，因此在复杂背景中检测多个车辆组件时表现不佳。深度学习算法的引入引起了广泛关注，逐步催生了基于深度学习的车辆组件检测与分割方法（Lu et al., 2014, Yu, 2017, Shu, 2017）。

然而，现有的车辆组件检测与分割方法主要针对有限组件类别的场景设计，因此在智能损伤评估应用中表现出次优性能。此外，这些方法未能充分解决智能车辆损伤评估领域中普遍存在的类别内相似性低和类别间相似性高的问题。为了解决这些挑战，如图2所示，我们提出了一种双知识引导的车辆组件实例分割网络（DKGNet），专门针对这三个基本挑战。本文做出了以下三个贡献：

首先，我们提出了一种名为DKGNet的语义与几何双知识引导的车辆组件实例分割网络，实现了对多目标车辆组件的准确检测与分割，为智能车辆损伤评估系统的设计和应用奠定了基础。

其次，我们提出了一种增强语义知识网络（ESKN），该网络能够从不同通道和空间位置同时学习语义信息，并实现多尺度语义知识的融合。这种方法有效地减少了信息损失，同时引导模型关注关键的判别特征和尺度内特征。

第三，我们提出了一种嵌入式几何知识模块（EGKM），该模块将车辆组件的几何空间知识正式编码进模型架构中。通过将这一领域特定知识与模型的内在学习能力相结合，EGKM有效地引导了对镜像对称车辆组件的准确分类。

本文的结构如下。第2节介绍了相关工作。第3节详细介绍了所提方法。第4节展示了实验结果。最后，第5节总结了本文的内容。

在基于深度学习的车辆组件检测与分割方法中，当应用于少量组件类别时，这些方法已经取得了良好的效果（Lu et al., 2014, Yu, 2017, Shu, 2017, Xie, 2019, Wu, 2020）。工作（Qianqian et al., 2019, Singh et al., 2019）提出了基于Mask R-CNN的车辆组件实例分割方法，以解决组件遮挡引起的定位误差问题。Chang（Chang, 2019）则利用车辆组件之间的共生关系来提高检测的准确性。

为了应对当前车辆组件实例分割中的挑战，本文提出了一种语义与几何双知识引导的车辆组件实例分割网络——DKGNet。其架构框架如图3所示。具体来说，从语义角度来看，为了应对车辆组件中类别内相似性低和类别间相似性高的问题，DKGNet引入了增强语义知识网络（ESKN）。ESKN通过多尺度语义知识的融合，使得模型能够更有效地过滤和捕捉关键的组件信息。这一设计不仅提升了模型对关键前景特征的关注度，还有效抑制了背景特征的干扰，从而提高了检测和分割的准确性。

此外，本文提出的嵌入式几何知识模块（EGKM）将车辆组件的几何约束知识嵌入到模型结构中。EGKM通过整合这一领域特定知识与模型的内在学习能力，有效引导了对镜像对称组件的准确分类。这一模块通过推理三种类型地标组件之间的位置关系，为模型补充了难以仅凭数据学习的组件空间关系信息。这种显式的空间关系信息有助于提高模型在复杂场景下的鲁棒性和准确性。

在实验部分，我们介绍了实验的相关内容，包括数据集的组成、评估指标、实验细节、消融实验结果、可视化结果以及与其他方法的比较结果。通过这些实验，我们验证了所提方法在车辆组件检测与分割任务中的有效性。实验结果表明，DKGNet在检测和分割任务中均表现出优越的性能，特别是在处理多目标和复杂背景的情况下。

为了进一步验证所提方法的泛化能力，我们在一个独立的公开数据集上进行了测试。与现有的实例分割方法相比，DKGNet在该数据集上的表现更加出色，显示出其在不同场景下的适应性和鲁棒性。这些实验结果不仅证明了方法的有效性，还为未来的智能损伤评估系统提供了理论支持和技术参考。

在消融实验中，我们分析了各个模块对整体性能的影响。结果显示，增强语义知识网络和嵌入式几何知识模块对检测和分割的准确率均有显著提升。通过这些实验，我们验证了所提方法在解决车辆组件实例分割中的关键挑战方面的有效性。此外，我们还对模型的各个组件进行了可视化分析，以直观展示其在实际应用中的表现。

在实际应用中，车辆组件的检测与分割需要考虑多种因素，包括光照条件、背景复杂度以及组件之间的相互遮挡。这些因素可能影响模型的检测效果，因此需要在模型设计中加以考虑。DKGNet通过引入增强语义知识网络和嵌入式几何知识模块，有效应对了这些挑战，提高了模型在复杂场景下的鲁棒性和准确性。

本文的研究不仅为车辆损伤评估提供了新的方法，还为智能交通系统的发展做出了贡献。通过将深度学习与几何知识相结合，我们为车辆组件检测与分割任务提供了更加全面和准确的解决方案。这一研究为未来的智能交通系统设计和应用提供了理论支持和技术参考，有助于提高交通事故处理的效率和准确性。

在实际应用中，车辆损伤评估需要依赖于准确的检测和分割结果。因此，模型的性能直接关系到评估的效率和准确性。DKGNet通过引入增强语义知识网络和嵌入式几何知识模块，有效提高了模型在复杂场景下的鲁棒性和准确性。这些改进使得模型能够更好地适应不同类型的车辆图像，提高了检测和分割的准确性。

本文的研究还为未来的研究提供了方向。通过分析车辆组件实例分割中的关键挑战，我们提出了新的方法，并验证了其有效性。这些方法可以进一步优化，以适应更复杂和多样化的场景。此外，本文的研究还可以推广到其他领域，如机器人视觉、自动驾驶等，为这些领域提供新的思路和技术支持。

总之，本文提出了一种基于深度学习的双知识引导车辆组件实例分割网络（DKGNet），有效解决了车辆组件检测与分割中的关键挑战。通过引入增强语义知识网络和嵌入式几何知识模块，DKGNet在检测和分割任务中均表现出优越的性能。这些成果不仅为智能车辆损伤评估系统的设计和应用提供了基础，还为未来的智能交通系统发展提供了理论支持和技术参考。