《Knowledge-Based Systems》：Dynamic Visual Defect Detection System for Disc Castings Based on Multimodal Fusion Strategy
编辑推荐：
动态视觉检测系统融合机械臂与深度相机实现铸件表面缺陷高精度检测，通过多模态感知框架增强对比度，M2DF模型提升检测准确率（F1+6.5%），改进RRT*-PDF算法优化路径规划。
陈志豪|谢倩|张龙|司斌|沈英杰|苗建辉|洪军
安徽工业大学冶金工程学院，中国安徽省马鞍山市243002
摘要
盘形铸件的质量对于确保汽车系统的结构安全性和运行可靠性起着至关重要的作用。尽管近年来铸造工艺有所进步，但诸如气孔、裂纹和成型不完整等表面缺陷仍然难以消除，这阻碍了产品质量的提高。现有的缺陷检测系统往往无法满足高精度的要求，主要是由于多模态感知和动态决策能力的限制。为了解决这些挑战，本研究提出了一种动态视觉缺陷检测系统，该系统结合了机械臂和深度相机，以实现盘形铸件的高效、准确表面检测。所提出的多模态动态缺陷检测模型（M2DF）在盘形铸件缺陷数据集上表现出显著的改进，与领先的目标检测算法相比，F1分数提高了6.5个百分点，同时参数数量减少了60.36%。它还使mAP@50提高了5.4个百分点，并显著增强了气孔和裂纹缺陷的检测能力。此外，还引入了一种改进的RRT*-PDF路径规划算法，以提高检测效率。该方法减少了搜索空间，加快了向最优路径的收敛速度，并生成了平滑、较短的路径。因此，该系统实现了更快、更可靠的路径规划。实验评估证实，该系统在复杂工作条件下保持了强大的鲁棒性和泛化能力。这些发现突显了其在铸造应用中作为智能缺陷检测的实用有效解决方案的潜力。
引言
盘形铸件的制造质量直接影响汽车系统的结构安全性和运行可靠性。尽管铸造技术和制造工艺不断进步，但气孔、裂纹和铸件成型不完整等表面缺陷仍然普遍存在，成为阻碍质量提升的重要技术瓶颈。研究表明，这些缺陷在实际运行中可能会导致结构故障，而缺陷检测不足是未能及时识别和控制这些问题的关键因素[1]。目前，主要的缺陷检测方法依赖于人工视觉检查，这在实际应用中存在许多局限性。首先，人工检查过程缺乏统一的缺陷识别标准，导致结果容易受到主观判断的影响，结果不一致。其次，人工检查通常会有较高的漏检率，无法满足高精度检测的需求。此外，检测效率与缺陷检测精度之间存在明显的权衡：更快的检测速度往往以降低精度为代价。同时，劳动力成本的上升使得传统的人工检查在经济和操作上越来越不可持续，迫切需要更智能、自动化的解决方案。
为了解决这些挑战，基于深度学习的铸造缺陷检测技术展现了巨大的潜力。研究表明，Parlak等人[2]使用YOLOv5深度学习模型结合Al-Cast图像数据集来检测和分类铝合金铸件中的内部缺陷，从而缓解了依赖专家、效率低下和易出错的传统问题。Wang等人[3]构建了一个专门的铸铁零件和表面缺陷数据集，将坐标注意力机制集成到YOLOv5模型框架中，并用双向加权特征金字塔网络替换了原始的路径聚合网络，以解决铸铁零件表面缺陷样本稀缺和分布不均的问题。Li等人[4]利用IMGAUG库和EMDCGAN生成对抗网络开发了数据增强方法，引入了轻量级Rep Convolution模块来优化RT-DETR框架网络，并设计了Dilated RepBlock和可变形注意力模块来解决铝合金表面缺陷数据集中样本稀缺和分布不均的问题。Zhang等人[5]提出了一种基于深度学习的数据增强模型，创新性地基于Wasserstein距离设计了损失函数，并采用了双层编码器-解码器架构进行多尺度特征提取，以解决小样本缺陷检测和泛化能力有限的问题。然而，值得注意的是，大多数现有研究依赖于手动收集的离散图像数据，主要关注算法性能优化，尚未克服连续生产环境中实时检测的技术瓶颈。因此，采用基于计算机视觉的检测系统是一个不可避免的选择。
基于计算机视觉的检测系统已经在农业、医疗、制造等领域得到广泛应用。在这些领域，该技术已被证明能有效提高生产效率和确保产品质量。例如，在农业中，Ismail等人[6]开发了一种基于深度学习和计算机视觉的实时视觉检测系统，用于评估水果的新鲜度和外观。Liu等人[7]提出了一种机器视觉方法，结合沙子变形和裂纹形成的特征，实现了玉米种子早期发芽的自动检测。Emwinghare等人[8]开发了一种实时机器视觉系统，用于在土豆储存期间采样和测量块茎长度。在医疗领域，Rawat等人[9]将机器视觉技术应用于肺癌检测，而Huang等人[10]将其用于白内障手术期间的实时评估。在制造装配中，Kirda和Taatali等人[11,12]利用机器视觉技术通过图像处理和分析实现了自动检测和质量控制，从而显著提高了生产效率和产品质量。尽管这些应用前景广阔，但工业中的实时计算机视觉检测系统仍面临几个关键挑战。首先，来自固定视角的2D图像往往无法捕捉到制动盘凹槽和花键等深层结构特征，使得小缺陷容易被忽略。其次，单色可见光成像受到反射和照明变化的影响，降低了检测孔洞和裂纹的能力。第三，传统的深度成像在高反射表面上会产生大量噪声，进一步降低了检测精度。最后，如果没有有效的路径规划，传感器在复杂表面上的采集可能会导致覆盖不足或重复扫描，从而影响检测的准确性和效率。为了解决这些挑战，需要一种具有增强多模态感知、动态路径规划和智能决策能力的检测系统，以实现可靠、高精度和高效的检测。
为了解决这些限制，本文提出了一种动态视觉缺陷检测系统，该系统结合了机械臂和深度相机，能够高效准确地检测盘形铸件上的表面缺陷。本研究的主要创新包括：
- (1)
开发了一种多模态融合感知框架，融合了RGB图像、深度信息和惯性数据，并提出了一种自适应矩形曲率卷积网络（CurvConvNet），有效增强了缺陷区域的对比度，同时显著抑制了复杂背景（如反射纹理）对检测性能的干扰；
- (2)
引入了多模态缺陷检测模型M2DF（Multimodal Dynamic DefectFormer），该模型结合了跨模态注意力机制和多尺度ROI对齐策略，实现了多源信息的深度融合和结构化建模，从而提高了缺陷区域的检测准确性和鲁棒性；
- (3)
设计了一种基于概率的路径规划算法（改进的RRT*-PDF），通过构建基于高斯分布的缺陷概率密度场来指导机械臂优化视角分布，从而实现了感知覆盖率和检测效率的协同提升。
本文的其余部分安排如下：第2节概述了相关工作。第3节描述了所提出的动态视觉缺陷检测系统的架构，包括CurvConvNet、M2DF网络模型和改进的RRT*-PDF。第4节通过与其他最先进模型的比较实验和相关参数的敏感性分析，评估了所提方法的有效性和适用性。最后，第5节总结了所提方法在盘形铸件缺陷检测中的实际意义和影响，讨论了当前研究的局限性，并指出了未来的研究方向。
章节片段
检测盘形铸件缺陷的方法
盘形铸件具有近似旋转对称的结构，缺陷通常出现在其圆周边缘、特征角和其他结构区域。传统的铸件缺陷检测方法主要依赖于人工检查和基于规则的图像处理技术，如阈值处理、边缘检测和纹理分析[[13], [14], [15]]。然而，这些方法容易受到光照条件、观察角度等因素的影响
动态视觉缺陷检测系统的架构
为了满足盘形铸件缺陷检测中的多模态感知和动态决策需求，本文提出了一种综合的动态视觉缺陷检测系统（图1）。该系统的工作流程包括三个主要模块：（1）多模态数据采集和预处理，（2）M2DF盘形缺陷检测模型的训练，以及（3）使用改进的RRT*-PDF算法进行路径规划和缺陷检测。以下部分详细介绍了涉及的具体步骤。
实验硬件设备和盘形铸件缺陷数据集
实验中使用的硬件配置如图4a所示，其中包括安装在VCJ CR3机械臂末端执行器上的Intel RealSense D435i相机。RGB、深度和IMU数据是同步的。同步策略使用D435i的硬件同步接口（GPIO）来触发RGB、深度和IMU数据之间的时间戳对齐，误差小于1毫秒。RGB和深度传感器的内部参数已使用结论
针对现有缺陷检测系统在多模态感知能力和动态决策能力方面的不足，这些能力难以满足高精度检测的基本要求，本文设计并实现了一种结合机械臂和深度相机的动态视觉缺陷检测系统，实现了盘形铸件表面缺陷的高效准确检测。主要研究结论如下：
(1)本研究提出了
CRediT作者贡献声明
陈志豪：概念化、方法论、资源获取、撰写-审阅与编辑、可视化、监督。谢倩：撰写-审阅与编辑、资金获取。张龙：撰写-审阅与编辑、资金获取。司斌：撰写-审阅与编辑。沈英杰：概念化、方法论、形式分析、撰写-初稿、可视化。苗建辉：监督、调查、验证。洪军：监督、调查。
CRediT作者贡献声明
陈志豪：撰写 – 审阅与编辑、撰写 – 初稿、可视化、监督、资源获取、方法论、概念化。谢倩：撰写 – 审阅与编辑、资金获取。张龙：撰写 – 审阅与编辑、资金获取。司斌：撰写 – 审阅与编辑。沈英杰：撰写 – 初稿、可视化、方法论、形式分析、概念化。苗建辉：验证、监督、调查。洪军：监督、调查。
