YOLO-GFE：基于几何引导的特征增强技术的螺栓检测与松动角度估计

《Displays》：YOLO-GFE: Bolt detection and looseness angle estimation with geometry-guided feature enhancement

基于YOLO-GFE的几何引导特征增强框架在铁路车辆转向架螺栓检测与松动角度估计中实现显著提升，有效解决小目标密集分布、多视角变化及防松标记不稳定等问题。实验表明，该框架螺栓检测mAP@0.5提升3.2%，沉头螺栓AP达90.8%，松动角度估计准确率超越现有方法3%-6%。

　　

河南胡 | 张俊 | 黄毅 | 李荣华

大连交通大学机械工程学院，中国辽宁省大连市116028

摘要

对于轨道车辆转向架而言，螺栓检测和松动角度估计是智能车辆检测中的关键技术。本文针对小尺寸且密集分布的螺栓目标、强烈的背景干扰、显著的视角变化以及不稳定的防松标记等挑战，提出了一种基于YOLO11n（YOLO-GFE）的几何引导特征增强框架，以实现螺栓定位和松动角度量化的集成工作流程。在螺栓检测阶段，一种轻量级的多尺度上下文融合方法增强了小目标的结构响应。在跨尺度融合过程中，同时进行了通道对齐和尺度恢复，以减轻多视图和视角变化引起的波动。此外，在预测前增强了方向细节，并进行了同尺度特征填充，以提高在密集螺栓场景下的定位稳定性和一致性。对于角度量化，感兴趣区域（ROI）经过尺度归一化和统一处理。颜色约束和形态学处理提取出松动线掩膜，并将其骨架化为中心线点云。统一的 principal direction 估计建立了方向基准，针对不同视角设计了特定的方向求解方法。最终输出可解释的松动角度。实验结果表明，每种改进策略都提升了模型性能。与YOLO11n相比，YOLO-GFE在mAP@0.5上的螺栓检测准确率提高了3.2%，在mAP@0.5:0.95上提高了1.5%。对于沉头螺栓，准确率从84.5%提高到90.8%，提高了6.3%。在松动角度估计任务中，YOLO-GFE在前视图、侧视图和沉头视图上的准确率分别为87%、57%和64%，超过了文献中的最佳结果3%、23%和6%。

引言

轨道车辆转向架中螺栓连接的可靠性对于确保列车结构完整性和运行安全至关重要。螺栓松动可能导致结构损坏甚至运行事故。在实际维护检查中，技术人员通过观察螺母与连接部件之间的相对位移来快速评估紧固程度。因此，从检查图像中高效提取松动线并进行松动评估对于提高检查效率、降低漏检风险以及实现可追溯的评估至关重要。

传统的螺栓松动监测主要依赖于物理量，如压阻效应[1]、超声导波特性[2]、[3]、[4]以及预载变化[5]来进行检测。压阻复合传感层可以实时检测接触压力的衰减。导波方法通过能量和模态特征分析来识别多螺栓松动。基于直波和残余波时间漂移的预载变化监测可以同时检测到轻微干扰和显著衰减，从而实现螺栓松动的早期定量预警。这些方法通常需要专用传感器的部署和校准，受到安装空间、维护成本和工程可访问性的限制。在车辆底盘下进行的大规模常规检查中，可扩展的部署仍然具有挑战性。

随着深度学习的快速发展，视觉检测提供了一种非接触式、易于部署的技术方法来监测螺栓状态。像Faster R-CNN[6]这样的方法通常首先在图像中生成候选区域，然后对这些区域进行更精确的类别分类和位置回归，从而实现更详细的定位。以SSD[7]和YOLO系列[8]、[9]、[10]、[11]、[12]为代表，这些方法倾向于直接预测整个图像的多尺度特征中的对象类别和位置。这消除了候选区域筛选步骤，从而提高了推理速度，使其更适合实时检测场景。最近的单阶段检测器改进集中在引入轻量级骨干网络、设计具有自适应融合机制的多尺度特征以及使用动态预测头来提高小对象检测性能[13]、[14]。基于Transformer的检测器，例如Deformable DETR[15]，将对象检测建模为一个端到端的联合预测任务。例如，DINO[16]提高了端到端检测精度，而RT-DETR[17]优化了多尺度特征交互以实现实时性能。对训练和分配策略的相关改进进一步提高了DETR系列的收敛性和性能。因此，上述通用对象检测框架已成为底盘检查中快速定位螺栓的关键基础。

尽管通用检测器可以快速输出螺栓类别和水平边界框位置，但其输出表示通常仅关注水平边界框。训练优化主要集中在分类和边界框回归上，强调定位质量，而不直接约束几何参数误差，如ROI内松动螺纹的主方向和角度。然而，在角度检测任务中，直接应用此类通用检测器进行松动线分割或角度回归在稳定性上严重依赖于注释一致性和数据分布的全面覆盖。在转向架场景中，松动线由维护人员手动绘制，存在形态学变化，导致在密集背景中与相邻结构边缘混淆。深度学习模型容易学习与笔触风格、局部纹理或光照相关的统计特征，从而导致跨场景的泛化不稳定。因此，实际应用面临以下挑战，如图1所示：

• (1)
  螺栓目标通常尺寸小且分布密集，间距接近且边界重叠，导致检测过程中的相互干扰，从而产生误报和漏报。
• (2)
  现场捕获的图像具有随机姿态和显著的视角变化。螺栓和松动线常常以倾斜角度出现，导致边界框相对于实际目标的准确性降低。
• (3)
  松动线由维护人员手动绘制。笔触、涂层厚度和光线反射等因素常常导致这些线条不稳定，包括连续线条退化为点、双线结构合并为单线以及线条宽度变化。这种不稳定性使得线条分割和骨架提取更容易受到噪声的影响，从而导致角度回归结果的波动。

基于上述问题，本文提出了一种用于轨道车辆转向架图像中螺栓检测和松动评估的集成方法。它首先提高螺栓定位质量，然后稳健地提取松动线，并在ROI内进行可解释的角度估计。主要创新和贡献如下：

• (1)
  提出了YOLO-GFE集成框架。该框架实现了转向架螺栓检测和防松标记角度估计的统一输出，从目标定位到角度量化形成了一个闭环，从而提高了工程适用性和可解释性。
• (2)
  基于YOLO11n设计了具有几何感知的特征增强检测网络。通过轻量级的多尺度膨胀深度池化实现了更丰富的上下文交互。在颈部融合过程中，引入了带有通道对齐和尺度约束的上采样策略，以稳定跨尺度集成。此外，在检测头之前应用了方向敏感的结构细节增强和同尺度细节恢复，实现了高级语义和局部几何信息的协同表达。这种方法提高了密集小对象的定位准确性和一致性。
• (3)
  我们提出了一种基于ROI的松动角度估计方法。通过提取掩膜并将其骨架化为松动线的几何表示，首先进行主方向回归以获得方向先验。随后，由主方向引导的分割回归输出最终的松动角度，提高了角度估计的稳定性。

章节片段

对象检测

最近的螺栓视觉检测研究主要采用了基于单阶段检测器的深度学习方法，通过数据增强、注意力机制和多尺度特征融合来提高检测性能和实时能力。

邱等人[18]提出了YOLOv8-FAM，该方法利用风格转移生成缺陷样本并缓解样本不平衡，从而提高了缺陷检测精度并降低了数据收集成本。

基线模型的确定

YOLO11由骨干网络、颈部网络和检测头组成，能够在多尺度特征上进行密集预测。这符合底盘检测的实时和轻量级工程要求。

YOLO11提供了不同的变体（n, s, m, l, x）。鉴于底盘检测的严格实时和轻量级要求，本文在设计阶段首先选择了最轻量的YOLO11n作为基线模型。这一选择便于部署

实验环境设置

本文采用了深度学习框架PyTorch 2.1.1，并使用CUDA 11.8进行推理加速。实验平台配备了第13代Intel? Core? i7-13700K CPU、32 GB RAM和NVIDIA GeForce RTX 4090 GPU（24 GB VRAM）。模型优化采用了随机梯度下降（SGD），批量大小为16，8个工作线程，400个训练周期，学习率为0.01。

实验数据集

CRRC为本论文提供了实验数据集。原始数据集包含1881张图像

结论

本文提出了YOLO-GFE框架，以改进轨道车辆转向架场景中的螺栓检测和松动角度估计。考虑到螺栓目标的小尺寸和密集分布、显著的视角变化以及防松标记缺陷（如断裂、粘附和手绘不规则性），为此开发了相应的方法工作流程，用于检测和角度估计。

在检测阶段，主要使用LB-MSDAF模块

CRediT作者贡献声明

河南胡：方法论、调查、形式分析、可视化、撰写——原始草稿、撰写——审阅与编辑、数据管理。张俊：方法论、调查、形式分析、可视化、撰写——原始草稿、数据管理。黄毅：调查、数据管理、验证。李荣华：概念化、方法论、监督、资源管理、撰写——审阅与编辑。

利益冲突声明

作者声明他们没有已知的可能会影响本文所报告工作的竞争性财务利益或个人关系。

致谢

本研究得到了辽宁省教育厅科研项目（项目编号：LJ212410150036）、辽宁省交通技术基金会（项目编号：202416）、大连市高层次人才创新支持计划（项目编号：2022RJ03）以及国家自然科学基金（项目编号：U24B20159）的支持。