一种基于改进的DPoS共识机制的无人机辅助边缘计算资源供应方法

《Alexandria Engineering Journal》:A resource provision method for UAV-assisted edge computing based on improved DPoS consensus mechanism

【字体: 大 中 小 】 时间:2026年02月14日 来源:Alexandria Engineering Journal 6.8

编辑推荐:

  伊布拉欣·阿金乔比·阿罗莫耶(Ibrahim Akinjobi Aromoye)、罗海宏(Lo Hai Hiung)、帕特里克·塞巴斯蒂安(Patrick Sebastian)、阿卜杜拉蒂夫·奥卢瓦格贝米加·巴洛贡(Abdullateef Oluwagbemiga Balogun

  伊布拉欣·阿金乔比·阿罗莫耶(Ibrahim Akinjobi Aromoye)、罗海宏(Lo Hai Hiung)、帕特里克·塞巴斯蒂安(Patrick Sebastian)、阿卜杜拉蒂夫·奥卢瓦格贝米加·巴洛贡(Abdullateef Oluwagbemiga Balogun)、卢克曼·谢胡·艾因拉(Lukman Shehu Ayinla)
马来西亚霹雳州斯里伊斯坎达尔(Seri Iskandar)PETRONAS技术大学电气与电子工程系,邮编32610

**摘要**
石油和天然气行业严重依赖庞大的管道网络,因此需要定期进行检查和维护,以确保结构完整性和防止故障。传统的检查方法,包括人工目视检查和高灵敏度传感器,通常劳动强度大、容易出错,并且在危险环境中效率低下。基于无人机的检查方法作为一种有前景的替代方案应运而生;然而,大多数现有系统仍然依赖熟练的操作员,这限制了其可扩展性和自主性。为了解决这些问题,本研究介绍了一种新型的自主空中管道监测系统,该系统利用了先进的计算机视觉技术。该系统使用配备内置相机的Tello无人机,并集成了三种核心算法:管道检测、管道跟踪和高度控制。这些算法针对实时性能和稳定性进行了优化。使用YOLOv8s训练的对象检测模型在标准条件下的准确率约为71%。进一步的实验涉及数据预处理、增强和模型训练配置,结果表明,采用90/5/5的数据分割和100个训练周期后,准确率达到了94%。在实时管道跟踪过程中,系统的均方误差(MSE)为0.0023平方米,表明导航精度很高。此外,高度控制算法的均绝对误差(MAE)为0.0044米,有效减少了高度波动。与现有的基于无人机的检查系统相比,所提出的方法具有更高的准确性,mAP值达到了97.4%,而现有系统的mAP值为72%,并且将跟踪MSE从0.0111平方米降低到了0.0023平方米。这些结果突显了该系统在提高自主性、减少对操作员的依赖以及在危险环境中提高安全性方面的能力,推动了自主管道监测技术的发展。

**1. 引言**
石油和天然气管道网络是全球能源基础设施的重要组成部分,能够安全高效地输送石油、天然气和精炼产品。由于其战略重要性和所处的恶劣环境条件,通过常规检查和维护确保管道的结构完整性和运行安全是该行业的基本要求[1]。管道被广泛认为是最有效的碳氢化合物运输方式;然而,其广泛的覆盖范围和通常偏远的部署位置给检查和维护工作带来了重大挑战[2]。传统的管道检查方法,如人工目视检查、内联检查(ILI)和无损检测(NDT),长期以来一直是管道完整性管理的基础。目视检查依赖于操作员通过直接观察或基于相机的评估来识别表面异常,如腐蚀、泄漏或机械损坏。ILI方法通常使用智能检测仪表(PIGs)来测量管道内部的壁厚、变形和腐蚀情况。NDT技术,包括超声波检测、声学传感和射线检测,可以在不中断管道运行的情况下进行状态评估。尽管这些方法在受控环境中有效,但它们往往劳动强度大、成本高、操作灵活性差,并且难以在长距离或地理隔离的管道网络中大规模应用[2][3]。

近期文献充分记录了与传统管道检查方法相关的经济和运营挑战。最近的研究表明,腐蚀和材料退化仍然是导致管道故障的主要原因,约占报告事故的20-30%,尤其是在老化的石油和天然气基础设施中[4][5]。此外,检查和维护活动一直是管道生命周期成本的主要组成部分,这需要频繁的检查、专业设备和熟练的人员,尤其是在长距离传输网络中。目视和人工检查方法还需要经过培训的操作员,它们容易受到疲劳和解释差异的影响,从而在大规模应用或远程环境中降低检测的可靠性。与此同时,近年来,由于深度学习感知和机载传感技术的进步,无人机(UAV)在基础设施监测中的应用显著增加[6]。然而,最近的调查显示,大多数基于无人机的检查系统仍然是半自主的,依赖操作员进行飞行控制和决策,这限制了其可扩展性、重复性和在复杂现实场景中的部署。这些限制促使人们开发出完全自主的、基于视觉的检测框架,这些框架结合了实时感知和控制,以减少对操作员的依赖,同时提高可靠性和覆盖范围。

无人机已被越来越多地应用于各种行业的现代检查和监测任务,包括建筑管理、环境监测和能源基础设施[7][8]。它们能够快速部署、悬停、在复杂地形中导航以及捕捉高分辨率的空中图像,成为传统地面检查系统的宝贵补充。在管道监测中,配备光学、热成像和激光传感器的无人机已被用于泄漏检测、结构评估和表面异常识别等任务。包括Aljuaid等人[9]在内的多项研究人员报告了这项技术的应用,指出无人机为石油和天然气行业提供了出色的替代方案,具有极高的速度、成本效益和安全性,且人为干预最少。Aromoye等人[7]全面回顾了无人机技术在石油和天然气管道领域的重大进展,重点在于延长无人机的飞行时间以支持更长的任务持续时间。同样,Nooralishahi等人[10]详细介绍了无人机的发展历史,并对工业和商业环境中的基于无人机的NDT应用进行了广泛回顾。这些研究表明,空中平台在提高检查效率、增强安全性和减少传统检查工作流程中的操作限制方面具有潜力。

尽管取得了这些进展,许多现有的基于无人机的管道检查系统主要关注数据采集或离线分析,缺乏感知、导航和控制之间的完整集成。在偏远的管道走廊中,由于通信问题、高昂的运营成本和安全考虑,使用人工驾驶或远程操作的无人机往往不切实际。配备机载感知和实时控制能力的自主无人机系统可以通过执行预定义的检查程序、适应环境干扰并在无需持续人工监督的情况下保持一致的检查质量来应对这些挑战。这样的系统能够提高覆盖范围、早期发现异常并减少人员暴露于危险环境中的风险。

受这些挑战的启发,本研究提出了一种新型的自主空中管道检查系统,该系统在一个统一的框架内集成了基于视觉的管道检测、实时管道跟踪控制和高度稳定功能。与仅强调检测或后处理的先前方法不同,所提出的系统将基于深度学习的感知与智能控制算法相结合,实现了实时自主操作。该框架使用DJI Tello无人机和基于YOLOv8的检测模型进行了实现和验证,在实际条件下展示了准确的管道检测、稳定的跟踪和精确的高度调节。

**本研究的主要贡献总结如下:**
- 开发了一种基于视觉的系统,能够使用内置相机自主检测和跟踪管道。
- 实现并将新颖的智能实时控制算法与Tello无人机集成,用于管道检测、跟踪和高度控制。
- 实现了卓越的性能,包括较高的平均精度(mAP)分数和较低的错误率,优于现有的基于无人机的检查系统。

**本文的其余部分结构如下:**
第II节回顾了相关工作。第III节讨论了所提出的算法。第IV节展示了所提出系统的结果和分析。第V节总结了本研究。

**1.1 相关工作**
早期的基于无人机的管道检查系统主要依赖专门的传感器,如热成像相机、红外成像和气体检测器来检测泄漏和结构异常。Alharam等人[11]开发了一种自主管道检查系统,该系统使用配备热成像相机的无人机和并行处理能力来实现实时性能。该系统还包括一个气体检测器来识别管道中的泄漏和裂缝。虽然它在检测热异常方面有效,但其效果受到传感器特定条件的限制,且不易适应环境因素的变化。基于自主性的主题,Shukla等人[12]提出了一种管道的自主跟踪和检查方法,该方法分为两个阶段:基于视觉的管道识别和导航控制。他们的方法使用比例-积分-微分(PID)控制器,并通过启发式调整来同步无人机的位置与管道结构。系统的性能对参数选择敏感,在受到干扰或需要自适应控制的大规模部署中可能会下降。同样,Usamentiaga等人[13]介绍了一种使用配备红外相机的半自主管道检查方法。无人机沿着预先编程的飞行路径飞行,能够在夜间检查管道并检测温度变化。尽管这种方法在热监测方面很有前景,但它依赖于预先编程的飞行路径,限制了灵活性和实时适应动态环境的能力。

为了扩大操作灵活性,Cacace等人[14]提出了一种结合空中和地面移动的混合操纵系统用于管道检查。尽管提高了移动性,但在不确定或杂乱的环境中,系统的可靠性和定位精度会下降,限制了实际应用。最近的一项研究提出了一种基于视觉的无人机系统,用于跟踪和检查工业管道[15]。该系统有效地利用了深度传感器数据进行管道跟踪和缺陷检测。尽管在受控环境中取得了有希望的结果,但需要进一步的研究来提高系统在现实场景中的鲁棒性和准确性。同样,Benyeogor等人[16]开发了一种配备气体泄漏检测器的无人机,使用MultiWii软件进行三维运动控制。虽然该系统展示了基于无人机的气体检测在管道监测中的可行性,但它依赖于低级别的飞行控制,没有集成感知或自适应导航,这限制了自主性和在复杂或动态检查环境中的部署。Akande等人[17]提出了一种实时基于无人机的系统,用于检测埋地和表面管道中的泄漏。尽管该框架改进了自动泄漏检测,但研究主要集中在感知和定位性能上,对自主导航、连续管道跟踪或集成飞行控制的重视不足,而这些对于可扩展的长距离检查至关重要。Ondrá?ek等人[18]的工作致力于优化无人机操作,提出了一个数学模型以增强无人机在管道监测中的移动性。虽然这强调了操作效率,但该模型依赖于固定参数而非自适应参数,限制了其在动态环境中的可扩展性。Prasetya等人[19]研究了使用固定翼无人机进行管道走廊的空中监视,重点关注住宅和工业活动扩张带来的风险监测。虽然固定翼平台提供了延长的飞行耐力和广泛的覆盖范围,但该方法主要适用于高空监视,缺乏近距离管道检查、实时跟踪或缺陷级别评估所需的机动性和精确定位。因此,其在详细自主检查任务中的适用性有限。Huang等人[20]提出了一种基于无人机的管道视觉跟踪控制机制,重点使用PID控制器进行导航。该研究强调了导航的精度,但由于地形变化、恶劣天气和保持准确跟踪的困难,其性能受到限制。

在下一代传统计算机算法中,机器学习(ML)技术在基于无人机的管道检测中的对象检测方面取得了显著进展。在此基础上,Alharam等人[11]提出了一种基于AI的无人系统,用于检查石油和天然气管道,旨在通过自动化检查过程并在不到100毫秒的时间内提供泄漏的实时警报来提高效率。该研究比较了多种ML算法,包括决策树(DT)、支持向量机(SVM)和随机森林(RF),以确定检测甲烷气体泄漏的最有效方法。然而,这些方法对特征选择和环境噪声敏感,这限制了其泛化能力。Al-Battbootti等人[21]提出了一种使用无人机捕获图像进行基于ML的分析的框架,以检测和定位污染。该系统使用了神经网络和对象检测技术,分为训练模型和操作模型。该框架显示出潜力;然而,它依赖于假设性场景,限制了其在现实世界中的适用性。Sonkar等人[22]采用基于ML算法的无人机研究了甲烷检测,特别是使用降维支持向量机(RSVM)和人工神经网络(ANN)。这些模型在处理甲烷检测数据方面表现出有效性。然而,该研究指出了若干挑战,包括RSVM对核函数的依赖性以及对更高质量数据的需要;同样,在Iwaszenko等人的研究[23]中,作者提出了一种基于无人机的系统,该系统利用激光甲烷传感器检测管道网络中的天然气泄漏。该研究探讨了空间相关机器学习方法在识别甲烷浓度方面的有效性。在人工和真实泄漏情况下进行的测试显示了该系统在准确检测泄漏方面的潜力。然而,区分真实泄漏和背景甲烷水平仍然具有挑战性,尤其是在较高海拔地区。这些基于机器学习的方法提高了自动化程度,但仍受到手工特征的限制、有限的鲁棒性和对环境变化的敏感性。为了解决传统机器学习的这些缺点,已经开发了更先进的方法,如深度学习(DL)算法。这些技术在对象检测方面提供了更好的鲁棒性和准确性,使其更适合复杂和动态的环境[24]。例如,Zhai等人[25]提出了一种基于云的无人机系统,用于油田和气田的监控,结合了热成像和DL进行异常检测。该系统在自动化和实时分析方面显示出前景。诸如卷积神经网络(CNN)、基于区域的CNN(R-CNN)、空间金字塔池化(SPP)-Net、单次检测器(SSD)和You Only Look Once(YOLO)系列等算法已经专门训练用于自动识别无人机捕获的图像和视频中的对象。根据Jocher等人的研究[26],YOLO系列在需要快速检测和响应的实时应用中表现出有效性。YOLO的架构允许通过单次处理高效准确地检测图像中的对象。Da Silva等人[27]将YOLO与经典图像处理技术结合用于管道检测,实现了可靠的定位,但没有自主跟踪或高度控制,从而降低了操作鲁棒性。在类似的研究中,Yang等人[28]改进了YOLOv10s用于缺陷检测,实现了超过0.84的精确度和召回率。然而,他们的系统是离线评估的,并未展示实时自主导航能力。Tao等人[29]提出了一个跨域特征增强的YOLOv8框架,用于使用从现场测试、实验室实验和模拟中收集的地面穿透雷达(GPR)数据进行地下缺陷检测。通过结合基于CycleGAN的域适应策略和视觉变换器模块,该方法在噪声感知条件下提高了鲁棒性。然而,增加的架构复杂性引入了显著的计算开销,并且仅适用于地下检测场景,限制了其在轻型航空平台上的实时部署可行性。同样,Tian等人[30]引入了YOLOv8-DBC,这是一种专门用于隧道漏水检测的分割和量化模型。在主干网络中集成C2f-DSC模块,并在颈部集成BiFPN和CBAM,增强了边缘特征提取和多尺度融合,与YOLOv8、YOLOv6和YOLOv5相比,提高了mAP50和mIoU。尽管性能强劲,但该模型针对隧道环境进行了优化,并优先考虑了分割精度而非实时推理,这限制了其在开放管道检测和机载无人机部署中的通用性。最近的努力还明确关注在资源受限的航空平台上实现实时感知。Pieczyński等人[31]提出了一种快速视觉管道系统,为无人机的自动驾驶仪提供实时目标信息,展示了轻量级深度学习集成如何支持低延迟的机载感知任务。同样,Lu等人[32]开发了一种基于YOLO的轻量级缺陷检测模型,专为无人机检测设计,优先考虑推理速度和计算效率以实现实时操作。最近,Tan等人[33]引入了RT-UAV-SOD,这是一种实时小对象检测框架,用于无人机图像,它在边缘设备上平衡了检测精度和处理速度,在基准数据集上取得了有竞争力的性能。虽然这些研究推进了航空平台上的实时感知,但它们并未完全将实时检测与自主管道跟踪和高度控制集成在一起,而这正是本工作的重点。表1总结了现有方法、它们的主要贡献和报告的局限性。检测性能和数据集大小按照原始研究中的说明报告。“未报告”表示作者没有明确提供相应的基于视觉的性能指标。实时部署表示所提出的方法是否在具有机载或闭环执行的无人机平台上进行了演示;仅通过离线模型测试评估的方法标记为“否”。表1. 现有工作及其局限性的总结。方法/途径自主性水平报告的检测性能(如有视觉指标)数据集大小主要贡献实时部署高度控制局限性[11]带有热相机和气体检测器的无人机半自主RF(97.25%);SVM(71%);DT(94.95%)未指定尺寸并行处理下的实时性能;泄漏/裂缝检测是有限灵活性;专注于热数据。[14]混合空中/地面操纵系统半自主未报告未指定双移动性,自主和远程模式是是存在可靠性和准确性问题,在不确定的环境中。[21]带有神经网络的无人机用于检测非自主82.20%未指定用于对象检测的训练和操作模型否假设性场景;未在现实世界中验证[12]基于视觉的管道跟踪+PID控制半自主未报告未指定具有两阶段管道识别和导航的自主检测是依赖于启发式PID调整;对环境敏感。[13]带有预编程路径的无人机上的红外相机半自主99.30%15,201张图片夜间检测,温度监测是限于预定义的路线;缺乏适应性。[15]带有深度传感器的基于视觉的无人机半自主未报告未报告在受控环境中有效的缺陷检测是缺乏在现实世界条件下的鲁棒性。[18]用于无人机路径优化的数学模型非自主未报告未报告提高了无人机移动的效率否使用固定参数;不适应。[22]集成RSVM和ANN用于甲烷泄漏半自主未指定未指定有效的甲烷检测是RSVM依赖于核函数;需要高质量数据。[27]带有YOLO和边缘检测的无人机自主72%1243张图片(经过增强)带有参考线的管道检测是无高度控制;mAP分数降低。[28]改进的YOLOv10s非自主84.2%7767张图片(经过增强)缺陷中心聚焦否无实时测试;仍依赖于架构。[29]跨域YOLOv8(CycleGAN和Transformer)非自主90%1500张图片使用GPR数据的地下缺陷检测否计算量大;在特定条件下测试。[30]YOLOv8-DBC(C2f-DSC与BiFPN和CBAM)非自主86%935张图片对于隧道泄漏具有更好的分割和降噪效果否专为隧道设计;通用性有限。从上述分析和表1中的比较总结来看,现有的基于无人机的管道检测方法存在几个持续存在的局限性。首先,大多数报告的系统仍然是半自主的,依赖于预编程的飞行路径或人类飞行员进行导航和决策[34]、[35]、[36]。其次,尽管最近的基于机器学习和深度学习的方法提高了检测性能,但大多数方法优先考虑感知精度,缺乏集成的实时管道跟踪和高度稳定。第三,跟踪精度、高度调节和机载实时性能的定量评估经常缺失或报告不一致,限制了客观比较和实际部署评估。这些差距突显了需要一个超越仅检测解决方案的集成检测框架。在此背景下,本研究提出了一种完全自主的无人机检测系统,该系统结合了基于YOLOv8的实时管道检测与闭环管道跟踪和高度控制。通过在轻型航空平台上集成感知和控制,所提出的系统能够沿地面管道进行连续、自主导航的检测,减少了对人类操作员的依赖,并在现实世界和远程环境中提高了操作鲁棒性。2. 方法论2.1. 概述在现实世界场景中,管道在大小、宽度、尺寸和颜色上可能存在显著差异。为了适应这些差异,采用了一种基于深度学习的检测方法,通过在DJI Tello无人机上训练YOLO模型来实现。这使得Tello无人机能够在不同的环境条件下区分管道和非管道对象。DJI Tello无人机是一个多功能且成本效益高的平台,适用于自主无人机应用的研究和开发。它配备了一套机载传感器,包括带有陀螺仪和加速度计的惯性测量单元(IMU)。选择YOLO是因为其鲁棒性、快速检测速度和计算效率,非常适合实时管道跟踪。管道检测算法处理机载相机捕获的图像,利用训练有素的YOLO模型准确识别和定位图像中的管道。一旦检测到管道,算法会生成一个边界框,并提供位置坐标,然后用于导航调整。管道跟踪算法使用这些坐标计算图像帧中心与检测到的管道中心之间的位置误差。该误差随后被输入到无人机的飞行控制器中,其中基于PID的控制系统使用偏航和滚转命令动态调整无人机的导航。偏航和滚转的变化有助于无人机相对于管道方向的对齐。这些实时校正使得精确和响应迅速的机动成为可能,确保了连续和准确的管道跟踪。为了进一步提高飞行稳定性,集成了一种高度控制算法以保持飞行员指定的高度。该系统动态调整无人机的飞行高度,以补偿风扰动、不平坦地形和管道高度变化等外部因素。图1展示了整个系统的流程图。接下来的部分将介绍YOLO架构。下载:下载高分辨率图像(252KB)下载:下载全尺寸图像图1. 管道检测、管道跟踪和高度控制算法的流程图。2.2. YOLO架构Joseph等人[37]开发的YOLOv1算法将对象检测视为回归问题,通过将图像划分为单元网格并预测这些单元内对象的边界框和类别概率。这种方法通过单次前向传递进行预测,实现了实时应用和快速检测。然而,YOLOv1在检测小对象方面存在局限性。随后发布的YOLOv2旨在通过引入批量归一化和锚框来解决第一个版本中的问题,提高了检测精度和训练稳定性[38]。尽管有这些改进,YOLOv1和YOLOv2在检测小对象方面仍然存在困难,这促使后续版本进行了进一步修改。为了解决这个问题,YOLOv3引入了多尺度检测,使用了特征金字塔网络(FPN),并用Darknet-53替换了YOLOv2的主干网络[39]。这导致了一个具有106层的完全卷积网络,通过将检测内核应用于不同大小的特征图来提高检测小对象的概率。在YOLOv3的基础上,YOLOv4引入了CSPDarkNet53作为更高效的主干网络,取代了DarkNet53[40]。这一修改利用了跨阶段部分(CSP)策略来优化特征提取并提高计算效率。CSPDarkNet53中的最后一个残差块在增强特征表示方面发挥了关键作用,从而提高了检测性能。YOLOv5与之前的版本不同,它采用了PyTorch框架而不是Darknet[41]。其架构包括三个关键组件:作为主干网络的跨阶段部分Darknet网络、用于扩展网络感受野的颈部变体SPP,以及集成到路径聚合网络(PANet)中的BottleNeckCSP,以改善信息流和掩码预测的准确性。头部部分包括三个卷积层,如之前的版本所示。该架构利用CSP网络策略划分和合并Darknet53主干网络的特征图,从而减少了参数数量并提高了推理速度。BottleneckCSP模块提供的灵活性允许根据具体需求定制YOLOv5模型,从而产生了不同的变体,如YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x,以适应各种应用场景。此外,YOLOv5在其算法中引入了锚框学习,提高了对象定位的准确性,特别是对于不同大小和纵横比的对象。YOLOv7在速度和准确性方面相比之前的版本有了显著改进,同时保持了与类似模型相当的推理速度[42]。其架构包括三个主要组件,用于图像识别和对象检测:主干网络、颈部和头部。与之前的版本不同,YOLOv7仅依赖于COCO数据集进行训练,不使用预训练的ImageNet主干网络。YOLOv7的一个关键改进是采用了扩展高效层聚合网络(E-ELAN),通过创建更短的梯度路径来促进更快和更准确的学习[42]、[43]。这是通过扩展、混合和合并网络内不同层的特征来实现的。2.2.1. YOLOv8网络架构YOLO对象检测模型家族经历了快速而显著的进化,每一代都引入了架构改进和性能优化,以解决前代的局限性。虽然最近的版本,如YOLOv9到YOLOv12,探索了实验性设计变化和专门用例,但YOLOv8在学术研究和工业应用中仍然是一个经过验证且成熟的基准。去年年初由Ultralytics发布的YOLOv8在YOLOv5和YOLOv7的基础上进行了大量改进,包括无锚框检测头、通过修订的主干网络和颈部设计增强了特征聚合,以及更稳健的训练管道,平衡了速度和准确性[44]。这些设计选择使得YOLOv8特别适合需要实时推理、高检测精度以及在资源受限系统上高效部署的场景,这些标准对于本研究的目标至关重要。通过采用一个性能稳定且文档记录详尽的架构,本工作更注重可重复性和实际应用性,而不是早期采用未经充分验证的新版本时常常伴随的不确定性。一个显著的改进是使用了修改版的CSPDarknet53作为主干网络。这一修改增强了模型提取特征的能力,同时保持了轻量级的设计。YOLOv8的网络结构如图2所示。此外,YOLOv8用C2f替换了C3模块,有效地减少了所需的参数数量和计算量,而没有牺牲性能。而且,YOLOv8在主干网络的后期阶段加入了空间金字塔池化快速(SPPF)模块,使得多尺度特征融合更快更稳健,从而提升了整体性能。

下载:下载高分辨率图像(250KB)
下载:下载全尺寸图像

图2. YOLOv8网络结构。

YOLOv8引入的另一个值得注意的创新是它直接估计物体中心,消除了对锚框设计和选择的需求。这种无锚框的方法简化了模型的架构和训练过程。此外,YOLOv8提供了多种针对不同应用和硬件要求的变体,包括YOLOv8n、YOLOv8s、YOLOv8m、YOLOv8l和YOLOv8x,以满足从小型到超大型尺寸的各种需求。这些变体的详细特性在表2中呈现。

表2. YOLOv8变体的特性 [26]。

模型 | 参数(M) | 大小(像素) | FLOPs(B)
--- | --- | --- |
| YOLOv8n | 3.26 | 408.7 |
| YOLOv8s | 11.26 | 4028.6 |
| YOLOv8m | 25.96 | 4078.9 |
| YOLOv8l | 43.76 | 40165.2 |
| YOLOv8x | 68.26 | 40257.8 |

2.3.1. 流式检测算法

本研究使用了YOLOv8s,这是YOLOv8家族中的一个轻量级变体,因其检测精度和计算效率的平衡而受到青睐。由于主要部署平台是一个处理能力和能源资源有限的机载无人机系统,因此排除了较大的变体(YOLOv8m、YOLOv8l和YOLOv8x),以防止过高的延迟、更高的内存使用和减少飞行时间。YOLOv8s具有精简的架构,能够在资源有限的硬件上实现具有竞争力的检测性能,这对于需要高精度和快速响应的空中监测任务至关重要。首先,研究评估了YOLOv8s作为基线的性能,没有使用任何预处理或增强技术。然后,在训练前对数据集引入了预处理技术,以评估它们对模型性能的影响。第3.3.1.1节提供了这些预处理方法的详细解释。之后,应用了第3.3.1.2节中概述的数据增强技术。这些增强技术旨在提高模型的泛化能力,并确定它们是否在增加数据集大小的同时也提高了性能。这些实验的结果,包括不同模型有无增强情况下的比较性能,在第4节中进行了分析。

此外,本研究使用的数据集按照标准的深度学习最佳实践被分为三个子集:训练集、验证集和测试集。训练集作为架构的主要输入,使其能够学习特征表示并优化权重。验证集用于微调超参数、监控性能并实施提前停止技术以防止过拟合。这一步确保了调整是基于未见过的数据进行的,而不会直接影响最终评估。测试集在训练和验证期间保持完全独立,用于评估模型的泛化性能。这种结构化的方法与Goodfellow等人[45]提出的深度学习方法论一致,他们强调了独立验证集对于无偏模型评估的必要性。为了提高鲁棒性和泛化能力,测试了不同的训练-验证-测试分割比例。实验涉及60/20/20、70/20/10、75/15/10、80/10/10和90/5/5的分割,以找到使用YOLOv8s模型的最佳设置,同时考虑了增强的影响。在选择最佳数据分割比例后,分析了不同训练周期数对模型性能的影响。由于周期数对模型收敛至关重要,太少可能导致欠拟合,太多则可能导致过拟合,因此评估了100、150和200个周期的训练时长。目的是通过分析不同分割比例和周期数下的性能来确定一个平衡精度和计算效率的最佳训练长度。此外,研究还旨在找到最大化学习效率并最小化过拟合的数据分割比例,从而提高所提出方法的可靠性。

2.3.1. 数据集

本研究采用的数据集工程工作流程遵循了最近基于UAV的数据集文献[46]中报告的既定最佳实践,其中使用了系统化的程序来确保数据质量、一致性和深度学习应用的可重复性。具体来说,工作流程分为三个主要阶段:(i)数据采集和初步准备,包括原始图像收集和相关性过滤;(ii)数据集组成和注释特性;以及(iii)数据集处理和模型训练准备。这种结构化的方法确保了结果数据集适合于稳健的训练、预处理技术的公平比较以及可靠的性能评估。

**阶段I:数据采集和初步准备**

由于缺乏公开可用的空中管道数据集,本研究使用了一个从多个来源精心策划的定制数据集。该数据集包含3096张图像,这些图像来自自拍的空中照片、从公开视频片段中提取的帧以及从在线仓库获得的随机图像。每张图像的选择都是基于是否存在独特且可识别的管道结构,确保数据集适合训练可靠的检测模型。图3展示了一些数据集中的样本图像,突出了本研究中包含的各种管道条件和环境。为了保持数据集的高质量和标注的准确性,所有图像都使用了Roboflow平台[47]进行标注。在此过程中,手动在每张图像中的管道结构周围绘制了边界框。数据集涵盖了在各种环境条件下捕获的管道,包括开阔地形、工业区和部分遮挡的视图。这种多样性是有意包含的,以增强模型在各种现实世界场景中的泛化能力,从而提高其适应性和检测精度。

**阶段II:数据集组成和注释特性**

数据集包含一个对象类别“管道”。在3096张原始图像中,有3015张至少包含一个可见的管道实例,而81张图像不包含管道,并在训练和增强过程中被保留下来,以使模型暴露于仅包含背景的场景。在包含管道的图像中,相当一部分在同一帧中包含多个可见的管道段,反映了管道重叠、交叉或出现不连续的真实检查场景,而其余图像则显示单一主导管道。大约70-80%的包含管道的图像包含多个管道段,而其余图像在同一帧中显示单一主导管道。没有管道的图像没有被视为一个单独的类别,因为本研究的重点是准确定位和跟踪已知的管道基础设施,而不是二进制管道存在检测。数据集主要包含由金属和涂层材料制成的地面管道,这些材料通常用于石油和天然气基础设施。由于空中视觉感知和数据可用性的限制,完全埋藏的管道和严重结构损坏的情况没有包括在内。

**阶段III:数据集处理和模型训练准备**

这侧重于数据集处理和模型训练准备,包括图像预处理、对比度增强评估、数据增强及其对检测性能影响的定量评估。

2.3.1.1. 预处理

数据集经过了一系列预处理步骤,以确保图像的一致性和质量的提高。这些步骤旨在标准化图像属性,使特征更加明显,并为使用YOLO对象检测做准备。预处理步骤包括:
- **自动定向**:由于用于创建数据集的图像来自不同的来源,其中一些图像的方向由于相机位置的不同而发生了变化。首先进行这一步骤以解决这种不一致性,确保所有图像在进一步处理之前都正确定向。这确保了数据集的几何一致性,并防止了可能对特征学习和检测性能产生不利影响的定向相关问题。
- **图像调整大小**:所有图像都被调整大小到640×640像素的分辨率,以匹配YOLO对象检测模型所需的输入大小。YOLO架构设计为使用特定尺寸的方形输入,640×640是一个标准分辨率。由于图像被调整到这个固定大小,因此宽高比保持一致,特征提取也更加均匀。此外,使用标准输入大小还通过减少变异性和优化训练期间GPU的使用提高了计算效率。
- **对比度调整**:为了提高图像清晰度并在不同光照条件下使管道更加明显,测试了多种对比度增强技术。总共评估了三种方法:
- **直方图均衡**:这种方法根据像素频率分布在整个图像中重新分配像素强度。
- **对比度拉伸**:这种方法调整像素强度值以扩展亮度级别范围。尽管它改善了低对比度图像,但在处理光照条件极不平衡的场景时效果较差。
- **自适应直方图均衡**:这种方法通过在图像的小区域内重新分配像素强度来增强局部对比度。

每种对比度增强技术都在单独的训练实验中均匀应用于整个数据集。对于每种预处理配置,都训练并独立评估了一个专用的YOLOv8s模型,以便直接比较它们对检测性能的影响。为了展示这些对比度的效果,图4比较了应用于数据集中样本图像的三种对比度增强方法。

**2.3.1.2. 数据增强**

为了创建一个更加稳健和泛化的数据集,并评估增强的效果,应用了数据增强技术。这使模型能够识别更多样化的场景中的管道特征和异常情况,这对于在不同环境下的实时应用至关重要。几何变换如水平翻转、0-5%的裁剪和±15°的旋转帮助模型从不同方向和部分视图识别管道特征,而光度增强,包括分别调整亮度±15%和曝光±10%,模拟了各种光照条件。增强后,得到的数据集总共有8668张图像。表3和表4分别提供了数据集描述和数据集预处理中使用的增强技术的概述。

表3. 数据集描述
| 特性 | 描述 | 数据集名称 | 来源 |
| --- | --- | --- | --- |
| 自定义管道数据集 | 自拍的图像、来自公共视频片段的帧、在线仓库 | 8668 |
| 图像分辨率 | 416×416 | |
| 注释格式 | YOLO(边界框:x, y, w, h) | |
| 对象类别 | 管道 | |
| 增强技术 | 翻转、旋转、裁剪、亮度、曝光 | |
| 预处理技术 | 自动定向、图像调整大小、对比度调整 | |
| 训练/验证/测试集比例 | 60/20/20、70/20/10、80/10/10和90/5/5 | |

表4. 增强技术和参数

| 增强技术 | 参数 |
| --- | --- |
| 翻转 | 水平 | 90° |
| 旋转 | 顺时针、逆时针 | |
| 裁剪 | 0-5% 缩放 | |
| 旋转 | ±15° | |
| 亮度 | ±15% 变化 | |
| 曝光 | ±10% 变化 | |

2.3.2. 性能指标

本研究使用的性能指标包括精度、召回率、F1分数和平均精度(mAP)。这些指标需要计算真正例(TP)、真负例(TN)、假正例(FP)和假负例(FN)的值。真正例是指模型正确识别出存在的管道。真负例是指没有管道对象,模型什么也没有检测到。假正例是指模型错误地将非管道对象分类为管道。假负例是指模型未能检测到存在的管道。此外,还根据推理速度和损失来评估训练好的模型。
- **精度指标**:该指标衡量模型在图像中检测管道的准确性。它是正确检测到的管道数量与总检测数量之比。该指标如公式(1)所示。
(1) precision = TP / (TP + FP)
- **召回率指标**:该指标衡量模型在所有正管道中的正管道检测能力。即模型识别所有相关实例的能力。它如公式(2)所示计算。
(2) recall = TP / (TP + FN)
- **F1分数指标**:该指标将精度和召回率结合为一个分数。当FP和FN都趋近于零时,F1分数接近于1。方程3展示了计算过程。(3)F1分数=2×精确度×召回率。精确度+召回率。mAP指标:该指标通过计算所有类别的精确度-召回率曲线下的面积来平均精确度分数。mAP@50使用50%的IoU(交并比)阈值,而mAP@50–95使用50%到95%之间的IoU阈值范围。mAP@50被用作本研究中架构的评估指标。该方程在方程4中给出。(4)mAP=1/N∑i=1N APi•推理速度:这是模型处理图像并提供预测的速度。较高的推理速度可以实现快速决策。•损失:这描述了模型预测输出与实际或预期值之间的定量差异。YOLOv8通常使用三种损失函数的组合。这些包括框损失,它量化了预测的边界框坐标与实际真实注释之间的差异,确保了准确的定位。第二种损失是分类(cls)损失,它评估了预测的类别概率与实际类别标签之间的差异,体现了准确的对象分类。最后,分布式焦点损失(dfl)通过关注难以分类的示例来解决类别不平衡问题,从而提高了模型的鲁棒性和检测准确性。这些模型之间的性能比较是基于上述指标进行的。然而,由于无人机必须精确地跟随检测到的管道而不产生混淆,因此精确度被优先考虑,因为最小化误报对于确保无人机不会被错误的检测结果误导至关重要。选择了在检测准确性、处理速度和计算效率之间具有最佳平衡的模型作为管道跟随算法。2.4. 管道跟随算法检测到的管道的位置坐标作为输入从管道检测模型传递给管道跟随算法。边界框提供了关于管道在图像中位置的详细信息。它由四个关键坐标定义:(x1,y1)表示左上角,(x2,y1)表示右上角,(x1,y2)表示左下角,(x2,y2)表示右下角。这些点代表了图像中检测到的管道的边界边缘,图5展示了一个典型的例子。下载:下载高分辨率图像(136KB)下载:下载全尺寸图像图5. 带有检测到的管道的边界框,显示了位置坐标。可以使用方程5从这四个坐标计算出检测到的管道的中心位置。(5)xcenter,ycenter=(x1+x2)/2,y1+y2)/2这些坐标对于与相机捕获的输入图像中心对齐是必需的,以确保对管道的准确跟踪。图像中心本身使用方程6计算。(6)Imx,Imy=Imwidth/2,Imheight/2图6显示了输入图像的尺寸。核心概念是使用管道检测模型生成的边界框来确定每个视频帧中管道的位置。误差E(x)是基于边界框检测到的管道中心与图像中心之间的水平轴上的差异。误差在方程7中表示。(7)Ex=xcenter-Imx下载:下载高分辨率图像(142KB)下载:下载全尺寸图像图6. 图像中心的尺寸。这个误差被输入到无人机的PID控制系统,以调整偏航,对于滚转则使用比例缩放,以确保与跟随的管道对齐。值得注意的是,误差是作为检测到的管道中心减去图像中心来计算的,因为这种符号约定直接与无人机所需的纠正动作相关。正误差表示管道在图像中心的右侧,无人机必须向右偏航进行纠正;负误差表示管道在左侧,无人机必须向左偏航进行纠正。经过多次飞行测试后,比例项、积分项和微分项显示出稳定的飞行性能,它们的值被调整为Kp=0.6,Ki=0.05,Kd=0.3。偏航控制的PID增益是通过增量飞行测试经验性地调整的,遵循标准的手动调整程序。首先增加比例增益以实现与管道的响应对齐,然后调整微分项以减少振荡并提高稳定性。随后引入了一个小的积分项来纠正稳态偏移,同时避免积分风阻。滚转运动使用比例缩放因子进行控制,以补偿仅靠偏航控制无法纠正的大侧向偏差。缩放因子是通过增量飞行测试经验性地调整的,从低值开始逐渐增加,直到在不引起振荡或不稳定性的情况下实现足够的侧向响应性。发现0.03的值在所有测试场景中都能提供稳定和平滑的响应。为了确保安全并防止过度的侧向运动,最终的滚转指令被限制在±0.8m/s以内。这个过程优先考虑了稳定的闭环行为和平稳的跟踪,而不是激进的响应性,这对于在现实世界检查场景中安全操作无人机至关重要。算法1展示了管道跟随方法的详细步骤。对于管道跟随算法,误差仅沿水平轴计算,因为主要关注的是无人机跟随管道时的侧向运动。由于无人机在固定高度上操作,因此不需要垂直对齐,这意味着如果高度控制稳定,管道在图像中的垂直位置相对一致。导航的关键方面是确保无人机跟随管道的侧向路径,这需要调整偏航和滚转。无人机保持固定高度,以确保在获取管道数据以进行进一步检查时具有稳定的视野。算法1管道跟随固定高度非常适合地面管道,因为它们通常保持在恒定的高度,简化了控制逻辑。图7展示了基于发送给无人机的计算误差的偏航和滚转的具体控制动作。下载:下载高分辨率图像(66KB)下载:下载全尺寸图像图7. 无人机的偏航和滚转控制方案。无人机的运动由四个主要参数控制:高度hc、滚转φ、偏航ψ和俯仰θ。高度hc负责上升或下降运动,偏航ψ控制无人机的顺时针或逆时针旋转,滚转φ控制左右运动,俯仰θ控制前后运动。在本研究中,高度根据其算法保持固定,如下一节所述,管道的x轴位置用于控制偏航ψ和滚转φ。油门TH替代了俯仰θ,因为无人机不需要向后移动,前后运动保持在用户定义的速度,确保无人机运动平稳。2.5. 高度控制算法在基于无人机的检查过程中,需要精确的高度控制以实现平稳和准确的数据捕获。高度控制算法提出了一个PID控制器,根据实时传感器反馈连续调整垂直速度,确保稳定定位的同时最小化振荡和功耗。算法首先从内置的气压计数据中获取无人机的当前高度hc,然后使用滚动平均法对其进行平滑处理,以减少噪声,如方程8所示。(8)hsmooth=1/N∑i=1N hc(i)其中N=5表示滚动平均的窗口大小。高度误差eh是平滑高度与目标高度ht之间的偏差。这使用方程9计算。(9)eh=ht-hsmooth为了实现平稳的垂直运动,避免突然中断,PID控制器使用比例项、积分项和微分项计算校正速度vz,如方程10所示。(10)vz=Kpeht+Ki∫ehdt+Kddehdt其中Kp=0.4,Ki=0.01,Kd=0.1是通过多次实验经验性调整的增益。与侧向控制类似,高度PID增益也是通过飞行实验经验性调整的,参数选择旨在最小化振荡和垂直漂移,同时在传感器噪声和环境干扰下确保平稳的高度调节。输出速度vz被限制在±0.3m/s以内,以避免突然的运动。(11)vz=clip(vz,?30,30)算法2展示了高度控制的详细步骤算法2高度控制3. 结果与讨论3.1. 模型训练环境所有输入图像在引入架构之前都被调整为640×640像素。模型最初训练了100个周期,然后评估了改变周期数对性能的影响。模型使用批量大小为16进行训练,学习率为1e?2,权重衰减为5e?4。这些超参数是根据YOLOv8训练的既定最佳实践选择的,并受到可用硬件资源的限制。由于AdamW优化器具有更好的收敛稳定性,因此被采用,它非常适合对象检测任务。学习率和权重衰减遵循YOLOv8文档中推荐的默认配置,并在最近的研究[26]、[48]中普遍采用,无需大量超参数调整即可实现稳定收敛。初步试验表明,偏离这些值会减慢收敛速度或降低检测性能。所有其他参数保持其默认设置,以限制过度调整导致的过拟合并保持可重复性。本研究的代码是用Python编写的,大量依赖于PyTorch?2.3.1+Cu121包等。模型在配备Intel Core i9-10900F CPU、32 GB RAM和NVIDIA GeForce RTX 2080 GPU(带8 GB VRAM)的Alienware系统上的Visual Studio Code中本地训练。3.2. 管道检测结果表5比较了基线模型与三种预处理技术。未经预处理的基线模型在0.813小时内完成训练,精确度为0.711,召回率为0.583,反映了在避免误报和捕获相关检测之间的合理平衡。相应的F1分数为0.641,mAP@50的值为0.621,作为后续比较的参考点。直方图均衡化仅在精确度上略有提高,值为0.756,但以牺牲召回率、F1分数和mAP@50为代价,表明这种方法可能以某种方式扭曲了图像对比度,从而妨碍了持续的检测。相比之下,对比度拉伸在大多数指标上都有中等程度的改进,特别是精确度提高了0.771,F1分数为0.647,尽管召回率几乎与基线相同。表5. 基线数据集与在训练前对所有图像统一应用单一对比度增强技术的数据集变体之间的性能比较。数据集训练时间(小时)精确度召回率F1分数mAP@50原始(基线)0.8130.7110.5830.6410.621预处理[自动定向,直方图均衡器]0.8150.7560.5150.6130.564预处理[自动定向,对比度拉伸]0.8340.7710.5580.6470.630预处理[自动定向,自适应均衡器]0.8180.7890.5700.6620.652自适应均衡器在几乎所有指标上都一致优于基线和其他预处理技术。精确度提高到0.789,F1分数上升到0.662,mAP@50达到0.652。尽管训练时间略有延长,召回率为0.570没有超过基线,但精确度的显著提高是这项应用中最关键的指标,使得自适应均衡成为首选的预处理技术。因此,这种配置被选为通过数据增强进行进一步优化。为了清晰起见,表5中列出的每种预处理技术对应于一个特定的数据集变体,在该变体中,指定的预处理步骤一致应用于所有图像。在单次训练运行中未使用混合或图像特定的预处理。表6展示了使用增强数据集的不同分割比例(60/20/20、70/20/10、75/15/10、80/10/10和90/5/5)的评估结果。在分割比例中,60/20/20的分割产生了最快的训练时间,这是预期的。这是因为它的训练集较小。同样,90/5/5的比例显示出最高的精确度0.942,这是本研究中最关键的指标,因为无人机必须准确识别并跟随管道,而不被错误的检测结果误导。高精度的模型最小化了误报,确保无人机保持在正确的路径上,减少了错误导航的风险。表6. 在数据集增强后,不同数据集分割比例在100个周期内的性能比较。分割比例(训练/验证/测试)训练时间(小时)精确度召回率F1分数mAP@5060/20/201.8160.8440.6280.7200.69970/20/102.1090.8320.6540.7320.73075/15/102.2580.9070.8670.8870.91880/10/102.3990.9330.9450.9390.97090/5/52.6510.9420.9280.9350.97480/10/10的分割产生了最高的召回率0.945,表明在图像中正确识别管道实例的能力很强。虽然90/5/5配置的召回率略有下降(-1.7%),但这种差异相对较小。F1分数也显示出类似的趋势,90/5/5的分割获得了0.935,与80/10/10分割获得的最高分数0.939非常接近。这些结果表明,这两种配置在精确度和召回率之间保持了良好的平衡。此外,这两种分割的mAP@50分数非常接近,90/5/5分割获得了最高的0.974分数,而80/10/10分割为0.970。这些结果共同表明,90/5/5的数据分割方式在整体检测性能上略胜一筹,尤其是在精确度和mAP(Mean Average Precision)方面,这两者对于减少自主管道检测场景中的误检至关重要。尽管90/5/5的分割方式获得了最高的精确度和mAP@50值,但必须强调的是,该模型在所有评估的数据分割策略下都表现出一致的性能。特别是75/15/10和80/10/10的分割方式在精确度、召回率和F1分数上表现相当,这表明观察到的性能提升并非仅仅是由于测试集规模减小所导致的。这种在多种分割比例下的一致性表明了模型学习的稳定性,并支持了训练模型在评估数据集内的鲁棒性。因此,选择90/5/5的分割方式主要是为了最大化可用于部署评估的训练数据比例,而不仅仅作为泛化能力的唯一依据。这一选择与系统在实时自主检测中的预期应用相一致,在这种应用中,飞行中的可靠性能是优先考虑的。使用这种分割方式,随后分析了不同训练周期长度的影响,以确定模型收敛、计算效率和检测性能之间的最佳平衡。具体来说,评估了100、150和200个训练周期的结果,并在表7中进行了总结。

表7. 使用90/5/5分割比例在不同训练周期下的性能比较。

通过100个周期的训练,在大多数评估指标上均取得了优于更长训练周期的性能,除了召回率在200个周期时略有提升。这一趋势表明,延长训练时间可能会略微牺牲精确度以提升召回率,从而进一步支持选择100个周期作为平衡且高效的训练配置。为了进一步了解模型在训练过程中的行为,图8展示了训练损失和泛化性能。尽管该模型的验证集和测试集规模较小,但模型在各个周期内的稳定性、较低的验证损失以及较高的精确度和mAP@50值支持选择100个周期,证明了模型的稳定收敛性和没有过拟合的现象。

图8. 不同训练周期下训练损失和验证损失的比较。(a) Box_loss, (b) Dfl_loss。从图8a可以看出,box_loss的训练损失和验证损失都随时间减少,这是模型学习良好的迹象,而超过100个周期的训练对模型并无帮助。同样,图8b显示dfl_loss在90-100周期左右趋于稳定,表明了良好的泛化能力。超过100个周期的训练并没有降低验证损失,意味着模型不再有改进的空间。为了在效率和性能之间取得平衡,100个周期是最优选择。图9展示了不同训练周期下的性能指标趋势。所有性能指标图表都表明,超过100个周期的训练并没有提升性能,除了召回率图表,在200个周期的训练中精确度有所下降。这些发现表明,长时间的训练并不会带来显著的性能提升。然后,该模型被用于无人机导航的管道跟随算法中。

此外,还对最佳模型在未见图像上的泛化能力进行了测试,以评估其在现实世界场景中的表现。重点在于评估模型准确检测和分类管道的能力。图10展示了检测结果。从图10可以看出,该模型能够在多种环境中成功检测到管道,包括户外景观、岩石地形和杂乱的工业环境。模型获得了较高的置信度分数,大多数检测的置信度超过了0.8,表明了其可靠性。此外,它还能检测到不同颜色和方向的管道。然而,在管道重叠的杂乱场景中,置信度分数略有下降。尽管如此,模型仍表现出强大的泛化能力,使其非常适合用于现实世界的管道检测任务。

3.3. 管道跟随结果
除了离线评估之外,训练好的检测模型还被用于实时管道跟随实验,实验中使用无人机平台进行。这些实验使模型暴露在之前未见的数据流中,这些数据流涵盖了不同的环境条件,包括光照变化、背景杂乱和观察角度的变化。因此,管道跟随实验作为一种独立的验证方式,评估了检测模型在闭环、现实世界操作条件下的鲁棒性。从管道检测模型中提取出的管道位置坐标被用作管道跟随算法的输入。边界框提供了管道在图像中的位置信息,作为无人机跟随的基础。核心概念是持续使用边界框来确定每个视频帧中管道的位置。

3.3.1. 实施细节
测试环境被设置为简化的石油和天然气管道场景。实验在马来西亚霹雳州PETRONAS科技大学的23号和22号区块之间进行,纬度为4.38259,经度为100.968152。图11展示了实验设置。该设置包含三段直径为3英寸的2米长管道,管道略有弯曲。无人机上的摄像头捕捉实时图像,并将图像传输到地面控制站进行处理。由于Tello无人机缺乏机载计算能力,所有图像处理都在地面站完成,其中管道检测模型分析图像并向Tello无人机发送移动指令。无人机和地面站通过Wi-Fi连接进行通信。

地面站配备了Intel Core i5-8265U CPU(四核,八线程@1.60 GHz)、8 GB RAM,并运行Windows 10(64位)。测试在平静且风速较低的情况下进行。为了简化问题,本研究专注于直线型、表面管道配置,其中包含一个略微弯曲的连接点。一些测试结果将在后续章节中讨论。

3.3.2. 帧级分析
每帧的总处理时间约为589毫秒。在此期间,通过Wi-Fi链接接收到的图像帧被解码,由管道检测模型处理,并生成表示管道位置的边界框输出。这导致了2.01 FPS的处理速率,这一限制主要归因于硬件限制。虽然这一帧率低于传统的视频流传输速率,但对于本研究考虑的管道跟随任务来说已经足够。管道检测涉及无人机沿线性基础设施的缓慢、谨慎移动,其中感知更新主要用于纠正逐渐的横向偏差,而不是响应快速移动的目标。考虑到无人机在检测过程中的运行速度,所实现的帧率为闭环控制提供了及时的感知更新,使得管道能够稳定对齐并持续跟踪。

为了理解测量到的帧率,有必要区分在计算优化设置下报告的算法推理速度和飞行过程中的全系统闭环吞吐量,后者包括图像流传输、解码、推理和命令执行。例如,Zhao等人[49]报告了一个改进的基于YOLOv7的管道检测系统的处理速率为44 FPS,反映了他们在特定实现和硬件配置下的模型级效率。同样,Zhang等人[50]展示了通过TensorRT优化,基于YOLOv8的管道缺陷检测速率可以从5.4 FPS提升到19.3 FPS,突显了机载AI加速和特定于部署的优化的影响。相比之下,本研究报告了在户外飞行期间的保守端到端闭环速率,同时执行检测、管道跟随控制和高度调节。因此,报告的帧率代表了在受限计算资源下的实际系统级基准。

图9展示了不同训练周期下的性能指标趋势。所有性能指标图表都表明,超过100个周期的训练并没有提升性能,除了召回率图表,在200个周期的训练中精确度有所下降。这些发现表明,长时间的训练并不会带来显著的性能提升。然后,该模型被用于无人机导航的管道跟随算法中。

此外,还在未见图像上测试了最佳模型,以评估其在现实世界场景中的泛化能力。重点在于评估模型准确检测和分类管道的能力。图10展示了检测结果。从图10可以看出,该模型在多样化的环境中成功检测到了管道,包括户外景观、岩石地形和杂乱的工业环境。模型获得了高置信度分数,大多数检测的置信度超过了0.8,表明了其可靠性。此外,它还能检测到不同颜色和方向的管道。然而,在管道重叠的杂乱场景中,由于多个管道的干扰,某些情况下置信度分数略有下降。尽管如此,模型仍表现出强大的泛化能力,使其非常适合用于现实世界的管道检测任务。

3.3.1. 实施细节
测试环境被设置为简化的石油和天然气管道场景。实验在马来西亚霹雳州PETRONAS科技大学的23号和22号区块之间进行,纬度为4.38259,经度为100.968152。图11展示了实验设置。设置中的管道略有弯曲,由三段直径为3英寸的2米长管道组成。无人机上的摄像头捕捉实时图像,并将图像传输到地面控制站进行处理。由于Tello无人机缺乏机载计算能力,所有图像处理都在地面站完成,其中管道检测模型分析图像并向Tello无人机发送移动指令。无人机和地面站通过Wi-Fi连接进行通信。

地面站配备了Intel Core i5-8265U CPU(四核,八线程@1.60 GHz)、8 GB RAM,并运行Windows 10(64位)。测试在平静且风速较低的情况下进行。为了简化问题,本研究专注于直线型、表面管道配置,其中包含一个略微弯曲的连接点。一些测试结果将在后续章节中讨论。

3.3.2. 帧级分析
每帧的总处理时间约为589毫秒。在此期间,通过Wi-Fi链接接收到的图像帧被解码,由管道检测模型处理,并用于生成表示管道位置的边界框输出。这导致了2.01 FPS的处理速率,这一限制主要归因于硬件限制。虽然这一帧率低于传统的视频流传输速率,但对于本研究考虑的管道跟随任务来说已经足够。管道检测涉及无人机沿线性基础设施的缓慢、谨慎移动,其中感知更新主要用于纠正逐渐的横向偏差,而不是响应快速移动的目标。考虑到无人机在检测过程中的运行速度,所实现的帧率为闭环控制提供了及时的感知更新,使得管道能够稳定对齐并持续跟踪。

为了理解测量到的帧率,有必要区分在计算优化设置下报告的算法推理速度和飞行过程中的全系统闭环吞吐量,后者包括图像流传输、解码、推理和命令执行。例如,Zhao等人[49]报告了一个改进的基于YOLOv7的管道检测系统的处理速率为44 FPS,反映了他们在特定实现和硬件配置下的模型级效率。同样,Zhang等人[50]展示了通过TensorRT优化,基于YOLOv8的管道缺陷检测速率可以从5.4 FPS提升到19.3 FPS,突显了机载AI加速和特定于部署的优化的影响。相比之下,本研究报告了在户外飞行期间的保守端到端闭环速率,同时执行检测、管道跟随控制和高度调节。因此,报告的帧率代表了在受限计算资源下的实际系统级基准。

图12展示了在户外进行的实时管道跟随实验中的代表性帧。使用绿色边界框突出显示了检测到的管道,并附有相关的置信度分数,同时每个帧上叠加了相关的飞行参数,包括高度误差和偏航角。结果显示,无人机在补偿轻微偏差的同时,始终与管道保持一致的对齐。值得注意的是,实验在不同的光照条件下进行,包括光照变化、阴影和一天中不同时间的表面反射,但检测和跟踪性能保持稳定。总体而言,这些结果证明了所提出算法在真实石油和天然气环境中的有效性。

图13展示了60秒飞行测试期间记录的偏航角响应和误差偏差。从图13a可以看出,无人机在大部分飞行时间内保持偏航角接近零,表明在跟踪管道时航向控制稳定。最小的波动表明PID控制器有效地调节了航向,确保了偏差得到适当纠正。这表明管道跟随算法足够鲁棒,能够在户外环境中保持方向。同样,图13b展示了误差偏差随时间的图表,提供了跟踪性能的洞察。无人机在大部分飞行时间内相对于管道保持其位置,因为误差偏差保持接近零。系统在偏差累积之前有效纠正了偏差,显示出其实现可靠跟踪性能的能力。在管道跟随过程中,平均平方误差为0.0023平方米。飞行日志中观察到的低跟踪误差和稳定的偏航行为进一步表明,检测模型在闭环控制设置下在处理未见数据时仍能保持可靠的性能。

图14展示了起飞后目标高度与实际高度之间的差异。结果显示,无人机在60秒的飞行时间内持续尝试保持目标高度,尽管存在轻微变化。经过多次飞行测试后,目标高度与实际高度之间的平均绝对误差(MAE)为0.0044米,表明性能令人满意。实施的高度控制算法有效地最小化了波动,确保了管道跟踪的稳定性。

表8展示了所提出系统与文献中报道的现有基于无人机的管道检测研究之间的比较评估。比较重点关注了一致报告的指标,包括检测准确性和跟踪性能,同时明确将不可用的指标标记为“N/A”以确保公平比较。与基于视觉的管道跟随方法(如Da Silva等人[27])相比,所提出的系统实现了显著更高的mAP(97.4-72%),并将跟踪平均平方误差从0.0111平方米降低到0.0023平方米。与主要评估感知准确性的方法(如Yang等人[28]、Zhang等人[50]和Zhao等人[49])不同,本研究将检测与闭环管道跟随和高度控制相结合,实现了端到端的自主检测。

值得注意的是,现有基于无人机的管道检测研究中很少量化高度控制性能,因此大多数比较研究中无法获得这一指标。本研究将高度的平均绝对误差纳入评估,突出了通常被忽视的系统级评估的另一个维度。总体而言,这种扩展的比较表明,所提出的框架通过同时解决检测准确性、跟踪精度和实际部署条件下的飞行稳定性,超越了单独的感知性能。

尽管与90/5/5分割相关的离线测试集有限,但跨多个数据分区的检测性能一致性,加上稳定的损失收敛和成功的实时部署,提供了模型鲁棒性的补充证据。在闭环飞行实验中,检测、跟踪和高度控制的集成证明了所提出的系统在性能上超越了单独的离线评估。3.6. 局限性尽管取得了有希望的结果,但仍需注意几个局限性。当前系统依赖于外部处理硬件,导致帧率相对较低,这可能在高度动态的情景中限制响应速度。虽然YOLOv8s在整体上具有强大的检测性能,但在遮挡、低对比度或复杂背景等具有挑战性的视觉条件下,偶尔仍会出现误检测。此外,管道跟随和高度控制算法使用的是针对测试条件调整的固定PID增益,这可能在显著不同的环境干扰下限制系统的鲁棒性。最后,实验验证是在有限的户外环境范围内的地面管道上进行的,因此需要在更多类型的管道和条件下探索更广泛的泛化能力。4. 结论与未来工作本研究开发了一个使用优化对象检测模型的强大实时管道检测系统。经过全面评估后,选择了YOLOv8s,其在所有测试模型中实现了最高的精度(94.2%)、F1分数和mAP@50。使用Tello无人机实现了实时管道跟随算法,通过边界框输出来控制无人机运动,并通过户外测试验证了跟踪性能,平均平方误差为0.0023平方米,帧率为2.01 FPS。高度控制算法使无人机保持在管道上方0.7米处,平均绝对误差为0.0044米。与以往研究的比较分析证实了其在检测准确性、跟踪精度和飞行稳定性方面的优越性能。还引入了一个新的管道检测数据集,提高了基于无人机的计算机视觉系统的可重复性和训练质量。测试结果证实,无人机能够自主检测和跟随管道,从而验证了研究假设,并展示了在最小人工干预下实现完全自主操作的可行性。未来的工作将集中在解决已识别的局限性并提高系统的鲁棒性上。部署AI加速的机载硬件(如NVIDIA Jetson平台)将实现更高的推理速度和更好的实时响应能力。将探索自适应和基于优化的控制策略,包括增益调度或基于学习的控制器,以在不同环境条件下提高稳定性。此外,未来的研究将研究故障感知机制,如基于置信度的检测过滤和时间一致性检查,以减少在具有挑战性的视觉条件下的误检测。数据集将扩展以包括更多的管道材料、表面条件、损坏类型和部分埋藏的情况,以进一步提高鲁棒性和泛化能力。将系统扩展到协作多无人机检测和大规模现场验证将进一步提高可扩展性、覆盖范围和容错能力。总体而言,这些方向将推动所提出的框架向大规模自主管道监控的可靠实际应用迈进。

CRediT作者贡献声明:
Aromoye Ibrahim:撰写——原始草稿、验证、软件、方法论、调查、形式分析、数据整理、概念化。
Balogun Abdullateef:撰写——审阅与编辑、验证、调查、数据整理。
Ayninla Shehu Lukman:可视化、软件、方法论。
Lo Hai Hiung:撰写——审阅与编辑、验证、监督、项目管理、调查、资金获取、数据整理、概念化。
Patrick Sebastian:撰写——审阅与编辑、可视化、监督、项目管理。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号