《Knowledge-Based Systems》:An annotation assistant for monitoring the electrical grid using aerial images
编辑推荐:
为解决电网巡检中高分辨率航拍图像人工标注耗时巨大的瓶颈,本研究提出一种名为WISCAS(Weighted Image Sampling from Calculated Scores)的人机协同混合标注方法。该方法通过深度学习模型生成标注建议,由专家仅需对高置信度预测进行快速验证,而对不确定性样本进行精细标注,在保证所有图像最终均经人工审核的前提下,将标注效率提升至纯手动标注的2.67倍以上,为安全关键领域的自动化巡检提供了高效可靠的解决方案。
在现代社会,电力系统的稳定运行关乎国计民生,而对庞大电网基础设施的定期巡检是保障其安全可靠的关键。传统的电网巡检通常依赖直升机或无人机采集数万张高分辨率航拍图像,随后由专家人工标注图像中的每个电力塔架,以生成详细的巡检报告。这一标注过程极度耗时,已成为整个巡检流程中的主要瓶颈。尽管机器人技术和人工智能有望提升效率,但由于安全和法规限制,目前仍无法实现全自动无人机巡检。因此,如何在不牺牲标注准确性的前提下,大幅降低人工标注成本,成为电网智能化巡检领域亟待突破的难题。
在此背景下,一篇发表于《Knowledge-Based Systems》的研究论文提出了一种创新的解决方案。该研究团队设计并验证了一种名为WISCAS(加权图像采样计算评分法)的混合标注策略,巧妙地将人类专家的判断力与深度学习模型的预测能力相结合,旨在显著加速电网塔架的标注流程。
为开展此项研究,研究人员构建了一个大规模的真实数据集,包含覆盖西班牙全国17,517公里电网、530条线路的60,000张航拍图像。其核心技术方法可概括为以下几个关键环节:首先,采用YOLOv5目标检测模型作为基础检测器,对未标注图像进行初始预测,生成边界框建议;其次,提出一种新颖的迭代式人机协同工作流,每一轮迭代会动态地将待处理图像集划分为“验证集”和“标注集”;关键创新在于其WISCAS采样策略,它综合考量图像级检测置信度的几何均值、基于边界框中心特征的最大距离(以衡量多样性)以及边界框数量的对数评分(以控制标注复杂度),从而智能地选择出最适合验证(快速确认)或需要人工精细标注的图像;最后,将人工审核或修正后的数据加入训练集,重新训练模型,使其在下一轮迭代中提供更准确的建议,如此循环直至所有图像处理完毕。
3.1. 整体方法
该研究提出的方法核心是一个数据引擎工作流。其基本思想是:先标注少量图像以初始化一个塔架检测器,随后该检测器开始为新的图像生成标注建议。通过将图像分为“验证集”和“标注集”,优化人力分配。验证集包含模型预测置信度高的图像,标注者只需进行“是/否”确认;标注集则包含模型不确定或预测有误的图像,需要标注者进行修改或从头标注。这种方法形成一个迭代循环:模型预测、选择图像子集进行验证或标注、用修正后的标签重新训练模型,逐步提升模型建议的质量。该方法保证每张图像最终都经过人工审核,以满足电网这种安全关键领域对准确性的苛刻要求。
3.4. 加权图像采样计算评分法 (WISCAS)
WISCAS是该研究贡献的核心,它是一套用于在每轮迭代中智能选择图像子集的算法。其目标是平衡标注的难度和数据的多样性,从而最大化减少人类标注者的总工作时间。具体操作包括:从一个大规模的未标注图像池中预选一个子集(如10,000张),然后利用计算出的分数(如图像整体置信度Cu、特征空间最大距离Dmax、边界框数量函数f(nbb))从中挑选出1,000张图像,进而将其划分为验证集和标注集。验证集由高置信度图像组成,标注者只需快速验证;标注集则包含那些能最大程度丰富训练数据集的信息量大的图像(如高不确定性、高多样性或标注成本适中的图像)。
3.5. 精确时间测量
为量化所提方法的效率提升,研究集成了一个计时器到标注工具界面,精确记录验证和标注每张图像所需的时间。分析表明,验证一张图像(平均每个边界框耗时0.14秒)远快于从头标注一张图像(平均每个边界框耗时1.63秒)。通过模拟不同标注策略下的总耗时,研究证实了WISCAS方法的高效性。
6. 实验结果
研究通过大量实验对比了不同标注策略的性能。6.1. 基线方法 中比较了完全手动标注、随机采样、不确定性采样等方法。6.4. 按策略划分的标注效率 的结果显示,完全手动标注40,000张图像需27.68小时,而WISCAS v2策略仅需10.24小时,效率提升约2.7倍,且最终训练出的检测器在测试集上达到了0.878的精度和0.963的召回率,在保证高质量标注的同时极大节约了人力成本。6.5. 按区域和边界框大小的检测性能 进一步表明,最终训练好的检测器对于不同地理区域和不同尺寸的塔架均表现出良好的鲁棒性,尤其对大中型塔架的检测精度(AP@0.5)可达0.8-0.9,虽然对小尺寸塔架的检测(AP@0.5约0.5)仍有提升空间,但整体性能满足实际应用需求。
7. 结论与讨论
本研究成功开发并验证了WISCAS这一混合标注方法,它通过智能分配人力(验证高置信度预测、标注信息量大的样本),在确保电网巡检这类安全关键任务标注结果100%准确的前提下,显著降低了标注时间成本。该研究的主要贡献在于:提出了一种实用的、能整合进生产流程的人机协同标注方法;设计了优化的采样策略以最大化AI辅助的效果;并创建了一个可用于后续研究的大规模、高质量的电网塔架标注数据集。更重要的是,该方法已在实际工业场景中得到应用和验证,证明了其将类似应用从研究推向生产的可行性。未来工作可探索将此类方法扩展至其他关键基础设施的巡检任务中,并研究更自适应的参数优化策略(如元启发式算法)以进一步提升效率。