一种高效的指针仪表读数方法，通过定向对象检测技术消除数据分割和OCR（光学字符识别）带来的干扰

《Measurement》：An efficient pointer meter reading method eliminating segmentation and OCR via oriented object detection

本文提出基于OBB目标检测的自动指针表计读取方法，通过YOLOv8-OBB架构结合改进的PDSConv卷积和PMSFA特征聚合模块，消除传统方法依赖图像分割和OCR带来的计算负担，同时集成透视校正和平均角度算法提升鲁棒性，在NVIDIA RTX 3080Ti和Jetson Nano上分别达到40.51和9.42 fps，精度达90.52%。

　　

吴婉凝|李成|杨晓晓|胡建文|谢琪月|范少生|梁桥康

长沙理工大学人工智能学院，中国长沙410114

摘要

基于视觉的自动化指针式仪表读数方法是智能测量和检测系统的基础组成部分，显著提升了无人工厂的运营效率。目前的方法主要依赖于多阶段流程，结合图像分割和光学字符识别（OCR）来提取关键的仪表组件（例如，表盘中心、指针、刻度标记和刻度值）。然而，这些方法由于这两个步骤而存在较高的计算开销。为了解决这一限制并促进实际应用，我们提出了一种基于定向对象检测（OBB）的高效仪表信息提取方法，该方法消除了对分割和OCR的依赖。我们的方法在YOLOv8-OBB架构的基础上进行了两项关键创新：（1）部分深度可分离卷积（PDSConv）块，通过去除冗余特征减少了参数数量；（2）部分多尺度特征聚合（PMSFA）块，在保持计算效率的同时增强了多尺度特征融合。此外，我们还集成了基于透视变换的仪表校正和平均角度计算算法，以确保读数的准确性。在两个自构建的数据集和两个公共数据集上的实验结果表明，与现有的涉及分割或OCR的指针式仪表读数方法相比，我们的方法具有更快的推理速度和更好的读数精度。在NVIDIA RTX 3080Ti GPU上，该方法实现了40.51 fps的实时性能；在Jetson Nano嵌入式平台上实现了接近实时的9.42 fps性能，同时保持了高达90.52%的读数精度。

引言

仪表是生产过程中常见的测量和显示设备，包含各种重要的状态和参数信息，在航空航天、农业生产、变电站监控等领域发挥着重要作用[1]。由于可靠性、稳定性和成本效益，尤其是在高电磁干扰的恶劣环境中，指针式仪表比数字仪表更受欢迎[2]。然而，传统的手动读数不仅劳动强度大且容易出错，还带来显著的安全风险，特别是在高压或高温环境中[2]。这使得自动化仪表读数成为不可避免的趋势。尽管现有研究[3]、[4]提出了基于机器视觉的自动化仪表读数方法，但这些方法通常面临模型体积大和速度慢的挑战。因此，开发更高效、更轻量级的仪表读数方法至关重要。

基于视觉的自动化仪表读数方法通常包括三个关键组成部分：仪表检测、仪表信息提取和读数识别。早期的研究主要依赖传统的图像处理技术来实现这些步骤，例如使用霍夫变换[5]进行圆表盘检测或指针定位，使用模板匹配[6]进行刻度识别。例如，郑等人[7]使用多尺度Retinex和颜色恢复算法来增强表盘图像，使用透视变换来校正表盘图像，并使用霍夫变换来确定指针位置。虽然该方法减少了亮度和相机角度的影响，但使用连通组件标记方法来确定起始刻度标记和结束刻度标记会增加读数的误差，因为刻度值是预先知道的。高等人[8]提出了一种基于特征点匹配对的特征三角形方法来确定指针旋转中心的坐标，并使用霍夫变换来拟合指针。该方法需要刻度值作为预先知道的知识。杨等人[9]提出了一种基于阈值分割、霍夫圆检测、形态学和像素标准化的弹簧管指针式仪表识别方法。洪等人[10]提出了一种基于机器视觉的指针式仪表读数方法。该方法从训练图像中提取特征点模板，用于在测试图像上进行模板匹配，然后通过椭圆弧匹配获得读数结果。吴等人[11]提出了一种基于Retinex理论的自适应Gamma增强算法。它使用双阈值算法对图像的细节和颜色进行二值化，从而最小化了伪影和裂纹，并大大提高了识别精度。虽然基于图像处理技术的传统方法解决了手动读数的低效率问题，但它们也面临挑战[12]。这些方法在复杂环境中常常遇到困难，并且通常需要大量的先验知识。

最近，深度学习技术被引入到这些步骤中，以提高它们对更复杂场景的适应性。例如，何等人[13]改进了Mask-RCNN，使用PrRoIPooling替换了RoiAlign，并用它来实现表盘图像的提取和指针的拟合，但这仅适用于表盘没有旋转角度的情况，并且需要刻度信息作为先验知识。彭等人[14]使用YOLOv4进行表盘图像的检测和分类，然后通过透视变换校正表盘图像，使用改进的U-Net模型[15]分割指针，最后使用刻度值作为先验知识进行读数。张等人[16]使用YOLOv7检测表盘图像，DeepLabv3+分割表盘指针，OCR识别表盘刻度值，最后完成仪表读数。舒等人[17]提出了一种类似人类的对齐和识别算法，结合YOLOv5检测表盘图像、空间变换模块（STM）校正表盘、值获取模块（VAM）分割指针、关键刻度和关键刻度值。该方法消除了OCR中的文本检测步骤，但表盘校正算法耗时过长。翟等人[18]提出了一种基于改进的2-D伽马函数和PA-RetinaNet的变电站仪表精确读数算法。王等人[19]提出了一种基于YOLOv8和语义分割模型的方法，将表盘和刻度值作为YOLOv8的检测目标，但分别检测这两个目标并生成两个模型，这大大增加了方案的部署难度。范等人[20]提出了一种结合方法，使用YOLOv5检测表盘，改进的U2NET分割指针和刻度，以及CRAFT文本检测算法和CRNN文本识别算法来获取刻度值。张等人[21]使用Swin-Unet网络获取刻度值和指针的掩码信息，使用Swin Transformer图像分类网络识别刻度值，使用最小骨架圆方法拟合指针直线，最后使用加权角度方法（WAM）计算读数。王等人[12]提出了一种基于自适应池化和层次融合的指针式仪表读数方法。该方法使用改进的DA-YOLOv8n检测仪表图像，使用改进的AF-U2Net层次融合算法分割刻度和指针，最后通过细化操作、极坐标变换和投影操作获得像素级别的精确读数。金等人[22]首先使用Yolov8-o定位表盘，然后使用CAR-Unet分割表盘的主要刻度线、指针和中心点。Yolov8-o在表盘上进行刻度值定位，最终完成读数过程。李等人[23]使用YOLOX-DC定位表盘，使用PM-SwinUnet分割前两条主要刻度线和关键刻度值，最后使用改进的角度方法完成读数。尽管这些基于深度学习的方法在提高精度方面取得了成功，但许多方法存在模型参数大、计算需求高和推理速度慢等问题。这些挑战限制了它们在检测机器人等移动设备上的应用，导致存储和计算资源的浪费。

经过仔细分析，我们发现现有方法通常依赖于图像分割技术来提取仪表信息（包括表盘刻度和指针），以及OCR方法来识别刻度值。这两种技术通常需要大量的计算资源。因此，本文提出了一种轻量级的指针式仪表读数方法，消除了对分割和OCR步骤的需求，显著降低了计算开销。该方法首先使用YOLOv8进行仪表图像检测，然后使用图像增强技术来提高表盘图像的对比度。接下来，引入了一种改进的轻量级YOLOv8 OBB方法从表盘图像中提取仪表信息，包括表盘中心、指针、刻度标记和刻度值。最后，应用平均角度方法计算仪表读数。这种提出的方法提供了更高效的仪表读数解决方案，具有更快的推理速度和更低的计算要求，适用于边缘设备的实际应用。本文的主要贡献可以总结如下：

• (1)
  我们提出了一种基于OBB对象检测的高效指针式仪表读数方法，消除了计算密集型的分割和OCR步骤，显著降低了计算开销。
• (2)
  我们开发了Light-YOLOv8-OBB，这是一种轻量级的增强型OBB检测模型，包含两个用于高效提取仪表信息的新模块。
• (3)
  我们还引入了一个名为PMIE-Data的新颖指针-仪表信息提取数据集及其噪声增强变体PMIE-NoiseData，其中包含3053张具有不同照明条件和视角的指针式仪表图像。每张图像都标注了关键仪表组件的定向边界框。

方法概述

提出的方法

本节介绍了所提出的轻量级指针式仪表读数方法的概述，后续章节将详细阐述其技术实现细节。如图1所示，所提出的方法采用三阶段处理流程：（1）使用YOLOv8模型进行仪表检测，（2）通过OBB检测提取仪表信息，（3）通过角度计算进行读数识别。

传统方法（图1中的Method1和Method 2）通常依赖于

实验结果与分析

在本节中，我们首先简要介绍了本研究中使用的几个数据集。然后，我们展示了我们提出方法中每个模块的消融实验结果，即仪表检测、仪表信息提取和读数识别。随后，我们与其他最先进的方法进行了对比实验，以验证我们方法的整体有效性。

结论

本文提出了一种高效的指针式仪表读数方法，该方法结合了YOLOv8模型进行仪表检测和轻量级的增强型Light-YOLOv8-OBB模型进行仪表组件提取。与大多数现有方法相比，所提出的方法显著提高了推理速度，同时保持了出色的读数精度。主要贡献在于该方法消除了计算密集型的分割和OCR步骤。

CRediT作者贡献声明

吴婉凝：撰写——原始草稿、方法论、资金获取、概念化。李成：撰写——原始草稿、方法论、形式分析。杨晓晓：可视化、软件、调查。胡建文：资源、数据管理。谢琪月：撰写——审阅与编辑、验证。范少生：监督、概念化。梁桥康：项目管理、资金获取。

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的竞争性财务利益或个人关系。

致谢

本工作部分得到了湖南省自然科学基金（项目编号：2024JJ6063）的支持，部分得到了国家自然科学基金（项目编号：62373067、U22A2059）的支持，部分得到了长沙理工大学研究生院（项目编号：CX20240787）的支持。