编辑推荐:
研究人员提出了CAD2DMD-SET,一种用于生成大规模带标注数字测量设备(DMD)数据集的工具。研究人员提供了DMDBench,一个真实带标注的DMD数据集,并对开源大视觉语言模型(LVLMs)进行了基准测试。研究结果表明,该工具能够提升LVLM在不同视角下
研究人员提出了CAD2DMD-SET,一种用于生成大规模带标注数字测量设备(DMD)数据集的工具。研究人员提供了DMDBench,一个真实带标注的DMD数据集,并对开源大视觉语言模型(LVLMs)进行了基准测试。研究结果表明,该工具能够提升LVLM在不同视角下读取DMD的读数性能。研究还显示,该工具可提升OCR性能,并对文本检测、文本识别及联合任务进行了基准测试。研究发现,LVLM在研究所涉及的复杂场景中表现优于OCR模型。
随着大视觉语言模型(Large Vision-Language Models, LVLMs)在诸多领域取得显著进展,其在真实世界应用中的部署仍面临未预见的挑战,数字测量设备(Digital Measurement Devices, DMDs)的读数读取即为典型一例。现有互联网规模的图像-文本语料多为产品级高质量照片,背景杂乱少、读数单一且多为零值,与真实场景中普遍存在的运动模糊、视觉杂乱以及多样化非零读数形成鲜明对比。当通过头戴相机(如增强现实应用)采集DMD读数时,斜视角与连续运动模糊进一步加剧了识别难度。此外,DMD显示类型(LED、LCD等)、测量单位、符号与缩写的多样性,给LVLMs的测量值读取带来了独特挑战。然而,专门针对测量设备读数读取的开源数据集极度匮乏,严重制约了该领域的发展。
针对上述问题,研究人员研发了CAD2DMD-SET——一种新颖灵活的合成数据生成工具,能够大规模生成带视觉问答(Visual Question Answering, VQA)标注的DMD数据集,用于LVLM微调,同时提供文本检测与识别模型训练所需的边界框(bounding box)标签及对应文本内容。为验证工具的有效性,研究人员构建了DMDBench——一个包含多种DMD真实图像的标注验证集,并基于该基准评估了多个当前最先进的开源权重LVLMs,包括Pixtral-12B、LLaVA-1.5-13B(简称LLaVA)、InternVL2.5-26B(简称InternVL)与Qwen2.5-VL-7B(简称Qwen)。实验表明,利用CAD2DMD-SET合成数据微调后,各LVLM在DMDBench上的平均归一化编辑距离相似度(Average Normalised Levenshtein Similarity, ANLS)显著提升。例如,Qwen在使用10%训练数据微调后ANLS从18.02%提升至97.65%。进一步研究显示,该工具同样能提升OCR模型的文本检测与识别性能,其中EasyOCR在微调后识别准确率从13.36%提高至27.89%,MMOCR SATRN_sm则达到33.44%的识别准确率。LVLM与OCR模型的对比表明,LVLMs在准确率上具有显著优势,能够结合上下文语义推断处理读数读取的复杂性,而OCR流水线则在推理速度上更胜一筹。此外,通过消融实验,研究人员分析了运动模糊、目标放置方式、标签格式、训练数据规模及未见设备泛化等关键因素对模型性能的影响,揭示了单词语标签格式对感知准确率的提升作用、上下文相关放置优于随机放置、受控运动模糊增强鲁棒性等规律。
在技术方法层面,CAD2DMD-SET流水线由三个核心模块构成:显示生成器(Display Generator)利用EasyOCR式字典自动生成包含不同测量值的显示图像,并通过Otsu阈值分割与区域标注(ROI)实现文本替换;渲染器(Renderer)基于Blender Python API,对通过摄影测量(photogrammetry)重建的设备三维CAD模型(采用Apple Object Capture工具,每设备约200张多距离多角度照片)进行UV映射与可控随机化渲染,生成带有深度图、分割掩码及VQA标签的前景对象;图像合成器(Image Composer)则采用libcom库中的FOPA(Fast Object Placement Assessment)模型实现前景在室内背景(选取约2900张ADE20K高分辨率图像子集)中的上下文合理放置,并生成最终合成图像与标注。工具还提供用户友好界面与多种标签格式转换功能(全答案格式与单词语格式),并通过单应性(homography)估计将ROI映射至合成图像以支持OCR训练。
实验部分的结果如下:训练数据集方面,研究人员选取六种DMD(电源、万用表、节拍器、温度计、脉搏血氧仪、血压计),通过摄影测量重建其3D模型,并利用CAD2DMD-SET生成10万张合成图像及相应VQA标签。验证集DMDBench包含1000张人工标注的真实DMD图像,涵盖设备类型、工作模式、可见测量值及边界框位置等信息,模拟尺度、方向、光照、背景杂乱及运动模糊等真实挑战条件。基准测试方面,在ANLS基准上,Qwen和InternVL仅使用10%训练数据微调即达到接近上限的性能(97.65%和95.16%),而LLaVA性能提升较为有限且对数据量更为敏感,在20%数据时达到峰值74.95%后下降。训练数据量从10%增至50%对Qwen和InternVL仅带来微小提升,表明较小数据量即可有效微调。在准确率基准(单词语回答模式)中,微调后的Qwen达到82.4%词级准确率与97.9%单位准确率,InternVL紧随其后,LLaVA则较弱;数值(numeric)准确率仍为最具挑战性的指标,最佳值由Qwen以50%数据取得70.2%。在OCR模型实验中,文本检测方面,微调后的MMOCR PANet获得最高F1@0.5(0.2725)与F1@0.7(0.1464),但推理速度低于EasyOCR(8.38 FPS vs. 1.54 FPS);文本识别方面,微调后的MMOCR SATRN_sm准确率达到33.44%,EasyOCR为27.89%且推理速度达136.28 FPS。端到端OCR实验中,使用检测框而非真实边界框使识别准确率大幅下降(EasyOCR由27.89%降至7.11%,MMOCR由33.44%降至7.77%),表明检测误差是OCR流水线的关键瓶颈。LVLM与OCR模型对比方面,在仅数值问题的基准上,微调后的Qwen准确率达69.0%,InternVL为61.4%,LLaVA为17.1%,而EasyOCR和MMOCR分别为9.2%和3.7%;但OCR流水线推理速度显著更高(EasyOCR超8 FPS,LVLMs最高仅1.39 FPS),凸显准确率与效率之间的权衡。
在讨论与结论部分,研究人员总结指出,CAD2DMD-SET通过合成数据生成有效弥补了领域数据缺失,显著提升了LVLM在复杂视觉条件下读取DMD的性能。消融研究强调了数据集设计的重要性:单词语标签提升感知准确率、上下文放置优于随机放置、受控运动模糊增强鲁棒性。泛化实验表明模型可迁移至未见设备,体现工具的设计灵活性。同时,研究存在局限性:设备类别仅六种,未充分验证跨设备泛化;LVLM与OCR比较并非参数匹配,仅代表实际流水线间的对比;ANLS结果不应等同于直接测量读取精度;在安全关键环境中仍需人工确认与置信度阈值等保障措施。未来工作将扩展设备类别、提升合成数据真实感、系统分析复合挑战因素、优化LoRA微调策略等。总体而言,CAD2DMD-SET作为数据集生成与鲁棒性提升工具,为数字测量设备读数领域的LVLM和OCR研究提供了高质量数据支撑与基准验证平台。