利用视觉-语言模型(Vision-Language Model, VLM)清洗制造业数据集标签的方法(Sanitizing Manufacturing Dataset Labels using Vision-Language Models)

《Machine Learning with Applications》：Sanitizing manufacturing dataset labels using vision-language models

　　

摘要：机器学习模型在工业应用中的成功高度依赖于训练所用数据集的质量。然而，大规模数据集——尤其是通过众包(crowd-sourcing)和网络爬取(web-scraping)构建的数据集——常受困于标签噪声、不一致性及错误。此问题在制造业领域尤为突出，因为获取高质量标签成本高昂且耗时。本文提出视觉-语言清洗与精化(Vision-Language Sanitation and Refinement, VLSR)框架，一种基于视觉-语言模型的多标签制造业图像数据集标签清洗与精化方法。该方法利用CLIP视觉-语言模型将图像及其关联文本标签嵌入共享语义空间，通过计算嵌入间的余弦相似度解决两项关键任务：首先，进行基于相似度的数据集质量评估，识别无关、拼写错误或语义薄弱的标签，并通过图像与标签嵌入的余弦相似度比较，为每个图像找出语义最匹配的标签；其次，对文本嵌入应用基于密度的聚类(DBSCAN)将语义相似的标签归并为统一标签组。研究采用含众包与网络爬取噪声标签的Factorynet数据集评估框架有效性。实验结果表明VLSR框架能成功识别问题标签并提升标签一致性。为评估VLSR对分类应用的影响，研究人员使用五种分类模型开展实验：基线准确率范围为16%至24%，而VLSR清洗使所有模型准确率提升，其中ConvNeXt升至49%；基于VLSR实现过滤数据集效果最强，ConvNeXt准确率可达81%。在过滤集上施加标准数据增强未带来进一步增益，表明数据集策展(dataset curation)是分类性能提升的主要驱动力。因此，本工作为标签噪声普遍存在的多标签制造业场景提供了数据集策展解决方案。

论文解读：《Machine Learning with Applications》刊载的本研究针对制造业多标签图像数据集中普遍存在的标签噪声问题展开。工业人工智能应用依赖高质量标注数据，但实际中通过众包或网络爬取获得的大规模制造业数据集常含拼写错误、同义异形词、无关标签及图文不匹配等噪声，传统主动清洗代价高昂、样本选择法丢弃有用信息、噪声鲁棒学习法不修正原始标签、仅基于大语言模型(LLM)的文本分析法忽略图文一致性、现有CLIP阈值过滤法无法处理多标签及同义词合并。为此，Mahjourian N和Nguyen V提出视觉-语言清洗与精化(Vision-Language Sanitation and Refinement, VLSR)框架，利用预训练CLIP(vit-large-patch14)将图像与标签编码至共享语义空间，先计算图文余弦相似度诊断标签质量并检索更匹配候选标签，再对全部标签的CLIP文本嵌入做基于余弦距离的DBSCAN聚类(ε=0.075, min_samples=1)，取簇内最高频标签为代表性标签替换原标签，最后对同一图像多个候选代表标签计算与图像嵌入的余弦相似度并选取最高者作为最终单标签。实验在Factorynet数据集(10,160幅图像，6,426个初始标签，含人工与网络爬取多源标注)上验证，经VLSR处理后标签词汇量降至408类，人工抽检100例标签匹配正确率96%；分类实验中VLSR清洗使ConvNeXt基线准确率从24%提升至49%，结合低频类过滤后ConvNeXt准确率达81%(较过滤基线75.6%进一步提升)，且标准增强无额外收益。研究表明VLSR通过语义对齐与标签合并有效消除制造业数据集标注噪声与冗余，为先清洗再过滤的数据策展策略提供实证支持。

关键技术方法概要：采用Factorynet制造业多标签图像数据集(10,160图，原6,426标签)为实验对象；使用OpenAI CLIP(ViT-L/14)分别提取图像与所有唯一标签的768维嵌入且不做标签文本预处理；基于CLIP嵌入计算各图像与所分配标签及全库标签的余弦相似度做质量诊断；对所有标签文本嵌入构建余弦距离矩阵，以DBSCAN(ε=0.075, min_samples=1)聚类归并语义相似标签，选簇内全局最高频标签为代表并替换原标签；对同一图像归并后的多候选标签重算与图像的余弦相似度，取最大值对应标签为最终标签；下游用ResNet-50/152、ViT、ConvNeXt、Swin-T五种架构比较Alph-Base、Maj-Base、Filt-Base、VLSR、Filt-VLSR、Aug-Filt-VLSR六类标签处理策略的分类性能。

研究结果：

3.1 Dataset：Factorynet数据集含10,160幅工业图像及每图多个来源(人工+网络爬取)标签，多标签源于注释噪声而非多独立物体，适合验证VLSR对噪声标签的清洗与合并能力。

3.2 Generating embeddings：CLIP(ViT-L/14)生成768维图像与文本嵌入，保留原始标签格式(含大小写、特殊字符如PPE、2" wood screw)不做清洗，确保语义保真。

3.3 Dataset quality assessment via cosine similarity：图像—分配标签与图像—全库标签两种余弦相似度比较可检出无意义标签(如"Patent Information")、错误标签(如将crack monitoring gauge标为"scale")、部分描述不足标签(如只标"ratchet"而非整体场景)及拼写错误(如"scithe"应为scythe相关)。相似度分布跨度大，固定阈值无法普适区分对错，论证需基于相对语义相似度聚类而非绝对阈值过滤。VLSR亦能确认正确标签或推荐更具体匹配(如"jigsaw"→"Makita jigsaw")。

3.4 Clustering labels and dataset sanitization：测试ε∈{0.055,0.065,0.075,0.085,0.100}，ε=0.075时Silhouette系数最高(0.0168)、IntraCos适中(0.0382)、DBI可接受(0.509)，Singleton Fraction 83.4%，在紧凑性与词汇约简间最优，过大ε致语义漂移(如Electronic locks与triangle files误聚)。DBSCAN聚类中标签如"box tape dispenser""tape dispensor""tape dispenser"等同义异形归为一簇并以最高频者为代表，将原6,426标签压缩至408类。对比语义形心(medoid)与最高频代表选择，分类指标无显著差异，证明频率法稳定可用。人工复核100随机样本最终标签与主体对象匹配率96%。

3.5 Image classification performance：六策略对比显示——Alph-Base准确率16%~22%，Maj-Base仅微升至20%~24%；VLSR清洗后全面升至约44%~49%(ConvNeXt 49%)；Filt-VLSR(先VLSR再低频类过滤保留23类)最优，ConvNeXt达81.01%准确率、F1-score 0.7993，优于单独过滤基线(Filt-Base ConvNeXt 75.61%)；Aug-Filt-VLSR未超越Filt-VLSR，说明通用增强对已清洗制造业数据无益。VLSR合并同义标签使同类样本增多，提升类别支撑度与标签—图像语义一致性，是性能跃升主因。

讨论与结论翻译：本文提出VLSR框架，利用CLIP将图像与标签嵌入共享语义空间并通过余弦相似度完成两项任务——基于相似度的数据集质量评估以识别无关、错拼或弱语义标签，以及基于DBSCAN的文本嵌入聚类以归并语义等价标签(处理大小写、格式、同义词、拼写差异及过度具体化描述)。Factorynet数据集实验表明：(1)VLSR清洗带来架构无关的准确率提升，修复标签语义是主因；(2)人工检查确认精炼标签更好匹配图像视觉内容；(3)VLSR联合简单频次过滤效果最强，说明语义净化与类别支撑稳定化互补；(4)对已过滤集做通用增强无益，除非针对工业场景设计。实践中最佳配置为ConvNeXt模型训练于VLSR清洗+过滤后数据集(准确率81%，F1 0.7993)。研究证明先语义标签策展再频次过滤比通用增强更利于噪声制造业数据集，VLSR框架具跨域通用性与可扩展性。