工业机器视觉中用于抗失真图像分类的一致性正则化方法

《Knowledge-Based Systems》：Consistency regularization for distortion-robust image classification in industrial machine vision

　　摘要：近几十年来，卷积神经网络在现实世界的工业应用中推动了机器视觉系统的显著发展。然而，在依赖于特定领域和应用场景的图像失真情况下，这些网络的性能会大幅下降。为了解决这一问题，现有方法通过预处理图像来减轻失真，或使用现实中常见类型的合成失真图像对CNN进行微调。虽然这些方法有效，但往往会在清晰图像上导致性能下降。在本研究中，我们提出了基于一致性正则化的改进训练方法——失真感知一致性正则化（DisCO），旨在实现工业机器视觉中稳健可靠的图像分类。其主要目标是训练出一种能够增强失真图像分类精度且不会影响清晰图像精度的CNN。为此，该方法通过调整一致性正则化机制，提升CNN对各种类型图像失真的抵抗能力。通过将一致性正则化损失纳入学习目标，促使CNN对清晰图像及其失真版本给出相似的预测结果。在多种图像分类基准测试上的实验表明，与现有方法相比，该方案在清晰图像和失真图像上的分类精度都有所提升，尤其是在处理高度失真的图像时。

引言：机器视觉已广泛应用于各种工业领域，如制造业、医学成像和物流等领域，为人工视觉检测或全自动检测提供了有力支持[1][2]。近几十年来，深度学习的快速发展显著提升了机器视觉系统的性能[1]。尤其是卷积神经网络，通过一系列卷积操作从输入图像中有效提取具有区分性的特征，从而在各类视觉任务中取得了卓越成就[3][4]。在工业实践中，机器视觉系统常常面临由环境条件和传感器因素引起的各种图像失真问题[5][6][7]。这类失真通常具有领域特异性和场景依赖性，因此在特定机器视觉系统中很可能会频繁出现[8][9]。例如，在高速制造线上，由于物体快速移动或相机振动，常常会出现模糊失真[10][11]；在医学成像或夜间监控等低光环境中，噪声失真较为普遍[12][13][14][15]；在户外检测或照明不均匀的环境中，亮度变化较为常见[16][17]；而在工业环境中，由于相机标定不准确或安装位置不当，还可能出现径向失真或剪切失真[18][19][20]。图1展示了医学和制造业领域中的一些失真图像示例。虽然CNN通常是在无失真的清晰图像上训练的，但失真图像的数据分布与清晰图像存在显著差异[21][22]。这种分布差异导致CNN在处理失真图像时的泛化能力较差[23][24][25]，进而大大降低了机器视觉系统的准确性和稳定性。因此，有必要训练CNN以抵抗工业环境中常见的此类失真，从而有效降低失真带来的影响。为了解决这一问题，相关研究致力于提高CNN在现实中常见类型失真图像上的分类精度[22][26]。其核心目标是减轻未来图像中潜在失真所导致的分布差异带来的负面影响。现有研究大致可分为数据驱动型和模型驱动型两类。属于模型驱动型的研究试图通过使用合成失真图像对CNN进行训练或微调，直接提升其对图像失真的抵抗能力[25][27][28]。尽管这些方法确实提高了CNN在失真图像上的分类精度，但往往会导致其在清晰图像上的性能下降。由于机器视觉系统需要在工业应用中同时保持对清晰图像和失真图像的高性能，因此至关重要的是要在不牺牲清晰图像精度的前提下，提升CNN对图像失真的抵抗能力。在本研究中，我们提出了失真感知一致性正则化（DisCO），这是一种基于一致性正则化的改进训练方法，旨在实现工业机器视觉中稳健可靠的图像分类。一致性正则化是一种通过最小化特定图像变换下的预测差异来提升模型性能的技术，其基本假设是CNN应对同一输入图像的不同变体给出相似的预测结果。虽然该技术最初主要用于半监督学习领域[29]，但我们将其应用于仅使用带标签图像进行训练的监督学习场景中。我们引入了一项一致性正则化项，用于使预期类型合成失真图像的预测结果与其未失真版本的预测结果保持一致。通过训练CNN最小化包含这一额外项的目标函数，促使CNN对清晰图像及其失真版本给出相似的预测，从而提升其在清晰图像和失真图像上的泛化能力。我们通过多种类型和程度的图像失真测试，验证了DisCO在图像分类基准测试中的有效性。本研究的主要贡献可总结如下：•我们提出了一种针对工业机器视觉的新型一致性正则化训练框架，该框架既能提升模型对特定领域失真的抵抗能力，又能避免传统强鲁棒性训练方法中常见的清晰图像性能下降问题。•我们将原本用于半监督学习的一致性正则化技术，通过强制要求清晰图像与其合成失真版本之间的预测一致性，成功应用于完全监督学习场景中。•通过在对多种类型和程度图像失真下的标准和工业图像分类基准测试进行大量实验，我们证明了该方法能够提升模型在清晰图像和失真图像上的准确性与稳定性。本文的其余结构如下：第2节回顾相关研究，第3节介绍所提出的方法，第4节报告实验结果，最后第5节阐述结论与未来工作方向。

相关研究：我们回顾了为所提方法提供理论依据和相关基础的相关研究。首先，我们总结了现有的抗失真图像分类方法，将其分为数据驱动型和模型驱动型，并分析了它们的局限性。随后，我们探讨了在监督学习和半监督学习环境中，通过一致性正则化提升模型稳健性和泛化能力的方法。

研究概述：在本研究中，我们解决的是如下形式的C类图像分类任务：给定一个完全标记的训练数据集D={(Xi,yi)}i=1N，其中Xi为第i幅图像，yi∈{0,1}，C是一个C维独热向量，表示真实的类别标签。利用该训练数据集D，我们训练一个CNN f，使其能够输入图像并预测其标签。一旦CNN f训练完成，我们就用它来预测查询图像X?的未知标签，公式为：y??=f(X?)，其中y??∈[0,1]C中的第j个元素表示...

数据描述：我们在六个图像分类基准测试上评估了所提方法的有效性，其中包括三个通用图像数据集（SVHN [62]、CIFAR-10、CIFAR-100 [63]）以及三个工业图像数据集（MVTecAD [64]、Kvasir-v2 [65]、HAM10000 [66]）。对于工业图像数据集，我们将每幅图像的尺寸调整为(128, 128, 3)。实验中使用的各数据集的统计摘要见表1。•SVHN [62]：街景房屋编号（SVHN）数据集是为...

结论：在本研究中，我们提出了失真感知一致性正则化方法DisCO，该方法能够在不降低CNN在清晰图像上分类精度的前提下，提升其对抗图像失真的能力。通过将一致性正则化损失纳入学习目标，该方法引导CNN使失真图像的预测结果与清晰图像的预测结果尽可能接近。实验结果表明，DisCO显著提升了CNN在各类失真图像上的泛化能力。

作者贡献说明：Hyungu Kang负责原文撰写、软件开发、方法设计及概念构思；Seokho Kang负责文章审阅与编辑、结果验证、研究指导及概念构思。

利益冲突声明：作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。

致谢：本研究得到了韩国政府科学信息通信技术部资助的韩国国家研究基金会（NRF）项目支持（项目编号：RS-2026-25468429）。

Hyungu Kang | Seokho Kang