一种考虑数据不平衡问题的高效方法，用于基于知识迁移和主动学习的结构表面缺陷检测

《Results in Engineering》：An efficient method considering imbalanced datasets for structural surface defect detection based on knowledge transfer and active learning

　　永江沈|正良向
中南大学土木工程学院，长沙410075，中国

摘要
数据集的质量是影响计算机视觉方法检测结构表面缺陷准确性的关键因素。为了解决结构表面缺陷检测中数据集不平衡的问题，本研究提出了一种高效的检测方法，该方法结合了知识迁移和主动学习技术来进行基于计算机视觉的缺陷检测。首先，引入了一种结合基于表示和基于不确定性的采样策略的主动学习算法，以构建用于分类结构表面缺陷的高精度深度神经网络模型。其次，设计了一个基于流的深度生成网络来确定样本的概率密度和权重系数，从而实现基于加权采样的均匀分布训练样本选择。第三，采用知识迁移技术对深度神经网络进行预训练，以提高网络在数据稀缺情况下分类不同表面缺陷的能力。实验结果表明，所提出的方法能够高精度地分类多数类和少数类结构表面缺陷。

1. 引言
随着混凝土结构使用寿命的增加，由于风、雨、雪和冰等多种因素的影响，其性能可能会下降[[1], [2], [3], [4]]。缺陷检测和分类在全面评估混凝土结构性能中起着至关重要的作用。定期的表面缺陷检查可以有效定位和分类许多早期缺陷，如裂缝、泛碱、剥落等。然而，传统的表面缺陷检测方法耗时、主观性强，有时还很危险，因为它们通常需要现场进行人工视觉检查。因此，开发高效准确的混凝土结构表面缺陷分类新方法具有很大的工程应用前景。
得益于人工智能的快速发展，计算机视觉技术得到了迅速发展，并已成功应用于许多领域，包括结构表面缺陷分类[[5], [6], [7], [8], [9], [10], [11]]。利用计算机视觉技术，可以通过无人机或攀爬机器人自动完成缺陷分类。由于所需的人工干预较少，基于计算机视觉的缺陷分类方法可以更加高效、客观和安全。有许多有效的混凝土结构表面缺陷分类模型，如支持向量机[12]、随机森林[13]和深度学习算法[[14], [15], [16], [17], [18]]。其中，基于深度学习的缺陷分类方法近年来受到了最多的关注[[19], [20], [21]]。为了解决不同的检测问题（例如轻量级网络、低背景对比度、低局部细节、低光照条件），近年来不断有新的先进模型被提出[[22], [23], [24], [25], [26]]。然而，在将深度学习模型用于表面缺陷分类之前，需要使用大量的训练数据进行训练[[27]]。为了准备高质量的训练数据，通常需要大量的现场图像，并且需要手动标注具有不同缺陷的图像[[28]]。由于标注过程需要较高的专业水平，因此为深度学习模型准备大量高质量数据非常困难[[29]]。当标注的训练数据不足时，深度学习模型可能会出现过拟合现象，从而无法保证其在测试数据上的分类准确性[[30], [31], [32], [33]]。此外，由于结构中不同缺陷的比例未知，收集的数据集中具有不同缺陷的图像比例也无法提前确定，这可能导致数据集不平衡。由于训练数据的不平衡，训练出的模型通常对多数类的分类准确性较高，而对少数类的分类准确性较低[[34], [35], [36]]。因此，设计一种能够在不平衡数据集中高效准确分类结构表面缺陷的方法对于精确的结构健康评估至关重要。已经提出了一些技术来解决训练数据不足的问题，包括元学习[37,38]、层次分类[39]、小样本元学习[[40], [41], [42]]、迁移学习[43,44]、半监督学习[45,46]。对于不平衡的数据集，通常使用重新加权或重采样进行类别平衡、数据增强和神经网络改进等方法来提高少数类的预测准确性[[47,48]]。然而，许多现有方法只关注数据不平衡或数据稀缺中的一个问题。
近年来，主动学习方法引起了广泛关注[[49], [50], [51]]。主动学习方法通常采用精心设计的训练样本选择策略和模型更新规则，在实现高性能模型的同时节省训练样本。基于表示和不确定性的主动学习[[52], [53], [54], [55]]是两种主要的主动学习方法，它们采用不同的基于数据的训练样本获取策略。基于表示的主动学习方法旨在选择能够充分代表候选数据集的训练样本。核心集技术[[56]]是一种非常有效的基于表示的方法，适用于大规模图像分类任务。它使用距离度量从候选数据集中选择相对均匀分布的训练样本来训练缺陷分类模型。在基于不确定性的主动学习方法中，计算样本的不确定性以评估样本的信息内容并选择好的训练样本。具有较大不确定性的样本被认为难以分类，获取策略旨在选择这些不确定性最大的训练样本。有几种方法可以用来确定样本的不确定性[[57], [58], [59]]。
考虑到主动学习方法的样本选择策略，这些方法通过基于不确定性和基于表示的样本选择策略，具有解决训练数据不足和数据集不平衡问题的潜力。然而，现有的主动学习方法在结合两种采样策略进行结构表面缺陷检测时经常遇到困难。纯基于表示的方法通常基于探索，其中采样空间中的候选样本被赋予相同的重要性。一般来说，基于表示的方法不会在训练模型分类准确性较低的区域内添加额外的训练样本，但可能会浪费训练模型已经具有高分类准确性的区域中的样本。此外，当数据维度增加时，许多基于表示的主动学习方法无法有效选择信息丰富的训练样本，因为距离度量在高维空间中的性能会下降。另一方面，纯基于不确定性的方法通常使用当前模型的预测来计算样本的不确定性，然后利用该不确定性来选择最佳训练样本。因此，基于不确定性的方法的训练样本选择策略纯粹基于利用。由于深度学习模型本身包含不确定性，深度学习模型预测的样本不确定性可能不够准确，导致样本选择不足。此外，使用基于不确定性的方法进行多次样本选择可能会导致同一区域内的样本冗余，因为相邻区域的样本往往具有相似的不确定性。
为了在不平衡数据集下高效准确地分类结构表面缺陷，本文开发了一种基于知识迁移和主动学习的高效方法。所提出的方法完全结合了基于表示和基于不确定性的主动学习方法的样本选择策略以及处理样本稀缺的能力，从而解决了标注训练数据不足和数据集不平衡的问题。本研究的主要贡献总结如下：
(1)开发了一个嵌入了迁移学习和主动学习方法的框架，用于高效检测不平衡数据集的结构表面缺陷。
(2)引入了一种结合子集搜索和加权采样的主动学习算法，以构建用于结构表面缺陷分类的高精度深度神经网络（DNN）模型。
(3)设计了一个基于流的深度生成网络来确定样本的概率密度和权重系数，然后通过加权采样解决数据集不平衡的问题。
第2节详细介绍了所提出的结构表面缺陷检测方法，第3节比较研究了该方法有效处理缺陷分类中数据集不平衡问题的能力。

2. 提出的结构表面缺陷检测方法
2.1. 基于知识迁移和主动学习的框架
所提出的混凝土结构表面缺陷分类的深度学习框架如图1所示。该方法将迁移学习和加权采样方法嵌入到主动学习框架中，以构建高精度的DNN分类模型。为了实现知识迁移，首先在源域的数据集上构建并预训练DNN分类模型，然后进行主动学习。主动学习使用预训练的DNN作为初始分类模型，并在缺陷图像数据集上迭代重新训练分类模型。在每次迭代中，采用子集搜索和加权采样方法从数据集中选择新样本并更新DNN。DNN用于预测样本的不确定性以实现子集搜索。设计了一个基于流的深度生成网络来学习缺陷图像数据集的概率分布，并预测每个样本的概率密度，从而确定样本的权重系数。当DNN在整个数据集上的分类准确性达到收敛条件时，迭代过程终止。

下载：下载高分辨率图像（876KB）
下载：下载全尺寸图像
图1. 提出的缺陷分类框架。

2.2. 用于缺陷分类的深度神经网络模型
理论上，所提出的方法可以应用于大多数常用的分类模型。由于许多研究表明VGG模型通常可以获得可比且令人满意的结果，因此本文将VGG16网络与所提出的深度学习方法结合用于结构缺陷分类。VGG16由Simonyan和Zisserman提出[[60]]。它是一个经典的CNN，具有13个卷积层和3个全连接层，分为5个卷积块（每个块后面跟着2×2的最大池化），用于分层特征提取。它使用统一的3×3卷积核（步长=1，填充=1），通道数从64增加到512，并使用修正线性单元（ReLU）进行非线性处理。在本研究中，VGG16网络直接从PyTorch库下载。它包含一个大小为1000的输出层。为了分类不同数量的类别，在最后一个全连接层之后添加了一个具有相应输出数量的全连接层。修改后的VGG16网络用于结构缺陷分类的详细架构如图2所示。

下载：下载高分辨率图像（478KB）
下载：下载全尺寸图像
图2. 修改后的VGG16网络用于缺陷分类。

2.3. 结合基于表示和基于不确定性的策略的主动学习
所提出的结构表面缺陷检测方法的主动学习过程是通过迭代搜索容易误分类的候选子集并选择均匀分布的训练样本来训练分类模型来实现的。如图3(a)所示，假设整个数据集包含n个缺陷图像类别，定义为
(1)S=∪i=1nCi
其中S是整个数据集，Ci属于第i类的样本。缺陷图像在高维数据空间中以不同的概率密度q(x)分布，x代表样本。

下载：下载高分辨率图像（676KB）
下载：下载全尺寸图像
图3. 训练样本选择示意图。彩色区域表示候选子集的分布，红色点表示选定的训练样本，蓝色圆圈内的区域表示准收敛子集。
在每次迭代中，使用更新的DNN对数据集中的样本进行分类。考虑到n个可能的缺陷类别，样本的预测分类概率表示为
(2)P(x)=[P1(x);P2(x);...;Pn(x)]
其中Pn(x)是样本x属于第n类的预测分类概率。使用预测的缺陷分类概率和真实的概率分布来计算交叉熵，作为损失函数。
(3)E(x)=?∑i=1nPi(x)logPil(x)=?log(exp(l[class])∑i=1nexp(l[i]))=?l[class]+log(∑i=1nexp(l[i]))
其中Pil(x)是样本x属于第i类的真实概率，l[i]是最后一个全连接层的输出，class是样本的真实标签。样本的分类结果由预测概率决定。(4)y(x)=One_hot(P(x))=[y1(x);y2(x);...;yn(x)]，其中One_hot表示独热编码，yn(x)是一个指示函数，当样本属于第n类时等于1，否则等于0。两次连续迭代之间的分类结果相对差异通过以下公式计算：(5)ed=∑j=1N∥y(t)(xj)?y(t?1)(xj)∥1/2N，其中N是缺陷图像的数量，y(t)(xj)是使用训练好的模型在t次迭代时预测的样本缺陷类别，t表示迭代次数。当连续td次迭代的相对差异ed小于给定的阈值edc时，就满足了数据集分类准确性的收敛条件。当满足收敛条件或达到最大迭代次数时，迭代过程将终止。如果数据集的分类准确性未达到可接受的水平，则将开始新的主动学习迭代。在开始新的迭代之前，应更新候选子集。首先，使用训练好的DNN估计当前候选子集中样本的不确定性。在本文中，使用预测熵来表示样本的不确定性，其定义为：(6)E(x)=?∑i=1nPi(x)logPi(x)。利用预测的不确定性，选择不确定性最小的样本的一定比例（例如10%）作为准收敛子集，这些样本通常容易被准确分类，如图3(a)所示。然后计算两次连续迭代在准收敛子集上的分类结果相对差异：(7)es=∑j=1Ns∥y(t)(xj)?y(t?1)(xj)∥1/2Ns，其中Ns是准收敛子集的大小。如果相对差异es小于给定的阈值esc，则认为准收敛子集的分类准确性已经收敛，准收敛子集中的样本被认为被准确分类。因此，准收敛子集中的样本将从候选子集中移除，剩余的子集将作为下一次迭代的新候选子集，如图3(b)所示。值得注意的是，为了从剩余子集中选择更多的训练样本并降低计算成本，在后续迭代中不会重新评估准收敛子集，也不会将其添加到候选子集中。否则，候选子集中的样本将不会被更新。通过这种策略，主动学习方法可以自适应地减少采样空间，集中在样本不确定性较大的区域。最后，使用加权采样方法从候选子集中选择均匀分布的训练样本。图4显示了结合基于表示和基于不确定性的策略的主动学习流程图。如图4所示，在第一次迭代中，所有不同类别的样本都被视为候选子集，并且仅使用加权采样方法来选择训练样本。在其余迭代中，依次使用子集搜索和加权采样方法来更新DNN分类模型，直到预测准确性收敛。

2.4. 使用基于流的深度生成网络的加权采样
加权采样方法用于从候选子集中选择均匀分布的训练样本。如图5所示，由于不平衡数据集中具有不同缺陷特征的图像数量不等，样本数量较多的类别的样本概率密度可能较高。如果以相同的概率采样训练样本，大多数训练样本将来自样本数量较多的类别，这将导致训练数据的不平衡。为了解决不平衡数据集的问题，使用加权采样去除高密度区域中的冗余样本。样本的权重系数定义为[61](8)w(x)=1/q(x)，其中w(x)是样本x的权重系数，q(x)是样本x的概率密度函数。使用权重系数，概率密度较高的样本被采样的概率较小，样本数量较多的缺陷类别中的训练样本数量将会减少。相反，样本数量较少的缺陷类别中将选择更多的训练样本。因此，不同缺陷类别之间的数量差异可以缩小。加权采样的详细过程可以在文献[61]中找到。

2.5. 基于模型参数共享和微调的知识转移
迁移学习技术可以利用在源域数据集上学到的知识来提高DNN模型在目标数据集上的预测准确性。根据学习方法，常见的迁移学习技术可以分为基于实例的迁移学习、基于特征的迁移学习、基于模型的迁移学习和基于关系的迁移学习。在本文中，由于实现的便利性和有效性，使用基于模型的迁移学习技术来训练缺陷检测模型。在基于模型的迁移学习技术中，可以使用少量的目标数据集对预训练模型进行微调，或者可以直接将预训练的部分层共享到重新训练的模型中。图6展示了本文中用于缺陷检测的知识转移技术框架。如图所示，一个通用的DNN模型用于图像分类，包括输入层、由卷积层和池化层组成的特征提取块、由全连接层组成的分类块以及输出层。DNN在具有m个类别的源域数据集上预训练。为了对结构缺陷的目标数据集进行分类，在预训练的DNN模型中添加了一个全连接层和一个具有n个节点的softmax层。然后在结构缺陷数据集上重新训练修改后的DNN模型。在重新训练过程中，特征提取块的预训练参数被冻结，分类块的预训练参数被微调，新层的参数被训练。

3. 验证实验
在本节中，使用混凝土结构表面缺陷的图像数据集来评估所提出方法在不平衡数据集下进行结构表面缺陷分类的准确性和效率。

3.1. 实验准备
3.1.1. 数据收集
示例中使用的数据集是通过扩展两个开源的结构表面缺陷分类数据集创建的。第一个数据集名为Multiclassifier Data [63]，包含2411张具有六种不同缺陷的混凝土图像。为了获得更多样本，通过裁剪、翻转和向原始图像添加噪声将数据集的大小扩展到9207张。第二个数据集是Concrete Crack Images for Classification dataset [64]，其中包含20000张有裂纹的混凝土图像和20000张无缺陷的混凝土图像。为了创建不平衡数据集，将这两个数据库合并。如表1所示，有裂纹缺陷、膨胀缺陷、一般缺陷、无缺陷、剥落缺陷的图像数量分别为21651张、1638张、1804张、21788张、768张和1558张。图7显示了创建的数据集中六种缺陷的代表性图像。在实验中，每次迭代都从数据集中迭代采样训练数据，并使用整个数据集来测试模型的性能。

表1. 创建的数据集中不同缺陷图像的数量。
| 编号 | 名称 | 数量 |
|------|-----------|---------|
| 1 | Crack | 21651 |
| 2 | Efflorescence | 1638 |
| 3 | General | 1804 |
| 4 | No defect | 21788 |
| 5 | Scaling | 768 |
| 6 | Spalling | 1558 |

图7. 数据集中不同缺陷的代表性图像。

3.1.2. 实验设置
为了比较预训练的影响，首先进行了两个平行实验。在第一个实验中，下载了VGG16网络及其预训练参数，并使用所提出的方法重新训练网络。对照实验使用了相同的VGG16网络和类似的训练过程，但在训练过程之前所有网络参数都被随机初始化。使用所提出的训练方法时，数据集收敛评估的超参数edc和td分别设置为0.01和1。用于准收敛子集收敛评估的超参数esc被设置为0.3。每次迭代选择100个新的训练样本。DNN使用均方根传播（RMSProp）优化算法进行训练，小批量大小为5。学习率初始化为10^-5，并且每100个周期减少0.5。使用k折交叉验证技术来检测过拟合并确定最大迭代次数。在交叉验证中，数据集被分成k组，其中k-1组用于训练模型，剩余的组用于测试分类准确性。测试重复k次，同时依次改变测试组。根据训练数据和测试结果，k折交叉验证中的k值被设置为3。根据最高的平均测试准确性确定最佳训练参数。此外，为了节省训练成本，使用上一次迭代中训练好的模型的优化参数作为当前迭代的模型初始化。

为了比较不同训练样本选择策略对分类性能的影响，考虑了结合不确定性和表示的样本选择方法、基于不确定性的样本选择方法、基于表示的样本选择方法以及基于一次性采样的样本选择方法。为了便于训练，为这些方法设计了一个轻量级的深度卷积神经网络（DCNN）。轻量级DCNN的架构如图8所示。

如图8所示，轻量级DCNN的输入层是预处理后的图像，大小为3×256×256，输出层是图像的分类结果。构建了五个卷积层和三个全连接层来进行特征提取和缺陷分类，卷积层和全连接层使用ReLU作为激活函数，输出层使用softmax函数进行激活。不同样本选择方法的轻量级DCNN使用了与VGG16网络相似的训练超参数，所有DCNN网络都在PyTorch框架中实现。

3.1.3. 分类指标
考虑的每个类别的分类指标包括分类准确性、分类精确度、分类召回率和分类F1分数，如公式(10)至(13)所示。
(10) Accuracy = ∑TPi/N
(11) Precisioni = TPi / (TPi + FPi)
(12) Recalli = TPi / (TPi + FNi)
(13) F1-scorei = 2 * Precisioni * Recalli / (Precisioni + Recalli)
其中TPi是第i类正确分类的图像数量，FPi是错误分类为第i类的图像数量，FNi是错误分类为第i类的图像数量，N是所有类别的图像总数。准确性是数据集的平均分类准确性，Precisioni是第i类的分类精确度，Recalli是第i类的分类召回率，F1-scorei是第i类的分类F1分数。3.3 分类结果比较
两种方法的分类结果混淆矩阵分别显示在图13、图14、图15、图16、图17和图18中。如图所示，所提出方法的平均分类准确率为0.990，所有类别的分类召回率均高于0.90，且五个类别的分类精确度均大于0.95（第5类为0.884）。然而，对比方法仅在两个多数类（第1类和第4类）上实现了较高的分类召回率和精确度，而在小类别（第2类、第3类、第5类和第6类）上的分类召回率和精确度较低。
图13. 使用VGG16时，所提出方法在最后一次迭代中实际缺陷与缺陷分类结果之间的混淆矩阵。
图14. 结合不确定性、表示方法和VGG16时，所提出方法在最后一次迭代中实际缺陷与缺陷分类结果之间的混淆矩阵。
图15. 结合不确定性、表示方法和DCNN时，所提出方法在最后一次迭代中实际缺陷与缺陷分类结果之间的混淆矩阵。
图16. 基于不确定性方法时，所提出方法在最后一次迭代中实际缺陷与缺陷分类结果之间的混淆矩阵。
图17. 基于表示方法时，所提出方法在最后一次迭代中实际缺陷与缺陷分类结果之间的混淆矩阵。
图18. 基于一次性采样方法时，所提出方法在最后一次迭代中实际缺陷与缺陷分类结果之间的混淆矩阵。
如图13、图14、图15、图16、图17和图18所示，对于结合不确定性、表示方法和VGG16的方法，平均分类准确率为0.945，但第3类的召回率为0.463，第5类的分类精确度为0.641。对于结合不确定性、表示方法和DCNN的方法，平均分类准确率为0.957，但第3类的召回率为0.642，第6类的分类精确度为0.759。结合不确定性、表示方法和VGG16的方法以及结合不确定性、表示方法和DCNN的方法的结果表明，由于模型参数较少，轻量级DCNN能够实现比VGG16模型更高的分类性能。基于不确定性和DCNN的方法获得了与结合不确定性、表示方法和DCNN的方法相似的分类性能，但其收敛过程不如后者稳定，如图10所示。基于表示方法和DCNN的方法的平均分类准确率为0.920，但第3类的召回率为0.433，第6类的精确度为0.602。对于基于一次性采样和DCNN的方法，平均分类准确率为0.908，但第5类的召回率为0.362，第3类的精确度为0.445。
图19、图20和图21展示了不同方法在每次迭代中各种分类指标的直方图。如图所示，对于数据量较大的多数类（第1类和第4类），所有方法的分类指标均高于0.9。然而，对于其他四个少数类，只有所提出的方法获得了较高的分类精确度、召回率和F1分数，几乎都超过了0.9。
图19. 不同方法在最后一次迭代中每个类别的分类精确度比较。
图20. 不同方法在最后一次迭代中每个类别的分类召回率比较。
图21. 不同方法在最后一次迭代中每个类别的F1分数比较。
如图19、图20和图21所示，其他对比方法在四个少数类上的分类指标显著低于所提出方法。所提出方法在第1至第6类上的分类精确度分别为0.997、0.985、0.962、0.992、0.884和0.976，分类召回率分别为0.995、0.946、0.956、0.998、0.954和0.913，F1分数分别为0.996、0.965、0.959、0.995、0.918和0.944。所提出方法在所有类别上均实现了最高的分类精确度、召回率和F1分数。结果表明，所提出方法能够在不平衡数据集下准确分类少数类。
表2显示了为了全面比较不同方法在不平衡数据集上的分类结果，计算了最后一次迭代时各种方法的宏观平均F1分数、平衡准确率、接收者操作特征曲线下面积（ROC-AUC）和卡帕系数。如表2所示，所提出方法的宏观平均F1分数、平衡准确率、ROC-AUC和卡帕系数分别为0.963、0.961、0.994和0.984，在对比方法中最高。考虑到平均F1分数，基于不确定性和DCNN的方法以及结合不确定性和表示方法与DCNN的方法获得了相似的分类性能，分别为0.860，高于基于表示方法和一次性采样的方法0.735和0.672。在平衡准确率方面，基于不确定性的方法和结合不确定性和表示的方法的结果比不使用不确定性的方法高出约0.1，但略低于所提出方法。结果表明，基于不确定性的方法优于仅基于表示或一次性采样的方法。由于在预训练中学习了特征提取知识，并采用了结合不确定性和表示的主动学习策略，所提出方法不仅能够处理数据集不平衡的问题，还能显著提高DNN模型在结构表面缺陷检测中的效率和准确性。
4. 结论
为了提高不平衡数据集下混凝土结构表面缺陷分类的效率和准确性，本文开发了一种基于知识迁移和主动学习的计算机视觉辅助结构表面缺陷检测方法。提出了一种结合表示和不确定性策略的主动学习算法，用于迭代搜索容易误分类的候选子集，并选择均匀分布的训练样本来训练DNN分类模型。设计了一种基于流的深度生成网络来确定样本的概率密度和权重系数，以实现均匀分布训练样本的选择。采用基于模型参数共享和微调的知识迁移技术对DNN进行预训练。提出了一种收敛标准，以便在缺陷分类模型达到可接受准确率时自适应终止主动学习过程。在混凝土结构表面缺陷的图像数据集上测试了所提出方法在不平衡数据集下进行结构表面缺陷分类的准确性和效率。
实验结果的收敛过程表明，所提出方法可以获得比对比方法更稳定和准确的分类结果。在相同条件下，基于不确定性采样策略的方法具有更高的分类指标。使用基于表示的方法时，分类结果的收敛过程更加稳定。考虑到每个类别的分类结果，对于多数类（第1类和第4类），所有方法的分类指标均高于0.9。然而，对于其他四个少数类，只有所提出的方法获得了较高的分类精确度、召回率和F1分数，几乎都超过了0.9。所提出方法的综合分类指标（宏观平均F1分数、平衡准确率、ROC-AUC和卡帕系数）分别为0.963、0.961、0.994和0.984，均高于其他对比方法。结果表明，所提出方法能够在不平衡数据集下高精度地分类结构表面缺陷。
数据可用性
本研究使用的数据可应要求向相应作者索取。