《Franklin Open》:A Hybrid Deep Learning Method for the Crack Detection and Classification in Surface Images
编辑推荐:
结构健康监测(SHM)对于基础设施系统的安全、可持续性和可靠性至关重要,因为它允许定期评估结构完整性。表面裂纹是结构构件退化的主要标志之一,可能影响承载能力,若在早期未被检测到,则会导致严重损坏。为了克服人工检查和传统图像处理方法固有的问题,研究人员开发了一种
结构健康监测(SHM)对于基础设施系统的安全、可持续性和可靠性至关重要,因为它允许定期评估结构完整性。表面裂纹是结构构件退化的主要标志之一,可能影响承载能力,若在早期未被检测到,则会导致严重损坏。为了克服人工检查和传统图像处理方法固有的问题,研究人员开发了一种用于表面裂纹自动检测的深度学习方法(DL)。该方法采用高斯滤波器(Gaussian filter)作为预处理步骤,Snake分割方法(snake)作为分割方法,EfficientNet作为特征提取器,双向长短期记忆网络(Bi-LSTM)作为裂纹和非裂纹表面的分类器。所提出的算法在来自Kaggle数据库的裂纹和非裂纹图像数据集上进行了训练。模型的性能使用常用的评估标准进行衡量,包括准确率(accuracy)、精确率(precision)和召回率(recall)。通过Python实验发现,基于EfficientNet-BiLSTM架构的所提模型在准确率方面达到了92.10%,同时在精确率和召回率方面表现良好,超越了传统的迁移学习模型,如VGG16、Inception和DenseNet。
论文解读:基于EfficientNet-BiLSTM混合深度学习的表面裂纹检测与分类方法
**研究背景与问题**
结构健康监测(Structural Health Monitoring, SHM)是保障基础设施安全、可持续性和可靠性的关键手段,其通过定期评估结构完整性,及时发现潜在损伤。表面裂纹作为结构构件退化的主要标志之一,会显著降低承载能力,若在早期阶段未被检测,可能导致严重破坏甚至倒塌。传统的人工视觉检查方法成本高、主观性强、效率低下,且易受检查员经验影响,常导致漏检或延误。基于图像处理的技术(如边缘检测、阈值分割)虽部分自动化,但对光照、纹理和图像分辨率敏感,参数需人工定义。经典机器学习方法依赖手工特征工程,泛化能力有限。近年来,深度学习方法(Deep Learning, DL)如卷积神经网络(Convolutional Neural Network, CNN)在裂纹检测中取得较高精度,但独立CNN模型难以捕捉长距离上下文依赖和序列特征关系,且深层模型计算成本高。迁移学习模型(如VGG16、Inception、DenseNet)虽性能提升,但仍缺乏对裂纹特征中上下文依赖的建模能力。针对上述问题,研究人员提出一种结合EfficientNet和双向长短期记忆网络(Bidirectional Long Short-Term Memory, Bi-LSTM)的混合深度学习方法,以实现表面裂纹的自动、准确检测与分类。该研究发表在《Franklin Open》上。
**主要技术方法概述(不超过250字)**
研究人员采用以下关键步骤构建裂纹检测框架:首先,使用高斯滤波器(Gaussian filter)对输入图像进行预处理,以去除噪声并平滑图像;其次,利用主动轮廓模型(Snake模型)进行图像分割,通过能量最小化精确定位裂纹边界;然后,采用EfficientNet作为特征提取器,该网络基于复合缩放策略(compound scaling)优化深度、宽度和分辨率,通过MBConv(Mobile Inverted Bottleneck Convolution)层和挤压激励(Squeeze-and-Excitation, SE)块高效提取判别性视觉特征;最后,将提取的特征输入Bi-LSTM分类器,利用其双向序列学习能力捕获前向和后向的上下文依赖关系,输出裂纹/非裂纹分类。训练数据集来自Kaggle数据库,包含裂纹和非裂纹图像,按70%训练、15%验证、15%测试划分。模型使用Adam优化器,学习率0.001,批量大小32,训练50个周期,采用二元交叉熵损失函数,并应用早停机制防止过拟合。
**研究结果**
4.1 性能分析参数
研究人员定义了三个标准分类评估指标:准确率(accuracy)、精确率(precision)和召回率(recall)。准确率衡量整体预测正确比例,精确率反映正类预测的可靠性,召回率评估对正类样本的识别能力。通过这些指标综合评估模型性能。
4.2 模拟分析
- **数据集分布**:所用数据集中的裂纹与非裂纹图像数量平衡,避免了分类过程中的偏向性,有利于提升学习效果。
- **训练与验证准确率**:通过绘制随历元(epoch)变化的准确率曲线,显示EfficientNet-BiLSTM模型稳定收敛,训练准确率超过95%,且训练与验证准确率高度接近,表明模型未出现过拟合,能有效学习裂纹特征。
- **训练与验证损失**:损失值随历元增加稳定下降,最终降至约3%,验证了优化过程和收敛效率。
- **混淆矩阵**:混淆矩阵显示,真阳性(正确识别的裂纹)和真阴性(正确识别的非裂纹)占主导,假阳性和假阴性极少,说明模型在裂纹检测中具有高准确率和低误分类率。
- **样本预测结果**:对未见过的测试图像进行预测,结果显示模型能准确区分裂纹与非裂纹表面。
- **与其他模型对比**:将所提EfficientNet-BiLSTM模型与传统迁移学习模型(VGG16、Inception、DenseNet)进行性能对比(如表3所示)。所提模型在准确率、精确率和召回率上均显著优于对比模型:准确率达92.10%(对比VGG16的83.30%、Inception的81.10%、DenseNet的77.89%),精确率和召回率均为92%(对比VGG16的83%和83%、Inception的81%和81%、DenseNet的77%和77%)。这一性能优势归因于EfficientNet的高效特征提取与Bi-LSTM的双向上下文学习能力。
**讨论与结论**
讨论部分指出,所提出的EfficientNet-BiLSTM混合架构不仅针对平面表面裂纹检测,具有扩展到多种基础设施材料(如桥梁、隧道、路面、大坝、钢混结构)的潜力。通过无人机、摄像头或机器人采集图像,该模型可集成至自动监测系统,减少对人工检查的依赖,降低时间成本和主观误差,尤其适用于大型或难以到达的结构。尽管现有方法(如ARD-Unet、DeepLabv3+、YOLOv8、Transformer增强模型)各有优势,但本文模型在通用性、语境学习和分类精度上表现出竞争力。
**研究结论**(翻译自原文结论部分)
总之,对结构健康状态的持续监测和分析对于基础设施系统的安全性、耐久性和性能至关重要,因此裂纹检测在该领域中起着重要作用。裂纹的存在会通过降低材料对荷载的抵抗力和增加应力而大大削弱结构。近年来,已提出了许多用于裂纹检测的图像处理算法和机器学习技术。然而,在本研究的背景下,研究人员提出了一种新颖的混合深度学习框架用于裂纹检测,该框架结合了EfficientNet和LSTM模型。该混合模型在Python中进行了彻底测试,并以92.10%的准确率以及高召回率和精确率显示出极高的效率。因此,可以得出结论,该模型可成功应用于结构健康监测。尽管所提出的EfficientNet-BiLSTM架构在裂纹检测方面取得了有希望的结果,但该研究仍有诸多进一步发展的机会。未来的研究应侧重于将所提出的方法集成到用于结构健康监测的物联网(Internet of Things, IoT)系统中。