《Materials》：Co-ViTDefect: A Bayesian Ensemble of Vision Transformers for Multiclass Concrete Defect Identification with Interpretability
编辑推荐：
在役混凝土结构经常遭受多种类型的缺陷。对于世界各地的检测人员和维护工程师而言，自动识别运行中混凝土结构的多种缺陷类型仍是一项挑战。因此，开发用于评估混凝土结构表面缺陷的高效工具至关重要。特别地，视觉Transformer（ViT）是计算机视觉任务中相对较新的工
在役混凝土结构经常遭受多种类型的缺陷。对于世界各地的检测人员和维护工程师而言，自动识别运行中混凝土结构的多种缺陷类型仍是一项挑战。因此，开发用于评估混凝土结构表面缺陷的高效工具至关重要。特别地，视觉Transformer（ViT）是计算机视觉任务中相对较新的工具，且通常优于传统的卷积神经网络（CNN）。已有若干研究尝试将ViT用于混凝土结构的裂缝分类，但这些研究大多依赖单一模型识别并仅执行二分类。本研究利用集成学习，提出了一种新颖的集成方法Co-ViTDefect，用于多类别混凝土缺陷分类。该模型通过基于贝叶斯Dirichlet分布的集成学习整合多个ViT学习器，以概率方式平衡各单独模型的优势，并提供每次预测的不确定性估计。研究采用五折交叉验证对该模型进行评估。实验结果表明，所提出的Co-ViTDefect达到了88.19%的准确率和85.1%的F1分数，其中裂缝、泛碱和无缺陷类别的各类F1分数均超过90%。该模型优于最佳单一ViT模型（87.48%准确率、84.16%宏F1分数）以及基于CNN和基于Transformer的模型，包括Swin-Tiny和MaxViT-Tiny。无需任何事后校准，Co-ViTDefect比均匀平均集成具有更低的校准误差（ECE分别为0.214和0.285），并取得了最低的Brier分数（0.242）。未来工作可进一步改进对剥落和一般缺陷的识别性能。
在役混凝土结构长期承受环境荷载、材料退化及地震等多重不利因素，易产生裂缝、剥落、泛碱、剥蚀、一般缺陷等多种表面损伤。若未能及时发现与处置，这些缺陷将威胁结构安全甚至引发灾难性事故。传统的人工检测方法耗时费力且难以全面覆盖。基于卷积神经网络（CNN）的视觉识别方法虽广泛用于缺陷检测，但其局部受限的感受野和空间归纳偏置限制了其在复杂现场条件下对多类别缺陷的识别能力。近年来，视觉Transformer（ViT）凭借自注意力机制在全局上下文建模方面展现出显著优势，但既有研究多集中于单一ViT模型和裂缝二分类任务，对多类别缺陷的集成识别研究仍较缺乏。
针对上述问题，研究人员提出了Co-ViTDefect，一种基于贝叶斯Dirichlet集成学习（Dirichlet Ensemble Learning, DEL）的多类别混凝土缺陷分类框架。该框架整合三个基于ViT-B/32骨干构建的核心ViT模型，将组合权重视为服从Dirichlet分布的随机变量，通过马尔可夫链蒙特卡洛（MCMC）方法在加性对数比坐标下估计权重的后验分布，并以权重后验均值进行概率融合。研究采用包含2396张图像的多类别混凝土缺陷数据集，涵盖裂缝、泛碱、一般缺陷、无缺陷、剥蚀和剥落六类；采用五折交叉验证，并在训练中应用逐类数据增强、类别加权交叉熵损失、标签平滑及早停策略。模型通过准确率、宏F1分数、期望校准误差（ECE）、负对数似然（NLL）和Brier分数等指标进行评价，并与CNN基线和Transformer基线模型进行了系统比较。
在技术方法层面，研究人员构建了三个结构相同但训练策略各异的ViT模型：ViT1和ViT2采用dropout（0.5）和L2正则化（0.01），ViT3则省略这些正则化手段，通过不同随机种子和增强设置引入模型多样性。三个模型均使用Adam优化器，初始学习率1×10
?4，批大小256，最多训练50轮，并依据验证损失执行早停和动态学习率衰减。数据划分方面，每折将80%的样本进一步拆分为训练集（约60%）、验证集（约10%）和校准集（约10%），剩余20%作为测试集。校准集专门用于拟合集成权重和温度缩放参数。对于类别不平衡问题，研究对比了类别加权交叉熵损失与SMOTE过采样方法，结果表明类别加权策略在性能和训练时间上均更优，故被选为最终方案。此外，研究人员还使用分层五折交叉验证，并利用Grad-CAM和注意力图开展可解释性分析。
4.1 个体模型结果。ViT1、ViT2和ViT3的平均测试准确率分别为86.98%、87.19%和87.48%，宏F1分数分别为83.62%、83.51%和84.18%。ViT3取得了最高准确率和最小标准差。类别层面分析显示，一般缺陷和剥蚀类是最难识别的类别，而裂缝和无缺陷类别的识别性能最好。三个模型的成对测试误差多样性约为10.6%–11.2%，误差相关系数约为0.59–0.61，证实了成员间存在有效差异。注意力图和类别激活图（CAM）显示ViT3能够更准确地聚焦于缺陷区域。
4.2 Co-ViTDefect模型结果。基于Dirichlet(1,1,1)均匀先验的贝叶斯集成模型取得了88.19%的平均准确率和85.12%的平均宏F1分数，分别比三个个体模型高出1.21%、1.0%和0.71%。在最具挑战性的一般缺陷类别上，Co-ViTDefect正确识别了263张图像中的193张（73.4%），而三个单独模型分别仅识别出169张（64.3%）、175张（66.5%）和191张（72.6%）。该集成模型在裂缝类别上也实现了95.3%的准确率，优于最佳个体模型。
4.3 模型间视觉比较。随机样本的比较分析表明，Co-ViTDefect能够在个体模型预测不一致或置信度较低时给出更稳健和更准确的预测。对于剥落、泛碱和无缺陷等类别，集成模型的预测置信度和准确率普遍高于单一模型。Grad-CAM热力图进一步证明集成模型能够准确定位图像中的缺陷区域。
4.4 校准与不确定性消融研究。温度缩放将贝叶斯集成的ECE从0.214降至0.042，NLL从0.570降至0.403。相比均匀平均集成（ECE=0.285），Co-ViTDefect的ECE降低了约30%，NLL降低了8.6%，Brier分数降低了9.3%，并取得了所有方法中最低的Brier分数（0.242）。在准确率-校准权衡图中，贝叶斯集成位于帕累托前沿，表明没有其他方法能在取得更高宏F1的同时保持更低的ECE。在图像退化（高斯噪声、模糊、JPEG压缩）条件下，贝叶斯集成在多数情况下保持了最低的Brier分数。
4.5 与CNN和Transformer基线模型对比。在相同数据集和训练设置下，Co-ViTDefect（准确率0.8819、精确率0.8552、召回率0.8475、F1分数0.851）全面优于Xception、VGG16、InceptionV3、InceptionResNetV2四种CNN模型以及Swin-Tiny和MaxViT-Tiny两种Transformer模型。在CNN基线中性能最好的Xception取得了0.8696的准确率，仍低于Co-ViTDefect。计算效率方面，贝叶斯融合在CPU上的融合时间约为0.0000162 ms/张，与最大似然混合方法相当，相比前向传播开销可以忽略不计。
4.6 数据增强方法变更。对比实验表明，SMOTE过采样方法并未优于类别加权交叉熵法。类别加权训练下三个ViT成员的平均运行时间为27.72分钟，而SMOTE训练需要51.04分钟，增加了约84%。此外，SMOTE生成的合成图像虽保留了较多锐度（35%–53%对29%–35%），但并未带来准确率收益，因此最终保留了类别加权损失方案。
4.7 外部验证。研究人员使用了一个包含剥蚀、剥落、简单裂缝、严重裂缝和正常类别的外部开源数据集对模型进行了验证。视觉评估表明，训练好的ViT模型和Co-ViTDefect集成架构能够跨数据源识别裂缝、剥蚀、剥落和正常四类主要情况。部分分类错误归因于裂缝状材料或图像中同时存在多种缺陷（如裂缝与剥蚀共存）导致的类别模糊。整体上，集成模型在泛化能力方面优于个体模型。
在总结讨论部分，研究结果表明Co-ViTDefect通过贝叶斯Dirichlet加权集成有效融合了多个ViT模型的互补优势，显著提升了对多类别混凝土缺陷的识别性能，特别是在一般缺陷和裂缝类别上。相比均匀平均和多数投票等集成策略，贝叶斯集成在保持较高准确率的同时提供了可靠的概率输出和不确定性估计，具有更好的校准性能。与CNN和Transformer基线相比，Co-ViTDefect在各类别上均展现出更低的误分类率和更强的鲁棒性。然而，剥蚀和一般缺陷类别由于视觉特征重叠或样本数量有限，仍是所有模型中识别难度最大的类别。
研究结论可概括为：Co-ViTDefect作为集成方法改善了个体ViT模型的多缺陷总体检测性能，达到了88.19%的准确率；其有效提升了对挑战性“一般缺陷”类别的识别，准确率从个体模型的64.3%–72.6%提升至73.4%；同时在各缺陷类别上的F1分数和AUC均优于或持平于最佳个体模型。与传统CNN模型和先进Transformer模型相比，Co-ViTDefect展现了更低的误分类率和更优的鲁棒性。外部数据集验证进一步证明了该框架的泛化能力和实用性。未来工作应致力于改进剥蚀类别的识别，考虑多标签分类和区域级标注，并将该多分类框架扩展至基于区域的检测和像素级分割任务，以支持更精确的定位和严重性评估。
