《Journal of Imaging》：Assessment of Convolutional Neural Network and Vision Transformer Architectures for Structural Surface Classification
编辑推荐：
研究人员评估了十种卷积神经网络（CNN）和十种Transformer/注意力架构在九类别结构表面分类任务中的表现，使用了41,756张平衡的StructDamage图像。冻结的ImageNet预训练ResNet18编码器配合学习分类头，采用33,352张训练图
研究人员评估了十种卷积神经网络（CNN）和十种Transformer/注意力架构在九类别结构表面分类任务中的表现，使用了41,756张平衡的StructDamage图像。冻结的ImageNet预训练ResNet18编码器配合学习分类头，采用33,352张训练图像、4,202张验证图像和4,202张测试图像，按推断的增强家族分组。测试准确率为98.88%，宏平均F1（macro-F1）为0.9881，95%成分自助法（component-bootstrap）准确率区间为98.42–99.26%。内容筛选后保留4,102张测试图像，准确率为98.85%。然而，跨分区完全匹配和候选源前缀重叠表明，这些结果不能视为独立站点验证。独立的随机初始化筛选使用1,800张训练图像、900张验证图像、共同的测试集、64 × 64输入和五个训练周期。DenseNet121以88.34%的准确率领先；XCiT-Tiny在Transformer/注意力组中以84.75%的准确率领先。十八个模型选择了最终周期，因此该比较未确立收敛等效的优越性。使用5,400张训练图像时，全部二十个模型的准确率均有所提升，预算间秩相关系数为0.850。成分感知比较和墙体/甲板误差分析对排名进行了限定。研究结果涉及表面类别识别，而非缺陷定位、损伤严重程度或结构安全性。
结构表面分类的深度学习模型评估：研究解读
一、研究背景与问题
结构表面的图像检测是土木基础设施维护中的重要环节，其核心价值在于将模型输出与工程问题准确对应。然而，识别表面类别、检测可见缺陷和评估结构安全属于不同的任务范畴，不能混为一谈。近年来，卷积神经网络（CNN）已成功应用于路面裂缝识别和混凝土裂缝检测，推动了检测图像自动化分析的发展。但仅凭图像分类结果并不能确定劣化的物理原因、严重程度或后果。随着数据集资源（如SDNET2018）的整合和预测方法的进步，层次化卷积特征、上下文注意力机制和基于Transformer的裂缝模型不断涌现，但这些方法的目标各异——从整块图像的标签到单个裂缝像素的掩膜。因此，在进行性能比较之前，必须区分这些目标，否则报告的性能差异将失去可比性。当前研究领域面临的核心问题包括：增强变体和相关裁剪可能在不同分区之间保留共享视觉内容；预训练、图像分辨率、样本数量和优化暴露时长会改变模型的观测排名；在整合数据集中取得的高准确率并不能证明在独立结构上的表现；短训练计划无法确立架构的性能上限。因此，需要一项将分区来源、模型配置和不确定性纳入解释框架的系统性评估，而非仅依赖表面准确率。
二、研究内容与核心结论
本研究针对结构表面九类别分类任务，设计了两层实验体系。第一层为全数据流程，使用冻结的ImageNet预训练ResNet18编码器配合学习分类头，在41,756张平衡图像上进行分类。第二层为独立的架构筛选，在随机初始化条件下，以共同的五周期、低分辨率方案比较十种CNN和十种Transformer/注意力架构，并随后进行扩大训练子集的敏感性分析。研究的主要贡献包括：明确定义的九类别基准；文件名家族分区结合基于内容的依赖筛查；二十个具名实现的逐图像预测保存；以及成分感知的不确定性、训练历史评估、资源比较和类别级误差分析。研究结论表明，预训练ResNet18特征编码器配合轻量分类头在相同九类别下达到98.88%的原始分组准确率，内容筛选后为98.85%；DenseNet121在原始五周期、1,800图像、64 × 64随机初始化筛选中取得最高观测准确率88.34%，扩大训练数据后提升至92.31%；模型选择取决于运行约束，不同架构在准确率、参数数量和CPU延迟之间存在权衡。
三、关键技术方法
研究采用了两层实验设计。全数据流程使用冻结的ImageNet预训练ResNet18编码器，输入经176像素短边缩放和160 × 160中心裁剪，特征缓存后由LayerNorm-线性-GELU-丢弃-线性分类头处理，AdamW优化器配合余弦调度和早停策略。独立的架构筛选使用随机初始化，输入统一为64 × 64，采用五周期训练，每类200训练图像和100验证图像，共1,800训练和900验证图像，测试集为全部4,202张分组测试图像。训练数据敏感性分析将嵌套训练子集扩大至每类600图像（共5,400张）。数据分区采用文件名家族分组策略，通过规范化文件名去除增强后缀，将完整推断家族作为不可分割单元分配。内容依赖审计使用字节SHA-256哈希、解码RGB像素SHA-256哈希和64位水平差分哈希，连接相等或近似的组件以检测跨分区重叠。不确定性估计采用成分自助法（component-bootstrap），以完整内容审计组件为重采样单位。
四、研究结果
4.1 全数据分类的两种原始协议结果
源计数匹配的图像级流程在4,204张图像上获得99.2388%准确率和0.99160宏平均F1。文件名家族分组流程在4,202张图像上获得98.8815%准确率、0.98813宏平均F1、0.98741马修斯相关系数（MCC）和0.98740科恩卡帕系数。两种协议之间的0.3573个百分点差异并非泄漏膨胀的因果估计，因为其测试集成员也不同。
4.2 分组主模型的类别级性能
分组全数据模型的每类F1范围从甲板的0.9660到砖和瓷砖的1.0000。墙体F1为0.9699，召回率最低为0.9610。甲板、路面和墙体仍是重要残差误差类别。
4.3 二十种架构的比较性能
原始筛选准确率范围为24.13%至88.34%。DenseNet121以88.34%排名第一，ResNet34以87.24%紧随其后，ResNet18以86.72%位列第三。XCiT-Tiny以84.75%成为最佳Transformer/注意力模型，总体排名第四。CNN占据前三位置，但两个家族在排名中均有分布，家族成员本身并不决定性能。
4.4 CNN与Transformer/注意力家族的配对统计比较
CNN平均准确率为76.63%，Transformer/注意力模型为72.69%；中位数分别为76.02%和78.07%。Swin-Tiny的低分显著拉低了Transformer/注意力均值。DenseNet121与XCiT-Tiny的准确率差异为3.59个百分点，配对成分自助法95%区间为2.19–5.07个百分点。但DenseNet121对ResNet34和ResNet18的依赖感知区间均包含零，表明单次运行证据无法解决与最接近CNN竞争对手的优势问题。
4.5 准确率、模型复杂度与计算效率
对数参数数量与准确率的斯皮尔曼相关系数为0.438（p = 0.054），实测CPU延迟与准确率的相关系数为0.162（p = 0.494），不存在简单的单调关系。DenseNet121以6.96M参数和65.53毫秒延迟取得88.34%准确率；ResNet18以15.51毫秒延迟取得86.72%准确率。十种模型在准确率、参数数量和延迟的三目标组合上处于非支配状态。
4.6 筛选冠军的类别级误差分析
DenseNet121的385张墙体图像中有159张被预测为甲板（41.30%），而406张甲板图像中仅5张被预测为墙体（1.23%）。墙体召回率为58.18%，甲板召回率为97.78%。墙到甲板误差占模型490个总误差的32.45%。该误差在短预算预测中是系统性的且不对称的，但在全数据预训练ResNet18流程中显著减少（385张中仅14张），表明不同表示和训练机制下标签的可分离性存在实质差异。
4.7 基于内容的依赖审计与敏感性
17,086个推断文件名家族未跨越分组分区，但9个字节相同哈希组、56个解码像素相同组和60个相等差分哈希组确实跨越。结合近哈希后产生16,779个成分，69个成分跨越一个或多个原始分区。内容筛选保留4,102张测试图像，预训练ResNet18准确率为98.85%，DenseNet121为88.20%，XCiT-Tiny为84.74%。候选源前缀诊断显示，甲板和墙体的所有前缀均跨越原始分区，4102图像筛选结果不能解释为源不相交性能。
4.8 训练预算敏感性与收敛限制
二十个模型中有十八个选择第五周期，并在第四至第五周期之间改善验证宏平均F1。DenseNet121在最终周期改善4.31个百分点，DeiT-III-Small/16改善10.90，MaxViT-Tiny改善11.23。扩大至5,400训练图像后，全部二十个准确率均提升，变化范围为2.07至19.99个百分点，预算间秩相关系数为0.850。DenseNet121在两种预算下均取得最高观测测试准确率。
五、讨论与结论
研究支持三个条件性结论。第一，ImageNet预训练ResNet18特征编码器配合轻量分类头是组织大规模图像集合的有力局部基线，但剩余需求是独立源/站点验证。第二，DenseNet121在原始短预算筛选中取得最高观测准确率，但十八个最终周期选择表明这不是收敛等效的架构比较；扩大数据后全部模型均提升，但未确立全数据或收敛排名。第三，模型选择取决于运行约束：ResNet18提供更低CPU延迟但准确率略降，MobileNetV3-Small更快但分类损失更大，MobileViT-XXS参数存储低但CPU延迟不相应降低。这些发现适用于选择表面图像索引阶段的候选流程并在目标采集环境中验证，不适用于按损伤严重程度进行维护优先级排序、裂缝定位、劣化机制评估或结构安全决策。数据审计表明文件名分组、内容相似性和源独立性必须区分对待。未来验证应保留已知父图像和站点标识符，使用独立现场采集，跨种子和预算重复训练，并获取损伤测量任务所需的标注。
