基于历史建筑图像通过迁移学习(Transfer Learning)方法进行损伤分类

《Buildings》：Damage Classification in Historical Buildings Through Transfer Learning Approaches

　　

历史建筑是重要的文化资产，反映了城市特征并保存了社会集体记忆。然而这些结构日益暴露于环境退化和人为影响之下，使其系统化记录与状态评估对有效的保护策略至关重要。人工智能(AI)的最新进展为遗产保护领域的基于图像的分析提供了有力工具。特别地，迁移学习(Transfer Learning)使得经ImageNet预训练的深度学习模型能够适应标注数据有限的特定领域任务。本研究提出一种基于深度迁移学习的框架，用于历史建筑损伤的自动检测与分类。研究人员构建并公开了一个近平衡数据集，包含20,000张图像，涵盖六类劣化类别。研究系统在统一贝叶斯优化(Bayesian Optimization)协议下比较了十种在ImageNet上预训练的卷积神经网络(CNN)及Transformer架构。留出测试集上的实验结果表明，EfficientNetB3取得了最高分类准确率(97.65%)，而AlexNet性能最低(83.89%)；验证集仅用于超参数调优。结果表明，基于迁移学习的模型能有效识别肉眼可见的劣化模式，并为自动化文档流程提供可靠支持。所提框架有助于开发遗产保护中数字建档与状态评估的数据驱动决策支持工具。

论文解读：基于迁移学习的历史建筑损伤分类研究

一、研究背景与意义

历史建筑作为城市记忆的有形载体，其保护需依赖准确的病害诊断。传统评估依赖目视检查及无损检测(Non-Destructive Testing, NDT)，但前者具主观性且耗时，后者常限于数据量或需昂贵设备。既有基于图像的遗产病害研究常受限于损伤类别单一及数据集规模较小。鉴于历史建筑标注数据稀缺，迁移学习(Transfer Learning, TL)——即将大规模数据集（如ImageNet）上预训练模型权重迁移至小样本特定任务——成为解决途径。本研究由研究人员开展，旨在构建多类别历史建筑表面劣化图像数据集，并在统一协议下系统评估多种预训练深度网络（含CNN及Vision Transformer(ViT)）的性能，以确定最适合历史建筑损伤分类(Damage Classification)的架构。论文发表于MDPI期刊《Buildings》。研究得出结论：EfficientNetB3在测试集上达到97.65%的最高准确率，证明基于TL的模型可有效区分生物/化学劣化、裂缝(Cracks)、人为损伤、材料缺失(Material Loss)及完好表面(Undamaged Surfaces)，为遗产保护的数字化建档提供决策支持工具。

二、主要关键技术方法

研究人员采集土耳其及欧洲多国历史建筑（土坯、砖、木、石、金属）的现场影像，构建包含6类（生物劣化、化学劣化、裂缝、人为损伤、材料缺失、完好表面）共20,000张近平衡RGB图像的数据集（每损伤类3400张，完好类3000张），人工标注并双检。图像统一双线性插值缩放至224×224像素并归一化。按70%（训练）/20%（验证，用于贝叶斯优化(Bayesian Optimization, BO)及早停）/10%（测试，最终评价）分层随机划分。选取10种ImageNet预训练架构——EfficientNetB3、ViT、XceptionNet、InceptionNetV₃、AlexNet、VGG-19、ShuffleNetV₂、DenseNet121、MobileNetV₂、ResNeXt-50——冻结基网权重，仅训练新增的含Dropout的全连接分类头（6个logits+Softmax）。采用贝叶斯优化在限定空间内搜索8个超参数（迭代次数Epochs 10–35、批尺寸Batch Size 16–64、学习率Learning Rate、Dropout率0.1–0.5、权重衰减Weight Decay、优化器Optimizer、损失函数Loss Function、洗牌Shuffle），以验证集准确率指导搜索，早停耐心(Patience)设为10。最终指标基于测试集计算整体准确率(Accuracy)、精确率(Precision)、召回率(Recall)及F₁分数，并绘制混淆矩阵(Confusion Matrix)。

三、研究结果

5.1 数据集准备(Dataset Preparation)

研究人员自建数据集涵盖多时期多材质历史建筑立面，经专业标注与共识仲裁解决边界案例（如化学与生物劣化）。近平衡分布避免了严重类别偏斜，轻微少采样的完好类在最优模型中未出现明显召回率下降，证实数据集适用于多类损伤区分。

5.2 数据集划分(Dataset Splitting)

采用分层抽样保证各子集类别比例一致。验证集专用于超参数寻优与早停监控，测试集完全隔离不参与调参，确保性能评估无偏。因未按建筑个体锁定划分，存在微弱空间相关性但受地理与采集多样性缓解。

5.3 所用迁移学习模型(Transfer Learning Models Employed)

十种模型分属经典CNN基线、轻量化移动端模型、残差/密集连接深度CNN、复合缩放现代CNN及Transformer。全部采用特征提取(Feature Extraction)策略冻结基网，仅训练新分类头。AlexNet、VGG-19及XceptionNet在贝叶斯优化中选择Kullback–Leibler(KL)散度作损失函数以改善异质纹理上的过置信问题，其余模型使用分类交叉熵(Categorical Cross-Entropy)。实验基于TensorFlow 2.x/Keras 3.x于Google Colab GPU环境完成。

5.4 超参数优化策略(Hyperparameters Optimization Strategy)

贝叶斯优化通过概率代理模型与获取函数(Acquisition Function)高效探索高维超参数空间，30次迭代即收敛。各架构最优配置不同：EfficientNetB3等优选Batch Size=32、Adam优化器、Categorical Cross-Entropy；AlexNet等需Batch Size=64、KL散度、更低学习率及更高Dropout以抑制过拟合。

5.5 模型性能指标(Model Performance Criteria)

选用多分类准确率、精确率、召回率、F₁分数及混淆矩阵作为评价标准，所有最终结论依据独立测试集指标。

6. 结果与分析(Results and Analysis)

经过贝叶斯优化重训后，EfficientNetB3测试集准确率最高(97.65%)，其次为DenseNet121(97.45%)、ViT(97.15%)，AlexNet最低(83.89%)。ViT在调优期达最高验证准确率97.57%但测试略低于EfficientNetB3。混淆矩阵显示错误主要集中在视觉相似的化学劣化与生物劣化互判，以及材料缺失与人为损伤互判，裂缝偶被误判为材料缺失；EfficientNetB3等各类间区分最均衡。各类指标表明EfficientNetB3、DenseNet121和ViT在各子类上均保持高精确率与召回率。ViT得益于自注意力机制(Self-Attention Mechanism)捕获长程裂缝及污渍上下文；DenseNet特征重用(Feature Reuse)与MobileNetV₂深度可分离卷积(Depthwise Separable Convolution)也表现良好。轻量模型MobileNetV₂(96.80%)适合边缘设备部署，高精度模型适合离线详析。

四、讨论与结论总结

研究人员指出，化学与生物劣化的视觉相似性及人为干预与自然退化的界限模糊是主要误分来源，AI辅助筛查需结合专家经验与NDT。单折分层划分具内部一致性，未来宜引入k折交叉验证及建筑级留一法(Structure-wise Holdout)与外部多地域数据集验证泛化性。输入缩放到224×224可能对极细裂缝信息有一定损失，建议后续研究尝试384×384或512×512及分块(Patch-based)分析。该框架定位为视觉决策支持工具嵌入现有保护工作流程，可与结构健康监测(Structural Health Monitoring, SHM)结合辅助预防性保护。

结论(Conclusions)部分翻译总结：

利用公开遗产图像语料，研究人员通过迁移学习微调十种深度学习架构。近平衡类别分布（每损伤类3400幅，完好类3000幅）未损害最优模型对完好表面的召回率。框架针对可视裂缝主导的机械劣化而非全谱结构失效（如压溃、屈曲或倒塌）。独立测试集上EfficientNetB3准确率最高(97.65%)，DenseNet121(97.45%)与ViT(97.15%)次之；验证准确率仅用于模型选择。研究表明该数据集适于区分历史建筑不同损伤类型，并可推广应用于若干深度学习模型。未来工作建议扩充建筑类型与损伤条件、加入建筑级标注及跨域评估、融像方分类与传感器数据及数字孪生(Digital Twin)技术构建综合监测体系。本研究为遗产保护修复研究中数据导向AI方法的发展提供了可靠参照基准。