《Applied System Innovation》：AI-Based Image and Data Analysis for Automated Assessment of Residential Damage in Seismic Regions
编辑推荐：
地震始终对全球基础设施构成严重威胁。近期发生的灾难性事件，如2023年土耳其和叙利亚的卡赫拉曼马拉什地震，突显了灾后快速、准确评估建筑损毁的迫切必要性。地震荷载作用下的结构倒塌会造成大量人员伤亡和严重的经济中断，尤其是在以老旧建筑为主、且这些建筑建造于现代抗震
地震始终对全球基础设施构成严重威胁。近期发生的灾难性事件，如2023年土耳其和叙利亚的卡赫拉曼马拉什地震，突显了灾后快速、准确评估建筑损毁的迫切必要性。地震荷载作用下的结构倒塌会造成大量人员伤亡和严重的经济中断，尤其是在以老旧建筑为主、且这些建筑建造于现代抗震设计规范之前的地区。为解决传统人工检查的局限性，本研究提出了一种综合性人工智能（AI）框架，旨在自动化并增强震后结构评估。利用2021年海地地震的异构数据集（包含分类建筑属性与灾后影像），所提方法采用严格的数据预处理和探索性分析，以识别关键脆弱性指标并解决数据不一致性问题。研究分别开发了独立预测流水线，利用最先进的机器学习算法处理表格数据，并采用深度学习架构进行图像分析。随后，研究人员实现了一种新型混合元分类器，以融合上述不同模态。通过将空间和结构背景信息与直接的视觉损毁证据相结合，该混合模型能够有效估计结构损毁严重程度。在所有评估方法中，该多模态框架显著提升了预测可靠性。混合模型达到了89%的分类准确率，始终优于单一的表格模型和图像模型。这些发现凸显了多模态数据融合在灾害分析中的有效性，并表明AI驱动的混合架构可成为结构工程师和应急响应机构稳健、可扩展的决策支持工具。
**基于多模态融合的地震区域住宅损毁自动评估研究解读**
**1. 研究背景与问题**
地震作为极具破坏性的自然灾害，持续威胁着全球人类生命、基础设施和经济稳定。在现代抗震规范颁布前建造的老旧建筑，在地震荷载作用下极易发生破坏甚至倒塌。2023年土耳其和叙利亚的卡赫拉曼马拉什地震等近期灾难事件，进一步凸显了快速、准确评估灾后建筑损毁的紧迫性。传统的人工现场检查虽被视为结构评估的基准方法，但在大规模灾害后往往速度缓慢、劳动密集且难以扩展，导致关键决策延迟。因此，亟需开发自动化、可扩展且可靠的损毁评估工具，以辅助结构工程师和应急响应机构进行快速建筑安全筛查和资源分配。尽管现有研究已分别利用图像数据（如卷积神经网络）或表格数据（如集成学习）进行损毁分类，但单一模态方法存在固有局限：图像方法难以捕捉结构特征、建筑用途等背景信息，而表格方法无法直接反映可见损毁的物理实际。此外，模型在不同地理区域、施工实践和调查协议间的迁移能力仍未得到充分研究。
**2. 研究目标与数据**
为应对上述挑战，本研究提出了一种基于人工智能的混合框架，通过统一预测流水线集成图像信息和表格信息，用于地震引起的建筑损毁分类。研究使用了2021年8月14日海地Mw 7.2尼普斯地震后由结构极端事件侦察（StEER）网络收集的数据集，包含18,651张标注建筑图像，分为五类损毁状态：轻微（Minor，4875张）、严重（Severe，4601张）、中等（Moderate，3845张）、部分或完全倒塌（Partial or Total Collapse，2951张）和无可见损毁（No Visible Damage，2379张）。同时，该数据集还包含建筑用途、结构类型、空间属性（如经纬度）及自由文本损毁检查备注等结构化表格数据。研究还进一步在2023年土耳其卡赫拉曼马拉什地震和2020年波多黎各地震的独立数据集上进行了外部验证，以评估模型的泛化能力。
**3. 关键技术方法**
研究人员采用了多阶段方法学，主要包括以下关键技术：（1）图像预处理：采用分层70/30划分，图像缩放至128×128像素，应用随机旋转（±20°）、平移（±20%）和水平翻转等数据增强技术，以缓解过拟合并提高泛化能力；（2）表格与文本预处理：对文本字段使用空字符串填充，对数值变量采用中位数填充，采用随机过采样处理类别不平衡问题；（3）特征工程：利用GeoPandas和Shapely计算建筑到震中的大地测量距离（distance_from_Haiti_2021_km），并基于随机森林和排列重要性进行特征选择；（4）模型开发：图像模型采用在ImageNet上预训练的ResNet50作为骨干网络并全微调，后接多层感知机分类头；表格模型包括随机森林、XGBoost、AutoGluon TabularPredictor，以及基于BERT的混合文本-数值模型；（5）多模态融合：将AutoGluon表格模型和ResNet50图像模型的类概率输出拼接成10维元特征向量，训练包含单隐藏层（128个神经元）的多层感知机元分类器。
**4. 研究结果**
**4.1 表格数据模型结果**：表格模型使用文本检查备注、分类建筑属性和数值空间特征。AutoGluon TabularPredictor以70%的准确率、宏F1-score 0.70、加权F1-score 0.70和平均绝对误差（MAE）0.6287达到最佳性能，表明表格模型能有效捕捉定性备注、结构元数据和空间背景中的损毁模式。
**4.2 图像模型结果**：全微调的ResNet50图像模型在五类损毁分类中达到53%的总体准确率、宏F1-score 0.52和加权F1-score 0.52。尽管模型成功学习了判别性视觉模式，但细粒度五类分类仍具挑战性，主要由于类间视觉差异细微、图像噪声和视角变化。混淆矩阵分析显示，无可见损毁（召回率67.1%）和部分或完全倒塌（召回率78.4%）分类较好，而中等损毁召回率最低（28.3%），常被误分类为轻微或严重。
**4.3 混合模型结果（图像-表格融合）**：通过元分类器融合AutoGluon表格模型和ResNet50图像模型的概率输出，混合模型达到了89%的总体准确率、宏F1-score 0.88和加权F1-score 0.87，显著优于单一模态模型。各损毁类别的F1-score范围为0.83至0.93，其中部分或完全倒塌和无可见损毁类别提升最大，表明文本备注、结构元数据和图像的联合贡献提高了判别能力。
**4.4 误差分析**：表格模型的错误主要集中在相邻损毁类别之间（如中等与严重、轻微与无可见损毁），表明模型在特征差异细微的边界案例上存在困难。图像模型的训练和验证损失曲线显示有效收敛，但残留错误主要归因于损毁特征视觉模糊、部分遮挡、图像质量和视角变化，以及单张外部图像无法完整反映整个建筑结构状态。
**4.5 外部验证与泛化评估**：在土耳其和波多黎各数据集上，海地训练的混合模型分别达到40%和48.5%的准确率，较海地测试集的89%大幅下降，凸显域偏移对模型迁移的影响。土耳其数据集损毁分类方法不同且文本备注缺失比例高（仅17.2%含有效信息），导致表格和混合模型效果减弱；波多黎各数据集在损毁分类学、元数据结构和评估方法上更接近海地，且震中距离与损毁严重度的相关性更强（r = ?0.226），迁移性能更好。
**5. 讨论与结论**
研究结果表明，将图像预测与表格和文本元数据集成能显著提升建筑损毁分类性能。混合元分类器达到89%的准确率，远超仅用表格（70%）和仅用图像（53%）的模型，证实多模态融合能提供比单一模态更完整的结构损毁表征。此外，全微调预训练深度CNN优于固定特征提取器，反映了灾害图像领域特定特征适配的必要性。研究也指出，数据增强对减少过拟合至关重要（无增强时验证准确率67%，有增强时提高到70%且F1-score 0.72）。未来研究方向包括多视角图像联合分析、三维建筑重建、邻域尺度视觉分析以及开发Web或移动端决策支持平台。研究人员强调，该框架旨在辅助而非取代工程决策，模型预测应视为咨询性建议，最终工程判断仍由合格专业人员负责。研究结论指出，整合结构、地理空间元数据与直接视觉影像能产生比单一模态更稳健、更精确的诊断工具，该AI驱动的混合架构作为可扩展的决策支持机制，具备为结构工程师和灾害管理机构提供快速、可靠情报以进行建筑安全分诊和优化灾后恢复物流的巨大潜力。
