ASTRA：龙卷风过后损毁识别的建筑学分析方法

《Expert Systems with Applications》：ASTRA: architectural insights for post-tornado damage recognition

　　摘要：在龙卷风过后迅速且准确地评估建筑受损情况对于应急响应和灾后恢复至关重要，但由于龙卷风造成的破坏景象视觉上极为复杂，存在严重的领域差异以及极端的类别不平衡问题，自动化方法难以应对这一挑战。我们提出了ASTRA这一大规模框架，它对79种开源模型（67种卷积神经网络模型和12种基于Transformer的架构）进行了测试，共开展了2,420次实验，这些实验都是基于精心整理的Quad-State Tornado Damage（QSTD）基准数据集，该数据集包含5,517张按照IN-CORE工程分类法标注的街景图像。研究发现，要取得优异的性能，关键在于架构、优化策略以及预训练数据源之间的相互作用，而不仅仅是架构本身。基于注意力机制的模型对优化策略极为敏感：在默认配置下表现较差，但一旦通过将优化器从Adam改为SGD或降低学习率来调整优化策略，它们的宏观F1分数就能提升25到38分。通过控制性的消融实验，我们发现这种性能提升主要归因于学习率，而针对Vision Transformer的优化器效应则相对较小；卷积神经网络则没有出现类似的性能反转现象。此外，我们还发现了一个反直觉的现象：尽管Places365以场景为中心的预训练方法在语义上与建筑和街道场景更为接近，且在零样本测试中的表现也很出色，但在经过优化后，其性能仍不及以物体为中心的ImageNet模型。在针对2,393张图像的Tuscaloosa-Moore龙卷风损害数据集进行的严格零样本测试中，简单的基线模型无法实现性能迁移，而经过QSTD优化的模型则取得了显著更好的性能。其中表现最佳的模型ConvNeXt-Base，即便存在时间、传感器和地理方面的变化，其宏观F1分数仍比基线模型高出34.6分。因此，ASTRA为自动化龙卷风损害评估提供了实用的优化指南，同时也构成了一个经过严格验证的开源基础平台。项目网站：https://crumeike.github.io/astra-page

引言：龙卷风是最具破坏性且突然发生的自然灾害之一。在这些灾害发生后迅速评估建筑受损情况，对于协调应急响应、分配资源以及制定灾后恢复计划而言至关重要（Devarajan, 2025; Gupta and Shah, 2021; Braik and Koliou, 2025; van de Lindt et al., 2025）。正是由于这种紧迫性，人们开始从缓慢的传统评估方法转向自动化解决方案（Imran et al., 2022; Jones et al., 2023; Hackathon, 2023; Senarath et al., 2023）。历史上，损害评估依赖于地面团队进行的主观且耗时的手动检查。虽然有像Interdependent Networked Community Resilience Modeling Environment（IN-CORE）这样的严谨工程分类体系，可用于根据组件故障（如屋顶覆盖物、窗户、结构连接等）对损失情况进行标准化评估（“Lisa” Wang et al., 2024），但其手动操作方式却成了有效应对灾害时的重大瓶颈，难以满足快速处理的需求（Johnston et al., 2024）。来自摄像头和卫星的大量视觉数据为解决这一问题提供了可能，使得深度学习成为突破这一解读瓶颈的必备工具（Yu et al., 2023; Zhao and Zhang, 2020; Xiong et al., 2022; Umeike et al., 2024）。然而，将标准的深度学习模型应用于这一任务时，会面临诸多根本性的挑战。首先，龙卷风过后的图像充满了混乱的纹理、碎片以及破碎的几何结构，这与模型通常预训练所使用的干净、以物体为中心的数据集之间存在显著的领域差异（Ahn et al., 2025; Weber et al., 2020）。其次，像IN-CORE这样的现有工程分类体系要求模型解决多种不同尺度上的解读难题：识别细微的特征（如10%与20%的屋顶损坏程度）与判断严重的结构故障（如屋顶缺失）是两码事。最后，现实世界中的数据往往存在极端的类别不平衡问题（比如大量结构未受损的案例）（Sonang, 2025）。由于缺乏一套用于系统化基准测试和优化的框架，目前还不清楚哪些模型或优化策略真正适用于这一复杂的任务。本研究正是为了解决这些问题而提出的，我们设计了ASTRA这一系统化的实验框架，旨在深入分析龙卷风过后的损害识别问题。我们以新整理的Quad-State Tornado Damage（QSTD）数据集作为测试平台，对79种公开的深度学习架构进行了测试，以此回答两个核心问题：（1）哪些架构类型最适于识别龙卷风特有的损害特征？（2）哪些优化策略最为关键，它们又是如何与不同的架构类型（卷积神经网络与基于Transformer的模型）相互作用从而影响性能的？从本质上讲，我们的研究为这一领域做出了多项贡献：我们推出了QSTD数据集，这是一个基于IN-CORE工程分类法、经过精心标注的新型数据集，为本研究奠定了基础；我们提出了ASTRA这一全面的计算框架，用于自动化处理那些需要大量专业知识的结构损害评估工作，通过2,420次控制实验系统地分析了79种深度学习架构如何运用基于组件的IN-CORE分类体系，同时还分析了以物体为中心的（ImageNet）与以场景为中心的（Places365）预训练方式对性能的影响；我们设计了Ordinal Top-k Accuracy这一专门的损害评估指标，它能够衡量预测结果与真实值在k个严重程度等级范围内的匹配程度。与加权Kappa这类标量顺序度量指标不同，该指标设置了严格的容忍阈值，能够直接量化功能上可接受的预测结果所占的比例；我们进行了大规模的优化分析，揭示了架构与训练参数之间的重要相互作用关系。对于基于注意力机制的模型，我们发现，将优化器从自适应矩估计算法（Adam）改为随机梯度下降算法（Kingma & Ba, 2015），能够让Vision Transformer和Swin Transformer系列的模型在宏观平均F1分数上提升25到38分，从而彻底改变了各模型的性能排序。通过控制性的消融实验，我们发现降低学习率也能带来类似的性能提升，不过对于Vision Transformer来说，优化器带来的好处相对较小；我们在Tuscaloosa-Moore龙卷风损害数据集上进行了严格的跨事件泛化测试，以此验证ASTRA框架的稳健性，测试结果表明，经过QSTD数据集训练的模型在面对时间、传感器以及地理环境的变化时，依然具备较强的预测能力。本文的其余部分结构如下：第2节回顾相关研究；第3节介绍所使用的数据集；第4节详细阐述我们的方法论框架及所用架构；第5节介绍实验设置与评估指标；第6节对实验结果进行系统分析；第7节探讨这些研究结果的意义，并为自动化龙卷风损害评估系统的实际应用提出建议；第8节总结全文并指出未来研究的方向。

相关内容片段：
损害评估的架构理念：深度学习在灾后损害评估领域的应用发展十分迅速。诸如ResNet50之类的基础卷积神经网络已被证明在细粒度分类任务中表现良好，在针对简化后的粗粒度分类任务的龙卷风过后的地面图像上，其准确率可达90.28%（Umeike et al., 2024）。近期出现的用于卫星损害绘图的变更检测架构，包括ChangeOS、DamageFormer和ChangeMamba（Chen et al., 2022; Zheng et al., 2021; Chen et al.）。
数据来源与分类体系：QSTD数据集源自2021年12月那次历史性的四州地区龙卷风灾害发生三周后，“第一波”野外调查期间收集的4,800张带有地理定位信息的街景图像（Johnston et al., 2024）。这种从地面视角获取的图像能为实地评估提供真实可靠的数据来源，但也存在遮挡现象以及光线条件不均等问题。QSTD分类体系是在以组件为基础的客观IN-CORE分类体系之上发展而来的（见表1），该分类体系定义了四种损害状态。
龙卷风过后的损害识别问题构建：龙卷风过后的损害识别任务可以被构建为一个有监督的多类图像分类问题。其目标就是学习一种映射函数，能够将输入图像准确映射到C个预定义的损害状态分类标签之中。设X表示所有能够反映灾后场景的空中或地面图像的输入空间，Y={y1,y2,?,yC}则表示C = 6种不同的损害分类标签，具体为：DS0（未受损）、DS1（轻微受损）、DS2（中度受损）。
实验设置与评估：实验相关细节：所有实验都是在NVIDIA A100 GPU（拥有40GB/80GB显存）上，使用PyTorch 2.6.0版本进行的。模型的初始权重是从两个数据源获取的：75种模型使用的是ImageNet - 1K数据集（用于物体为中心的识别），另外4种模型则使用Places365数据集（用于场景层面的理解），这两种数据源的对比有助于判断场景层面特征在转移到灾害图像时的效果是否优于物体为中心的特征。
阶段0：零样本迁移学习（头部不匹配与领域差异）：为了量化通用图像分类任务与龙卷风损害评估任务之间的领域差异，我们直接在QSTD测试集上，对21种预训练的卷积神经网络和Transformer架构（17种来自ImageNet - 1K，4种来自Places365）进行了测试，且没有对这些模型进行微调。表4显示的零样本测试结果表明，那些没有经过损害分类头部训练的传统预训练模型，在处理灾后图像时的表现很差。
研究见解1：巨大的领域差异得到了证实。零样本测试结果……
讨论与建议：我们对79种架构在38种不同超参数组合下的表现进行了系统评估，由此为基于QSTD基准数据集部署自动化龙卷风损害评估系统提供了可行的指导。阶段1基础实验的帕累托前沿分析（见图9）显示，MobileNetV3系列架构在保持较高准确率的同时，还具有出色的计算效率，而EfficientNet（B0 – B6）系列以及ConvNeXt系列架构则代表了当前可实现的性能上限。
结论：本文介绍了ASTRA这一大规模、系统化的实验框架，它通过在QSTD基准数据集上对79种开源模型开展2,420次控制实验，深入分析了龙卷风过后的损害识别任务中与架构选择及优化策略相关的各种因素。我们的研究结果为开发强大且开源的损害评估工具提供了全面的性能参考依据以及实用的建议。我们的关键研究发现表明，模型的性能取决于多种因素之间复杂的相互作用关系……
作者贡献说明：Robinson Umeike：撰写原始稿件、参与稿件审阅与编辑、负责可视化工作、数据整理以及方法设计；Thang Dao：参与概念构思、稿件审阅与编辑工作、承担监督职责以及概念构思相关任务；Shane Crawford：参与稿件审阅与编辑、负责项目管理、概念构思以及相关调研工作；John van de Lindt：参与稿件审阅与编辑、负责项目管理、资源协调以及相关调研工作；Blythe Johnston：负责数据整理、资源协调以及相关调研工作；Wanting (Lisa) Wang：参与稿件审阅工作。
利益冲突声明：作者们声明自己不存在任何可能影响本文研究结果的已知财务利益关系或个人关系。
致谢：作者们感谢由NIST资助的Center for Risk-Based Community Resilience Planning中心，该中心提供了本研究所分析用的街景图像数据集。正是得益于该中心共享的数据资源，本研究才能得以开展，而这些数据资源对于本研究中各类模型的开发与验证也起到了至关重要的作用。
Robinson Umeike|Thang Dao|Shane Crawford|John van de Lindt|Blythe Johnston|Wanting (Lisa) Wang|Trung Do|Ajibola Mofikoya|Sarbesh Banjara|Cuong Pham