《Engineering Structures》：Integrating generalist and specialist AI inspectors: A hybrid vision-language framework for annotation-free post-earthquake component and damage segmentation
编辑推荐：
•开放词汇特征提升了构件分割的泛化能力。•混合专家-通用框架提升了损伤状态分割的性能。•对稀有损伤状态和风格多样的构件，性能有所提升。•无标注学习受益于多模态和通用知识。•该框架在震后环境中具备实际应用能力。引言在诸如地震等自然灾害发生后，需要进行详细的构件级建筑检查，以评估安全
- •
开放词汇特征提升了构件分割的泛化能力。
- •
混合专家-通用框架提升了损伤状态分割的性能。
- •
对稀有损伤状态和风格多样的构件，性能有所提升。
- •
无标注学习受益于多模态和通用知识。
- •
该框架在震后环境中具备实际应用能力。
引言
在诸如地震等自然灾害发生后，需要进行详细的构件级建筑检查，以评估安全性并促进受灾社区的及时恢复。根据FEMA-P2335《震后建筑修复与加固指南》[1]，降低构件和建筑强度或变形能力的损伤会损害其未来抗震性能，从而增加倒塌风险。因此，准确高效地对这类损伤进行分类对于做出明智的修复决策至关重要。
从无人机到智能手机，视觉数据采集技术的进步彻底改变了事件后数据的获取方式[2]，推动了深度学习在可操作见解方面的重大研究。有监督的计算机视觉方法已被证明在自动化识别民用基础设施损伤[3]，[4]，[5]，[6]、建筑构件类型[7]以及损伤类型[8]，[9]，[10]，[11]方面卓有成效。常见工作流程利用实例和对象检测来定位受损区域[9]，[10]，[12]，并使用语义分割在像素级对结构特征进行分类，包括桥梁构件[13]，[14]，[15]，[16]和诸如剥落、开裂和腐蚀等损伤类型[3]，[8]，[11]，[17]，[18]。
尽管有效，但有监督的语义分割需要人工创建用于训练的地面真值标签。然而，标注过程耗时，且在结构损伤分类等任务中可能具有主观性、容易出错，并依赖大量的质量保证。真实世界数据采集还会导致表征差距和长尾分布，其中主导模式掩盖了稀有或异常实例。由此产生的上下文缺乏和偏斜分布阻碍了语义分割框架的性能和泛化能力。
为了缓解这些挑战，大量研究探索了合成结构数据和图像。多项研究将这种方法应用于民用结构的损伤检测[19]，Hoskere等人[20]利用基于物理的图形模型生成了QuakeCity数据集，这是一个合成建筑图像数据集，其损伤状态与真实世界震后模式一致。这种自动生成提供了具有受控分布的完全标注数据集，减少了人工输入的需求，同时提高了质量和一致性。
然而，仅凭合成数据集不足以训练在真实世界数据上可靠表现的模型，因为生成图像与真实图像之间的域差距仍然存在。这种差距在结构图像中尤为明显，某些建筑设计元素或可见损伤类型可能不存在于合成数据集中。无监督域自适应（UDA）[21]通过使在标注源域上训练的模型适应于未标注目标域来缓解这些分布差异，并显示出将知识从合成数据迁移到真实世界数据的巨大潜力。例如，在语义分割中，DAFormer框架[22]通过将知识从合成数据集迁移到真实世界的Cityscapes数据集[23]，实现了最先进的无监督域自适应结果，后续工作已将其应用于桥梁构件检测任务[24]。
然而，当模糊的目标类别（例如风格各异的建筑阳台或具有多种可见损伤的严重受损构件）在数据集分布或预训练过程中仍然代表性不足时，UDA可能仍会提升性能，但通常泛化能力有限且上下文理解不足。为了提高泛化能力并将额外上下文应用于UDA过程，本研究首先提出了震后开放词汇无监督域自适应（Quake-OVUDA）专家模型，该模型在合成数据上训练，用于分割建筑构件和损伤状态。我们另外提出集成视觉-语言模型（VLMs）作为通用检查器，以进一步改进对模糊损伤类别的预测。
本研究的主要贡献如下：
- •
我们提出了Quake-OVUDA，一种集成了开放词汇（OV）语义分割以引导UDA的专家域自适应模型。我们在合成QuakeCity数据集和构件及损伤相关术语字典上微调简单编码器-解码器（SED）OV模型，然后使用其生成伪标签，以引导UDA模型DAFormer的自监督过程。
- •
我们提出了一种混合框架，将该专家模型与通用VLMs相结合，使用Quake-OVUDA的构件分类结果作为VLMs的输入，使其能够为单个构件提供细化的、基于推理的损伤状态预测。我们进一步比较了不同参数规模的基于API和本地托管的VLMs在短提示和上下文密集提示下的表现。
- •
我们证明该混合框架优于直接分割、开放词汇分割、基线UDA和零样本可提示分割方法，特别是在代表性不足或上下文敏感的构件和损伤状态方面。我们还表明，该框架在模拟低光照条件下保持稳健，并且端到端推理可在便携式边缘硬件上运行，这突显了该框架在光照和计算资源可能受限的震后环境中的实际适用性。
- •
我们提供了专家UDA和OV分割模型与通用VLMs的有效集成，为减少对人工标注真实世界数据的依赖奠定了基础。
章节摘要
3D合成环境中的基于物理的图形模型
基于物理的图形模型（PBGMs）已被用于生成各种检测和监测任务的合成视觉数据集，包括对闸门和导航基础设施的损伤[17]，[19]以及高速铁路高架桥检测[25]。Hoskere等人[20]通过一个PBGM框架扩展了这些方法，该框架将有限元模型与新颖的图形算法相结合，在钢筋混凝土的3D合成环境中渲染物理一致的损伤。
方法
本节描述了为达成所提出的Quake-OVUDA专家模型架构而对DAFormer UDA和SED OV模型所做的改编。我们还概述了所提出的框架如何使用Quake-OVUDA的输出和文本提示作为多模态VLMs的输入，以分类单个构件的损伤状态。所提出框架流水线的概览如图2所示。
数据集
对于源域数据集，我们使用QuakeCity，这是一个包含4809张钢筋混凝土建筑图像的合成数据集，使用基于物理的图形模型生成，具有不同的角度、距离和损伤。该数据集描绘了11栋参数化生成的建筑，具有不同的平面、高度和颜色，灵感来自2017年普埃布拉地震后墨西哥城受损的建筑。每张图像都配有像素级的构件和构件损伤状态标注。该合成
结果与讨论
本节展示并比较了所提出的Quake-OVUDA专家模型与标准监督方法、未修改的DAFormer方法以及使用SED开放词汇模型进行分割的分割性能（第5.1节）。然后对混合框架的损伤状态分类结果在提示技术和模型之间进行比较（第5.2节）。后续章节评估该框架与使用SAM3的零样本可提示分割的对比（第5.3节），在
结论
我们提出了Quake-OVUDA，一种在合成数据上训练的专家模型，用于分割建筑构件及其损伤状态。通过将SED模型的开放词汇特征纳入UDA框架DAFormer的自监督过程，我们创建了一个稳健的模型，用于将合成特征适应到真实世界图像。为了进一步改进构件损伤状态预测，我们引入了一个混合框架，集成通用VLMs，利用
CRediT作者贡献声明
Charles Abdo：写作——审阅与编辑，写作——原稿，可视化，验证，软件，方法学，调查，正式分析，数据管理，概念化。 Subin Varghese：写作——审阅与编辑，验证，监督，调查。 Vedhus Hoskere：写作——审阅与编辑，验证，监督，数据管理。
利益冲突声明
作者声明，他们没有任何已知的竞争经济利益或个人关系可能影响本文所报告的工作。
致谢
本工作基于美国国家科学基金会（U.S. National Science Foundation）资助项目No. 2544659以及NASA商业卫星数据地球科学研究与应用计划（NNH24ZDA001N-CESRA）资助项目80NSSC25K0336的支持。
Charles Abdo|Subin Varghese|Vedhus Hoskere
