将分割技术与视觉语言模型相结合,利用卫星图像实现自动化且可解释的建筑损伤评估

《ADVANCED ENGINEERING INFORMATICS》:Integrating segmentation and vision-language model for automated and interpretable building damage assessment from satellite imagery

【字体: 大 中 小 】 时间:2026年01月18日 来源:ADVANCED ENGINEERING INFORMATICS 9.9

编辑推荐:

  建筑损坏自动化评估框架融合实例分割与增强时间视觉语言模型,通过多LoRA调优的SAM实现高精度资产分割,结合时空对齐与BDAChat模型的多任务问答机制,提供可解释的损害分类与因果推理,经夏威夷野火和佛罗里达飓风验证,显著提升灾害响应效率与基础设施规划能力。

  
王勇|崔家伟|翟长春|陶希贵|李宇豪
教育部结构动态行为与控制重点实验室,哈尔滨工业大学,哈尔滨 150094,中国

摘要

极端事件发生后对建筑设施的快速评估是一项知识密集型任务,对于有效的应急管理至关重要。然而,大规模自动化、对象级损伤评估的方法论仍然不成熟,通常缺乏细粒度的可解释性或可扩展性。本文介绍了一个框架,该框架将实例分割与时间视觉语言模型(VLM)相结合,并通过针对特定领域的知识进行微调,赋予其视觉损伤推理能力,从而实现对卫星图像中结构资产的自动化和可解释的评估。我们的三阶段方法协同工作:使用改进的Segment Anything Model(SAM)进行高精度分割;通过时空数据配对来隔离特定资产的变化;以及BDAChat,这是首个为对象级损伤评估而微调的时间VLM。与传统黑盒模型不同,BDAChat提供了高精度的损伤分类和因果解释,作为一个智能的损伤推理系统。通过拉海纳野火和2022年佛罗里达州Fort Myers Beach的Ian飓风案例研究验证了该框架的有效性和可扩展性。这个模块化框架自动化并加速了对象级建筑损伤评估过程,展示了其在实时建筑损伤评估和弹性基础设施规划方面的巨大潜力。代码和数据集可在以下链接获取:https://github.com/WangYong921/BDAChat。

引言

气候变化的加剧导致自然灾害(包括飓风、地震和洪水)的频率和严重程度增加。这些事件经常挑战基础设施的稳定性,对生计和经济稳定造成重大破坏。在这样的事件之后,快速准确地评估建筑损伤不仅对于有效的应急响应至关重要,而且对于建筑环境的长期维护、修复和生命周期管理也非常重要[1],[2]。
传统的灾后损伤评估依赖于人工现场调查,这既耗时又费力,在可扩展性和速度方面存在关键瓶颈。随着高分辨率卫星图像的日益普及,其快速获取性和广泛覆盖范围使其成为灾后大规模建筑损伤评估的重要工具。建筑损伤评估方法大致分为仅使用灾后图像的单时相方法和同时利用灾前和灾后数据的双时相方法。随着存档遥感数据的日益丰富,后者已成为主流范式[3],[4]。利用这些先验知识来理解复杂的灾后场景是当前研究的关键焦点[5]。通过分析随时间变化的光谱和形态特征差异,这项技术可以确定变化区域。然而,一个主要限制是难以区分真正的结构损伤和其他形式的环境变化。尽管存在这一挑战,双时相方法通常比仅基于灾后数据的分析提供更准确和可靠的结果。这是因为灾前图像提供了确认损伤所需的背景,并允许有效地排除无关区域,最终导致更精确和可靠的评估结果[6]。双时相方法主要由两个任务组成:建筑定位和损伤分类。建筑定位的目标是为灾前图像中的每个像素分配一个唯一的语义标签,从而在对象级别识别建筑区域。基于建筑定位结果,通过变化检测分析为每个实例分配损伤级别标签。除了评估单个建筑的损伤外,确保交通网络的可达性对于有效的灾害响应同样重要[7]。因此,将快速准确的损伤评估与实时道路状况监测相结合对于有效的灾后决策、优化救援行动和协调重建工作至关重要。
尽管深度学习,特别是卷积神经网络(CNN)在自动化损伤评估方面显示出潜力[2],[8],但从工程信息学的角度来看,它们仍面临局限性。正如Gu等人[9]所强调的,可解释性对于知识引导的决策支持至关重要。然而,CNN通常作为“黑盒”运行,仅提供分类标签而不阐明背后的推理,这阻碍了利益相关者的信任[10]。这种不透明性使得理解建筑物为何受损这一知识密集型任务变得困难。此外,虽然已经为各种场景(如灾后评估)开发了特定模型[11],但它们在不同灾害类型间的泛化仍然是一个重大挑战[6]。
基础模型的最新进展正在创造新的范式。例如,Segment Anything Model(SAM)已被用于结构损伤检测中的实例分割[12],展示了其在精确对象定位方面的潜力。同时,视觉语言模型(VLM)的兴起为弥合视觉感知和语言推理之间的差距提供了途径[13]。VLM的应用在建筑和工程领域是一个蓬勃发展的领域[14]。这些发展标志着从单纯的模式识别向创建能够理解和解释工程环境中视觉信息的系统的关键转变。然而,这种基于AI的技术的进步往往受到数据挑战的阻碍。正如Duan等人[15]全面回顾的,缺乏全面的、特定于任务的注释数据集是结构健康监测中AI的主要瓶颈。同样,Ro等人[16]强调了自动化、语义丰富的标注和分类系统的需求。
现有的VLM在建筑损伤评估中的应用尚未针对灾后分析所需的对象级、双时相推理进行定制。因此,挑战不仅仅是检测损伤,而是开发一个综合框架,该框架能够形式化人类专家的隐性知识[17],不仅识别损伤,还能通过自然语言解释其原因和严重程度。这超越了简单的分类任务,成为一个智能的推理支持系统。为了解决这一差距,本研究提出了一个新颖的三阶段框架,该框架结合了经过微调的改进SAM进行精确分割,涉及空间分组和时间排序,以及专门构建的时间VLM BDAChat。我们的框架不仅实现了最先进的准确性,更重要的是,为其评估提供了因果解释,从而弥合了对象级分割和高级时间推理之间的差距。这种双重功能支持响应者和规划者在灾害响应期间迅速做出基于证据的决策。
本工作的主要贡献如下:
  • (1)
    分割改进:使用Multi-LoRA注入对Segment Anything Model进行了调整和微调,在从卫星图像中提取建筑和道路方面取得了显著的性能提升。
  • (2)
    构建了首个双时相、多灾害、对象级数据集(OLBDA),其中包含丰富的注释,用于损伤分类、灾害识别和因果推理。
  • (3)
    开发了用于建筑损伤评估的多任务视觉问答(VQA)系统BDAChat,它通过阐明症状与损伤之间的逻辑,作为一个可解释的推理系统。
  • 本文的其余部分组织如下。第2节回顾了相关工作,并将我们的贡献置于上下文中。第3节详细介绍了提出的三阶段框架,包括改进的SAM分割、时空匹配和多任务Video-LLaVA VQA微调。第4节概述了实验设置,并展示了定量和定性结果。第5节探讨了实际应用场景,强调了我们方法的优势。最后,第6节总结了我们的关键发现。

    章节片段

    来自卫星图像的分割技术

    高分辨率卫星图像为提取城市特征(特别是建筑和道路)提供了强大的工具,这些特征是城市化和灾害脆弱性的关键指标。早期的分割方法严重依赖于手工制作的特征和浅层分类器,在复杂条件下往往缺乏鲁棒性[18]。随着深度学习的出现,基于CNN的模型(如U-Net [19]、DeepLabV3+ [20]、SegNet [21]、DABE-Net [22])已成为语义分割的主流方法

    方法论

    所提出的框架被设计为一个结构化的三阶段流程,整合了基础分割、时空对齐和多任务视觉问答,以从卫星图像中进行对象级损伤评估。每个阶段都针对其相应的子任务进行了精心优化,共同致力于实现一个稳健、可解释和可泛化的建筑损伤评估解决方案。架构的概述如图1所示。

    数据来源和数据准备

    为了严格评估所提出框架的有效性和鲁棒性,我们在xBD数据集[29]上进行了实验,因为该数据集具有反映真实世界灾害的独特特征。xBD中的每个灾前图像都与相同地理范围的灾后图像配对,确保时间点之间的经纬度覆盖一致。数据集被随机分为80%的训练子集和20%的测试子集。图6总结了灾害类别

    应用部署和案例研究

    为了验证我们框架的实际适用性和空间泛化能力,我们将其应用于两个未见过的重大灾害事件:2023年夏威夷拉海纳的野火和2022年佛罗里达州Fort Myers Beach的Ian飓风。这些案例研究展示了我们提出的三阶段框架的稳健性和实际效用。

    结论

    本研究提出了一个模块化的三阶段框架,用于使用卫星图像自动和可解释地评估建筑设施的损伤。该框架结合了经过多LoRA微调的SAM进行高精度资产分割、系统的时空匹配,以及BDAChat,这是一种新型的多任务时间VLM,用于对象级损伤评估,弥合了对象级分割和时间推理之间的差距。我们证明了基础模型的集成

    CRediT作者贡献声明

    王勇:撰写 – 审稿与编辑,撰写 – 原稿,方法论,概念化。崔家伟:监督,软件。翟长春:监督,资金获取。陶希贵:验证。李宇豪:软件。

    利益冲突声明

    作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

    致谢

    本研究得到了中国国家重点研发计划(编号:2023YFC3805100)和国家自然科学基金(编号:52494963和52222811)的支持。对这些支持表示衷心的感谢。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号