ViGeo-Fuse:整合计算机视觉与地理空间机器学习用于震后建筑物损伤分类的多模态框架

《Developments in the Built Environment》:ViGeo-Fuse: A Multimodal Framework Integrating Computer Vision and Geospatial ML for Post-Earthquake Building Damage Classification

【字体: 大 中 小 】 时间:2026年08月01日 来源:Developments in the Built Environment 8.7

编辑推荐:

  摘要:快速且可靠地评估震后建筑物损伤对于应急响应至关重要,然而现有方法通常仅依赖视觉信息,或受限于延迟的遥感数据。本研究提出了ViGeo-Fuse,一种面向应用的多模态框架,该框架整合了基于视觉的深度学习与灾害信息的地理空间先验知识,用于在现实约束条件下进行损

  
摘要:快速且可靠地评估震后建筑物损伤对于应急响应至关重要,然而现有方法通常仅依赖视觉信息,或受限于延迟的遥感数据。本研究提出了ViGeo-Fuse,一种面向应用的多模态框架,该框架整合了基于视觉的深度学习与灾害信息的地理空间先验知识,用于在现实约束条件下进行损伤分类。主要贡献包括:(1)构建了一个包含2023年积石山地震震后实地调查中超过10,000张地面图像的地理参考数据集;(2)开发了一种基于置信度的决策级融合策略,整合了基于视觉的模型(VGG16)和地理空间机器学习模型(随机森林(Random Forest, RF));(3)验证了所提出框架,实现了77.92%的总体准确率,展示了具有竞争力的性能,并比单一模态方法具有更好的鲁棒性。结果表明,该框架在数据受限条件下具有鲁棒性,为震后建筑物损伤评估提供了实用基础,并支持应急响应。
**论文解读:ViGeo-Fuse:整合计算机视觉与地理空间机器学习用于震后建筑物损伤分类的多模态框架**

**研究背景与问题:**

震后建筑物损伤的快速可靠评估对于应急响应至关重要。然而,现有方法往往仅依赖单一的视觉信息(如卫星、无人机或地面图像)或受限于延迟的遥感数据。视觉模型在图像不完整、延迟或受噪声干扰时性能下降,而地理空间数据虽能提供客观的灾前信息,但可靠的空间数据在震后往往难以大规模获取。现有研究大多聚焦于遥感图像,而将地面图像与结构化的、灾害特定的地理空间特征(如地震烈度、震中距、地形要素)进行融合的研究相对不足。因此,研究人员提出了一种面向应用的多模态框架,以整合视觉与地理空间先验知识,提升在真实灾害数据约束下的损伤分类鲁棒性与实用性。

**主要研究方法:**

研究人员构建了ViGeo-Fuse框架,该框架包含三个核心组件:(1)基于深度学习的图像分类器(VGG16),用于捕捉结构损伤的视觉指标;(2)基于地理空间机器学习(Geospatial Machine Learning, GML)的模型(随机森林Random Forest, RF),整合结构化空间变量,如建筑属性、震中距和地形;(3)基于置信度的动态决策级融合策略,自适应地加权两个模型的预测。研究使用了来自2023年积石山地震(M6.2)的10,171张实地调查图像,并结合网络来源和公开危机数据集构建了多源图像数据集;同时,基于数字高程模型(Digital Elevation Model, DEM)、归一化植被指数(Normalized Difference Vegetation Index, NDVI)和地震烈度数据提取了8个地理空间先验特征。模型通过加权分类交叉熵损失和分层k折交叉验证进行训练与优化,并在独立测试集和2025年定日地震数据集上进行了跨事件泛化评估。

**研究结果:**

**3.1 基础模型性能**

**3.1.1 深度学习方法的分类结果:** 基于VGG16的深度学习模型在测试集上达到76.92%的总体准确率,其中“完全损伤”类准确率达98.72%,“严重损伤”类为83.62%,但“轻度损伤”与“严重损伤”之间存在混淆。Grad-CAM热图显示模型对关键结构区域(如裂缝、倒塌屋顶)有良好关注,但部分背景区域干扰了分类。

**3.1.2 机器学习方法的分类结果:** 随机森林模型仅依赖非视觉的结构化先验知识,在测试集上获得62.11%的准确率,其中“轻度损伤”类表现较好(F1=71.32%),但“完全损伤”类召回率仅3.57%,表现出对高严重度损伤辨识能力的不足,主要受限于样本不平衡和特征表达能力。

**3.2 融合模型结果:** 融合模型(VGG16+RF)通过置信度加权决策级融合,实现了77.92%的总体准确率,优于单一深度学习模型(76.92%)和机器学习模型(62.11%)。在“轻度损伤”类上召回率达92.11%(F1=82.06%),在“完全损伤”类上召回率为75.00%(F1=77.78%),但“严重损伤”类召回率下降至58.30%,表明视觉模型在严重损伤识别上仍占主导,但机器学习模型的噪声影响了高严重度类别的性能。

**3.3 模型性能对比分析:** 深度学习模型在高严重度类别上表现更优,而融合模型在低严重度类别上更具优势,提供了更均衡的分类结果。机器学习模型虽准确率较低,但提供了独立于图像的快速空间连续评估能力。

**讨论与结论:**

**讨论部分总结:** 多模态框架ViGeo-Fuse将结构化的灾害先验知识与震后图像结合,扩展了异质数据融合在震害评估中的应用。两个基础模型互补:视觉模型提供精细结构损伤识别,知识驱动模型在图像缺失时提供快速空间连续评估。决策级融合策略通过动态调整贡献,实现了在不确定现场条件下的鲁棒分诊,支持从备灾到响应的连续性评估。尽管准确率提升有限,但框架的贡献在于证明了多模态集成在真实灾害响应约束下的实用可行性和操作价值。研究还分析了特征级融合与决策级融合的权衡,指出决策级融合在特征尺度异质性和数据对齐约束下更具模块化和可解释性。不确定性分析显示,融合模型有效缓解了深度学习模型的过度自信问题(预期校准误差ECE从0.09降至0.06),且融合策略对置信度噪声不敏感。跨事件泛化评估(2025年定日地震)表明,融合模型在独立测试集上达到89.66%的准确率,优于单一模型,验证了框架的跨事件鲁棒性。局限性包括:分类准确率提升有限,主要受限于数据质量不一致和样本量小;未来需通过多样化模型池、优化融合机制和扩展数据集来进一步提升。

**研究结论翻译:** 建筑物损伤严重度评估是震后应急响应和恢复规划的关键组成部分,需要在严重数据约束下提供及时、可靠且可解释的信息。本研究提出了一种面向灾害的多模态框架,用于震后精细化的建筑物损伤评估,整合了实地收集的地理参考地面图像与结构化的地理空间先验知识。利用来自积石山地震震后现场调查的专家筛选数据集,研究人员证明了基于视觉的深度学习和基于先验知识的机器学习为建筑物损伤评估提供了互补视角:前者擅长震后结构诊断,尤其是高严重度损伤;后者则在视觉信息不可用时实现快速且可扩展的估算,并支持灾前风险模拟。通过基于置信度的决策级融合策略结合这两种模态,所提出的框架在现实数据限制下实现了稳定且具有竞争力的性能。这一发现凸显了多模态融合的实用价值,而非单纯追求算法创新。更重要的是,该框架支持在灾害管理周期的不同阶段进行详细的损伤识别和快速筛查,使模型输出与工程分诊和应急决策需求对齐。虽然数值性能提升有限,且在应对类别不平衡和模型对高严重度损伤的敏感性方面仍存在挑战,但本研究基于真实实地数据建立了可扩展且可扩展的基础。随着跨多个地震和灾害类型的地理参考地面图像集不断扩充,所提出的框架有望更好地捕捉跨事件模式,进一步提升模型预测的可靠性,并增强模型在实际部署中的泛化能力和操作相关性。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号