《International Journal of Remote Sensing》：A novel post-disaster damage assessment using generative AI: ground-level damage inference from aerial data after the 2023 Turkey Earthquakes
编辑推荐：
这项研究首创性地将生成式AI（扩散模型）与低秩适配（LoRA）微调技术结合，提出了一种名为LEGG（LoRA-Enhanced Ground-view Generation）的框架。它利用震后快速获取的无人机（UAV）正射影像，直接合成高分辨率、真实感强的地面视角建筑损伤图像，有效弥补了传统遥感方法（如卫星影像）在检测立面裂缝、局部倒塌等细微损伤时的不足，为灾后快速评估与应急响应决策提供了创新的可视化工具。
这篇题为《一种利用生成式AI进行震后损伤评估的新方法：基于2023年土耳其地震航空数据的地面损伤推演》的综述文章，深入探讨了一种创新的技术路径。其核心在于解决地震等灾害发生后，地面层级数据难以即时获取的关键难题。传统灾后评估通常依赖人工地面调查或卫星、航空遥感数据，前者耗时耗力，后者虽能快速获取大面积信息，但缺乏足够的空间分辨率以捕捉立面裂缝、轻微倾斜等决定建筑安全的关键细节。
1. 引言
全球每年发生数百万次地震，其中少数会造成严重破坏。人口密集、基础设施复杂的城市区域风险最高。结构失效会严重影响人们的生活，导致经济损失、人员伤亡和无家可归。政府的灾害防备对于将地震损害降至最低至关重要。传统的地震监测和损伤评估方法可能较慢，依赖于历史记录、基础灾害地图和地面报告，无法提供实时信息或准确预测对区域的影响。如今，遥感与人工智能（AI）技术使得地震防备更加数据驱动，通过卫星和航空图像实现更快的早期预警和损伤评估。然而，现有文献主要依赖卫星图像进行结构分析，能提供大范围覆盖但缺乏检测微小关键细节（如裂缝或倾斜）所需的空间分辨率。无人机（UAV）研究能提供详细见解，但其高成本和有限可用性限制了广泛应用。这些差距表明，有必要开发更易获取、高分辨率的成像方法和全面的数据以改进故障诊断。近期，以扩散模型为代表的生成式AI技术在文本到图像合成方面取得了突破，但在灾后场景中的应用仍处于早期探索阶段，主要集中于合成训练数据以解决数据稀缺和类别不平衡问题。
2. 研究方法与目标
本研究旨在填补这一空白，提出一种利用生成式AI技术从无人机图像预测地面层级建筑损伤的新方法。这不仅旨在检测震后损伤，更致力于提出一种新颖、可复现的技术管线，可应用于不同的地震情境。该方法的贡献包括：引入一个系统性从地面视角预测建筑损伤的新概念框架；率先应用生成式AI（特别是基于扩散的模型）于多源地震灾害图像分析任务，展示其在细粒度和街道层级损伤识别方面的潜力；并通过一个真实世界大地震的案例研究验证所提概念的可行性和适用性。
该工作开发了一种方法，旨在平衡从地面图像提取精细细节与通过航空图像的广域分析实现可扩展性。其提出的LoRA增强地面视图生成（LEGG）扩散模型，通过将LoRA微调与扩散模型相结合，在性能上超越了基线方法。最终目标是实现快速结构检查，特别是在人口密集的城市地区。
3. 数据集与所用材料
研究区域覆盖了土耳其加济安泰普省努尔达厄地区的几个区域。这些选定的关键区域在2023年2月发生的矩震级（Mw）为7.8的土耳其地震中受到严重影响。努尔达厄是一个半城市化住宅区，地震前人口稠密。强大的地震对城区造成了大规模破坏，损伤范围接近整个城市面积的20%。研究使用了土耳其环境、城市化和气候变化部地理信息系统部门提供的无人机和地面图像。无人机影像在灾后2天（2023年2月8日）获取，使用配备2000万像素广角相机的DJI Mavic 3 Enterprise平台拍摄。航测任务覆盖努尔达厄中心区域约106公顷，地面空间分辨率为0.10米，共获取160张高分辨率航空图像。此外，还提供了建筑层级的地面照片，提供了关于结构影响的其他视角，共使用了328张地面图像。这些图像共同构成了一个大型数据集，用于评估地震后的结构损伤并验证基于深度学习的评估模型。
4. 研究方法
LEGG以多张无人机图像作为输入，并生成相应的地面层级图像作为输出。管线首先使用目标区域的无人机图像进行三维重建，生成一个高保真度的纹理化三维模型。然后从纹理化网格在多个视点合成渲染地面视图，以获得局部化的场景视角。这些渲染的图像随后用于评估特定地理位置的结构损伤，将结构分类为完好、中度损坏或严重损坏。
三维重建使用标准摄影测量工作流程执行，包括网格生成、纹理映射、用于生成点云的密集图像匹配以及用于估计相机姿态的运动恢复结构（SfM）技术。为了模拟真实的灾后场景，采用了基于扩散的生成模型。该扩散模型在包含震前和震后事件地面图像的数据集上进行训练。通过以输入渲染和文本提示为条件，扩散模型可以生成高分辨率的地面图像，反映现实中不同程度的地震诱发损伤。
一个基于编码器-解码器架构的扩散生成模型，通过一个额外的编码器EG整合“受损”和“未受损”两个文本提示。这些提示指导生成现实的震后建筑状况，而从无人机图像提取的视觉线索则通过编码器EF进行编码，以进一步告知合成过程。所提方法结合了摄影测量重建与生成建模，为震后结构损伤评估提供了一个灵活且全面的框架，兼顾了可扩展性（广域航空覆盖）和细节（地面层级线索）。
5. 实验结果
本研究的定性评估表明，LEGG可以生成与真实地面实况图像密切匹配的努尔达厄研究区地面图像，超越了基线方法。它还展示了捕捉建筑不同程度结构损伤的能力。基线扩散模型能有效生成具有不同程度损伤的建筑图像，但其输出缺乏当地土耳其区域特有的地区性视觉和风格属性。相比之下，LEGG更有效地捕捉了当地建筑特征和本地建成环境的文化-视觉细微差别。模型结果产生了地理上更一致、具备情境感知的图像合成，与地面实况数据更相似。这种改进的地理特定保真度对于灾害影响评估、城市重建规划和文化遗产保护等应用至关重要。
定量评估采用了四种广泛使用的图像质量评估指标：峰值信噪比（PSNR）、结构相似性指数（SSIM）、学习感知图像块相似度（LPIPS）和弗雷歇起始距离（FID）。实验将数据集按8:1:1的比例系统划分为训练集、验证集和测试集。所有方法均在包含32张图像的测试集上进行评估，并与相应的地面实况图像进行比较。结果表明，所提方法在所有四项指标上均优于基线扩散模型。在预测未受损建筑时，PSNR比基线高出2.6分贝。在SSIM方面，受损建筑预测模型比基线提高了0.13。在衡量感知质量的LPIPS和FID指标上，也分别实现了27.8%和27.0%的显著提升。这些结果证实，所提方法不仅在定量上更准确，而且在感知上也更真实、更具区域一致性。
6. 结果讨论
本研究在照片真实感方面展示了优越性能，同时更忠实地遵循了测试区域的特征。该框架独特地从无人机数据合成了地面视角。除了生成真实图像外，该方法还能生成捕捉不同程度建筑损伤的多样化地面视图场景。这对于与自然灾害（如地震事件）相关的应用尤其有价值，因为从不同视角准确可视化结构损伤至关重要。
从定性结果来看，该方法不仅产生了视觉上真实的渲染，还成功地反映了土耳其特定地面视图的建筑和风格特征。然而，当前方法的局限性在于生成结果固有的随机性。虽然这种随机性有助于多样性，但也降低了从业者可用的控制程度，这在需要精确输出的场景中可能是一个缺点。
与其他研究的比较进一步凸显了本研究的独特性。以往大多数工作集中于从航空或卫星图像进行分类或分割，很少有研究尝试合成地面视角。在这方面，本研究的方法是一个独特的贡献，连接了街道层级的可视化和高空评估。这个特性对于工程师、应急规划者和非技术利益相关者在灾害响应期间既需要准确性又需要视觉清晰度时尤其宝贵。
7. 结论
本研究引入了一种从无人机图像合成地震地面损伤视图的新方法，填补了灾后评估中的一个关键研究空白。通过利用LoRA微调和多视图融合，该方法增强了对立面裂缝、建筑倾斜和局部倒塌的识别能力，在2023年卡赫拉曼马拉什地震的3000个结构的数据集上表现出强劲性能。一个关键见解是，生成式AI模型可以从多个数据源提取细微线索，生成高分辨率、照片般真实的地面视图，从而实现更详细、更可靠的损伤评估。
主要结论可总结如下：本研究通过引入少数几种能从无人机图像生成真实地面视图的技术之一，弥合了航空评估与街道层级可视化之间的显著研究空白。提出了一种通过建立航空评估与街道层级可视化之间关系，从无人机图像生成真实地面视图的新技术。与基线方法相比，通过利用LoRA增强的扩散模型，所提框架更有效地以更高的真实感和结构保真度捕捉了建筑的立面裂缝、倾斜和局部倒塌。与早期研究和基线模型相比，所提LEGG方法提供了照片般真实且可解释的结果，改善了科学理解和实际可用性。该框架为灾害情境下的工程师、应急规划者和利益相关者提供了即时决策支持，展示了明确的操作价值。本研究建立了一个可重复且可推广的技术管线，可以修改以适应不同的地震场景，为未来可扩展、区域特定和可控的应用铺平了道路。
未来的改进可以通过文本提示在多个损伤级别上进行条件控制，扩展当前方法。这将需要定义不同类别的建筑损伤，例如立面裂缝或散落的碎片。另一个有希望的方向是在非常有限的图像上进行条件控制，因为震后数据往往稀缺，通常只有少量图像可用。开发能够在这种最小输入下有效运行的方法，将使该方法在现实世界的灾害场景中更加实用和适用。
