基于弱监督的多模态融合技术：结合遥感数据与社交媒体数据进行城市洪水地图绘制

《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》：Weakly Supervised Multimodal Fusion of Remote Sensing and Social Media Data for Urban Flood Mapping

　　

摘要：

准确识别城市洪水范围对于灾害响应和风险管理至关重要。然而，由于数据异质性和空间偏差，现有研究很少探讨在数据融合背景下利用社交媒体来指导遥感洪水制图的工作。在本文中，我们提出了一个弱监督多模态融合框架，该框架整合了空间重定位的社交媒体数据和遥感特征，以生成准确的洪水/非洪水伪标签。基于这些弱监督信息，我们使用预处理和后处理光谱波段以及光谱指数作为输入来训练深度学习模型。为了评估所提出的模型，我们以2017年美国休斯顿的哈维飓风洪水事件作为案例研究。该模型在洪水制图方面的表现为：精确度为89.75%，召回率为81.83%，F1分数为84.94%，平均交并比（mIoU）为74.98%，总体准确率（OA）为97.51%，Kappa系数为0.8612。该模型优于无监督和传统监督方法，并且在密集的城市区域和主要道路等复杂环境中保持了较高的分割精度。可以得出结论，新提出的框架能够更好地融合遥感和社交媒体数据，从而支持准确的洪水制图和灾害管理。