FLoRA：一种融合潜在表示的光学重建与洪水区域分割方法，通过跨模态多任务蒸馏网络实现

《IEEE Transactions on Geoscience and Remote Sensing》：FLoRA: Fusion-Latent for Optical Reconstruction and Flood Area Segmentation via Cross-Modal Multi-Task Distillation Network

　　

摘要：

准确的洪水地图绘制对于灾害管理至关重要，然而当前的方法在充分利用空间成像数据的潜力方面仍存在不足。光学数据具有较高的可解释性，但受环境条件限制；而SAR则能提供可靠的全天候覆盖，但视觉可解释性较低。FLoRA（Fusion-Latent for Optical Reconstruction & Area Segmentation）是一个跨模态多任务框架，通过融合光学数据和SAR数据的互补优势，共同重建高保真的光学图像并分割洪水区域。在训练过程中，一个轻量级的光学“教师模型”（基于RGB和NDVI先验）通过多尺度窗口化交叉注意力和FiLM条件化，引导SAR表示进入融合潜在空间，并通过门控残差机制防止过度校正。该设计实现了两个互补目标的多任务学习：(i) 将SAR数据转换为光学数据以实现精细的RGB重建；(ii) 分割洪水区域以进行水文解释。双重解码器采用Charbonnier + SSIM算法优化结构保真度，边缘 + FFT幅度损失算法优化光谱真实性，以及Dice + BCE + 水文感知边缘对齐算法实现精确的洪水边界划分。特征提取约束进一步使融合后的SAR特征与光学“教师模型”的流形对齐。在SEN1FLOODS11、DEEPFLOOD和SEN12MS数据集上的评估表明，FLoRA在PSNR、SSIM和LPIPS指标上均优于传统融合方法，证明了在教师引导的潜在空间内进行多模态融合可以从空间观测数据中获取语义准确且物理一致的洪水信息。 https://github.com/JagratiTalreja01/FLoRA