基于置信度感知多模态融合的城市功能分区分类方法

《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》：Beyond POI Categories: Confidence-Aware Multimodal Framework of Remote Sensing Images and POI Name Semantics for Urban Functional Zone Classification

　　

摘要：

城市功能分区（UFZ）分类对城市规划和可持续发展至关重要。现有方法通常结合遥感图像（RSI）与兴趣点（POI）数据。然而，大多数POI建模方法采用基于类别的范式，未能充分利用POI名称中包含的丰富语义信息。此外，大多数多模态融合策略未充分考虑单个样本之间的模态置信度差异。为解决这些问题，我们提出了CAM-UFZ，一个利用RSI和POI进行UFZ分类的置信度感知多模态框架。首先，我们引入置换不变表示学习（PIRL）来捕获POI名称序列的排序不变特性，生成与UFZ相关的鲁棒语义嵌入。为增强多模态判别性，我们设计了有监督多模态对比学习（SMCL），以提高POI和RSI表示空间内的类内紧凑性和类间可分离性。此外，置信度感知融合（CAF）机制根据多模态特征的可靠性进行自适应加权，减轻噪声或模糊线索的影响。大量实验表明，CAM-UFZ相比其他多模态特征融合方法取得了更优的性能。我们进一步证明了各策略的作用，并对RSI与POI之间的协同机制进行了全面分析。此外，本研究验证了利用POI名称语义比类别级特征更为有效。代码已发布于https://github.com/mfzhao1998/CAM-UFZ。