DinoCloudNet：一种基于视觉基础模型的遥感云语义分割方法

《IEEE Journal of Selected Topics in Quantum Electronics》：DinoCloudNet: A Remote Sensing Cloud Semantic Segmentation Method Based on Vision Foundation Models

　　

摘要：

云分割是遥感分析中的一个基本步骤，其准确性直接影响后续处理效果。在大规模数据集上预训练的视觉基础模型（VFM）具有较强的迁移潜力。然而，由于自然图像与遥感图像之间存在较大的领域差异，包括观测几何、空间分辨率和物体尺度等方面的差异，直接将这些模型应用于云分割任务通常会导致性能不佳。为了解决这个问题，我们提出了DinoCloudNet，该模型基于经过冻结处理的DINOv3主干网络构建，并引入了两个关键模块：高效通道注意力空间感知模块（ECA-SPM）和多尺度全局-局部特征融合适配器（MGFF Adapter）。DinoCloudNet采用了双分支设计：冻结的主干网络用于提取全局语义信息，而并行的ECA-SPM分支则负责捕捉具有边缘感知能力的多尺度局部空间细节。MGFF Adapter能够自适应地对齐并融合两个分支中的多尺度信息，并将这些融合特征注入主干网络的选定层中。这种参数高效的方法能够在保留冻结主干网络强大泛化能力的同时，有效地适应云分割任务，从而提高分割准确性。实验结果表明，DinoCloudNet在多种云分割基准测试中表现出竞争力强的性能，超过了大多数现有方法。其在不同的卫星平台、传感器系列和地形覆盖条件下均保持了一致的优异性能，证明了所提出方法的有效性和泛化能力。