融合地理上下文与语义信息的遥感细粒度船舶分类多模态框架GeoMF

《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》:GeoMF: A Geographic Context-Aware Multimodal Framework for Fine-Grained Ship Classification

【字体: 大 中 小 】 时间:2026年09月23日 来源:IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing 6.3

编辑推荐:

   细粒度船舶分类在高空间分辨率遥感影像中仍具有挑战性,原因在于类间差异细微、视觉相似性强以及环境条件复杂。地理上下文提供了有价值的辅助线索,能够显著提升特定区域场景中的船舶识别性能。本文提出了一种地理多模态框架GeoMF,融合视觉外观、地理元数据和语义信息,用于细粒度船舶分类。

  细粒度船舶分类在高空间分辨率遥感影像中仍具有挑战性,原因在于类间差异细微、视觉相似性强以及环境条件复杂。地理上下文提供了有价值的辅助线索,能够显著提升特定区域场景中的船舶识别性能。本文提出了一种地理多模态框架GeoMF,融合视觉外观、地理元数据和语义信息,用于细粒度船舶分类。具体而言,设计了一种区域感知位置编码(RegionPE),通过多层级地理描述符来建模船舶与区域之间的空间关系,从而有效利用地理上下文信息。为进一步丰富特征表示,采用视觉-语言模型(VLM)生成结构化语义属性,并通过基于图的语义相关性模块(GSCM)对其进行优化,以捕捉船舶特征之间的相关性。此外,引入层次自适应融合模块(HAFM),自适应地融合视觉、地理和语义表示。在GeoShip基准上的实验结果表明,地理上下文带来了最大的性能提升,而语义信息提供了持续有效的互补改善。在11个船舶类别上的港口隔离评估进一步证明了在跨港口设置下鲁棒性的提升,尽管受数据集限制,该验证仅局限于有限的类别子集。这些发现凸显了地理感知多模态学习的有效性,并展示了在遥感影像细粒度船舶分类中引入语义先验的价值。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号