UniRS-Seg:通过共享查询条件解码器统一遥感语义分割与指代分割

《Remote Sensing》:UniRS-Seg: Shared Sparse–Dense Query Decoding for Joint Semantic and Referring Remote Sensing Segmentation

【字体: 大 中 小 】 时间:2026年10月25日 来源:Remote Sensing 4.3

编辑推荐:

   摘要

  

摘要

遥感语义分割与指代分割共享掩码几何结构,但区别在于输出是由类别词汇还是自然语言描述来选择的。UniRS-Seg 通过共享的稀疏–稠密查询编译器和层次化掩码解码器来桥接这些接口,并在独立标注的数据集上联合训练。类别名称和指代表达式从 SigLIP 2 投影到同一解码器空间;稠密图像–查询激活提供空间支撑,而稀疏查询令牌指定所需的区域。经过适配的 SAM ViT-B 路径和并行卷积特征恢复局部几何结构,可学习的软掩码交叉注意力优化了两个任务,类别平衡的掩码引导自注意力则支持语义解析。UniRS-Seg 在 LoveDA、Vaihingen 和 Potsdam 上分别达到 57.30%、85.31% 和 88.24% 的 mIoU,在 RefSegRS 和 RRSIS-D 上分别达到 78.18% 和 70.88% 的 gIoU。这些得分分别超过所列最强基线平均值 0.68、0.99、1.18、0.79 和 1.71 个百分点。与单独训练的纯语义和纯指代版本的共享架构相比,联合训练使四个评估数据集的性能分别提升了 0.45、0.89、1.40 和 0.97 分。额外的监督式 RISBench 评估达到了 72.91% 的 gIoU 和 74.85% 的 cIoU,在所列方法中拥有最高的 gIoU。在 RefSegRS 上,将可学习的掩码交叉注意力添加到组合的稀疏与稠密提示中,使 gIoU 提高了 0.86 分。结果表明,通过共享的查询条件解码器可实现监督式双任务迁移;该比较使用了已发布的基线结果,并未证明对未见领域或零样本的泛化能力。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号