UniRS-Seg:通过共享查询条件解码器统一遥感语义分割与指代分割
《Remote Sensing》:UniRS-Seg: Shared Sparse–Dense Query Decoding for Joint Semantic and Referring Remote Sensing Segmentation
【字体:
大
中
小
】
时间:2026年10月25日
来源:Remote Sensing 4.3
摘要
遥感语义分割与指代分割共享掩码几何结构,但区别在于输出是由类别词汇还是自然语言描述来选择的。UniRS-Seg 通过共享的稀疏–稠密查询编译器和层次化掩码解码器来桥接这些接口,并在独立标注的数据集上联合训练。类别名称和指代表达式从 SigLIP 2 投影到同一解码器空间;稠密图像–查询激活提供空间支撑,而稀疏查询令牌指定所需的区域。经过适配的 SAM ViT-B 路径和并行卷积特征恢复局部几何结构,可学习的软掩码交叉注意力优化了两个任务,类别平衡的掩码引导自注意力则支持语义解析。UniRS-Seg 在 LoveDA、Vaihingen 和 Potsdam 上分别达到 57.30%、85.31% 和 88.24% 的 mIoU,在 RefSegRS 和 RRSIS-D 上分别达到 78.18% 和 70.88% 的 gIoU。这些得分分别超过所列最强基线平均值 0.68、0.99、1.18、0.79 和 1.71 个百分点。与单独训练的纯语义和纯指代版本的共享架构相比,联合训练使四个评估数据集的性能分别提升了 0.45、0.89、1.40 和 0.97 分。额外的监督式 RISBench 评估达到了 72.91% 的 gIoU 和 74.85% 的 cIoU,在所列方法中拥有最高的 gIoU。在 RefSegRS 上,将可学习的掩码交叉注意力添加到组合的稀疏与稠密提示中,使 gIoU 提高了 0.86 分。结果表明,通过共享的查询条件解码器可实现监督式双任务迁移;该比较使用了已发布的基线结果,并未证明对未见领域或零样本的泛化能力。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号