SOVS-Net：基于跨模态对齐与层次语义推理的SAR影像开放词汇分割

《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》：SOVS-Net: open-vocabulary segmentation for SAR imagery via cross-modal alignment and hierarchical semantic reasoning

　　

摘要

语义分割是地球观测中的一项基础任务。然而，现有的基于深度学习的合成孔径雷达（SAR）图像处理方法主要受限于固定的封闭集类别定义，这限制了其在多样化类别定义或数据集上的泛化能力。开放词表语义分割（OVSS）通过自然语言表示语义类别，为克服这一局限性提供了一个有前景的替代方案。基于此观察，我们提出了一种针对SAR图像的OVSS框架，称为SOVS-Net。该框架遵循编码-对齐-解码范式，通过最优传输特征门（OTFG）模块显式建立全局视觉-文本对应关系。在此基础上，多交互解码块（MIDB）与层级语义-文本对齐（HSTA）协同工作，在解码阶段逐步注入并约束语义信息。这些组件共同实现了连贯的跨模态对齐和稳健的空间结构恢复。为支持模型训练和全面评估，我们构建了SAR-OVSeg，一个包含超过50,000个图像-标签对的SAR开放词表分割标准化基准数据集，涵盖多种分辨率和地理区域。实验结果表明，SOVS-Net在SAR-OVSeg上优于封闭集分割模型和现有的开放词表方法，mIoU达到53.97%。此外，SOVS-Net在具有挑战性的开放词表设置下表现出强大的泛化能力，在未见类别和未见数据集评估中分别取得了46.58%和35.22%的最高平均mIoU值。这些结果表明，SOVS-Net为SAR图像的语言驱动语义理解提供了一个实用且可扩展的解决方案。代码和数据集可用性详情见https://github.com/CAESAR-Radi/SOVS-Net。

引言

合成孔径雷达（SAR）图像的语义分割在广泛的地球观测应用中发挥着关键作用，包括环境监测、土地覆盖制图和灾害评估（Asadi等，2025；Wang等，2022；Wu等，2021）。近年来，基于学习的方法在SAR图像分割方面取得了显著进展（Henry等，2018；Li等，2023；Yue等，2020；Zheng等，2024）。然而，由于SAR成像固有的复杂雷达回波特性、传感器配置多样性和高质量像素级标注的稀缺性，现有方法主要在预定义且固定的类别标签集下训练。这种封闭集语义分割（CSSS）给模型在新地理区域、不同成像条件或之前未见语义类别中保持稳定的分割性能带来了重大挑战，最终限制了其泛化能力和适应性。

为了在复杂场景中增强模型泛化能力并减少对重复训练的依赖，最近的研究越来越多地探索先进的表征学习范式，例如自监督学习（SSL）和基于大规模预训练模型的迁移学习（Dong等，2024；Fan等，2023；Pu等，2025）。这些方法旨在利用大规模无标注数据来提高鲁棒性和跨场景可迁移性。这一趋势也反映了基础模型在表征学习和语义解释中日益增长的作用（Lu等，2025）。尽管预训练骨干网络具有强大的特征建模能力，但其在下游语义分割任务中的性能增益在微调后往往受到限制（Yin等，2025）。这一局限在很大程度上源于预定义且封闭集的类别系统仍然制约着下游的适应性。这种密集的监督往往使模型过拟合于有限的标注样本，并部分抑制了预训练期间获得的通用语义表征。因此，当模型部署在新的应用场景中时，分割性能可能会下降，从而限制了其实际适用性。

视觉-语言模型（VLMs）（Jia等，2021；Radford等，2021；Zhai等，2023）的出现使一种新范式——开放词表语义分割（OVSS）（Liang等，2023；J. Xu等，2022）——成为可能，以缓解这种语义刚性。OVSS旨在通过利用VLMs在共享嵌入空间中对齐视觉和文本表征的能力，实现基于自然语言提示的像素级分割。与传统的CSSS相比，它提供了一种更灵活的语义解释框架，能够超越预定义类别系统，并提高处理多样化类别描述的能力（Ye等，2025）。

然而，将OVSS范式直接迁移到SAR领域面临独特挑战。与自然图像不同，语义概念通常直接对应可观察的外观特征，而SAR图像主要反映电磁散射特性。这种固有的模态差距加剧了跨模态对齐的难度，使模型在将SAR像素响应映射到文本语义的过程中容易出现语义歧义和虚假激活。此外，SAR OVSS任务缺乏标准化基准数据集，进一步限制了模型在跨模态监督下学习鲁棒语义对应关系的能力。因此，本研究并非简单地复制为自然图像开发的OVSS设置，而是在SAR数据背景下系统性地重新审视跨模态对齐问题。SAR OVSS的核心问题在于，在显著模态差异和有限标注数据条件下，如何可靠地将像素级SAR表征与自然语言描述的语义概念相关联。

为解决上述挑战，本研究提出了一种专为SAR场景设计的OVSS框架，称为SOVS-Net（SAR开放词表分割网络）。该方法通过引入跨模态交互机制和层级语义约束，旨在促进SAR表征与自然语言语义之间稳定且具泛化性的对齐。具体而言，SOVS-Net通过最优传输特征门（OTFG）显式建模视觉和文本嵌入之间的全局对应关系，从而缓解由类间竞争引起的不稳定响应。此外，多交互解码块（MIDB）与层级语义-文本对齐（HSTA）的组合促进了文本定义的原型空间内解码阶段之间的语义一致性，有助于多尺度连贯空间解码。为支持模型训练并建立统一的实验基准，本研究引入了一个面向SAR语义分割的开放词表数据集，称为SAR-OVSeg。该数据集整合了来自多个来源的图像样本，具有多样的空间分辨率和代表性的土地覆盖类别，并为OVSS提供了和谐的语义分类体系。在标准化基准测试、消融分析和泛化设置上的广泛实验证明了SOVS-Net在提高语义对齐和保持多种SAR场景中鲁棒性能方面的有效性。

本研究的主要贡献总结如下：

（1）我们提出了SOVS-Net，一个专为SAR图像设计的OVSS框架，能够实现由自然语言提示引导的像素级语义解析。

（2）所提出的框架纳入了全局跨模态对应关系建模和层级语义约束机制，有效增强了SAR OVSS中的对齐稳定性和结构一致性。

（3）引入统一的面向任务的SAR OVSS基准数据集SAR-OVSeg，为该任务的模型开发和评估建立了标准化数据基础。

本文其余部分组织如下：第2节综述相关工作及SAR OVSS面临的挑战。第3节描述所提出的SOVS-Net框架的细节。第4节介绍SAR-OVSeg数据集并报告实验设置、结果和分析。第5节讨论本研究的意义和局限性。第6节对全文进行总结。

相关工作

从标签建模的角度来看，现有的语义分割方法大致可分为两类：CSSS和OVSS。CSSS依赖于训练和推理阶段共用的固定且预定义的类别集。相比之下，OVSS引入自然语言作为语义接口，使模型能够在文本语义空间内进行条件推理，从而缓解固定类别系统带来的约束。考虑到本工作的重点...

SOVS-Net的总体框架

SAR OVSS旨在将SAR图像中的每个像素映射到对应的语义类别集合。形式化地，给定SAR图像Img∈R^(H×W)和通过文本提示定义的语义类别集合Cls={Text_i}_{i=1}^C，模型需要预测像素级语义概率图Seg∈R^(H×W×C)。与传统CSSS不同，训练和测试阶段的类别集不要求完全重叠，即Cls_test\Cls_train≠?。在此SAR OVSS设置下，模型必须明确应对...

实验与结果

为系统评估所提方法的有效性，本节首先详细说明SAR-OVSeg的构建以及评估指标和实验设置。然后我们将SOVS-Net与几种代表性的最先进方法进行比较，通过消融实验分析关键设计组件的贡献，并进一步通过泛化实验和定性可视化检查其在更具挑战性的开放词表设置下的表现。

优势与贡献

在本研究中，我们引入了一个专为SAR图像设计的OVSS任务框架，目标是实现文本标签空间下的像素级土地覆盖识别。基于此形式化定义，我们开发了SOVS-Net并构建了SAR-OVSeg基准数据集。实验结果表明，SOVS-Net在多项指标上一致优于传统分割模型和开放词表基线方法。从方法论角度来看，这些性能提升可归因于...

结论

本研究探讨了SAR图像中的OVSS问题，旨在克服固定类别系统带来的局限性，并在文本标签空间内实现像素级土地覆盖解析。为此，我们提出了SOVS-Net，通过跨模态对齐和层级语义推理将文本语义融入分割推理过程。具体而言，引入了一种基于最优传输的对齐机制，以正则化全局响应结构之间...

CRediT作者贡献声明

蒋朝威：撰写——审阅与编辑、撰写——初稿、软件、方法论、调查研究、形式化分析、数据管理、概念化。王超：撰写——审阅与编辑、撰写——初稿、指导、项目管理、资助获取、形式化分析、概念化。李晓明：撰写——审阅与编辑、资源、调查研究、形式化分析。于涵文：撰写——审阅与编辑、验证、形式化分析。马培峰：撰写——审阅...

利益冲突声明

作者声明他们没有已知的可能影响本文所述工作的竞争性经济利益或个人关系。

致谢

本工作得到国家自然科学基金（批准号42327801）的支持。作者感谢柏林工业大学提供BigEarthNet数据集；Radiant Earth基金会提供LandCoverNet数据集；斯特拉斯堡大学提供MultiSenGE和MultiSenNA数据集；武汉大学提供WHU-OPT-SAR数据集；西南交通大学提供YESeg-OPT-SAR数据集。

蒋朝威|王超|李晓明|于涵文|马培峰|吴帆|唐逸贤|张宏