MODdapter：用于零样本语义分割的空间感知文本嵌入

《Neural Networks》：MODdapter: Spatially-Aware Text Embeddings for Zero-Shot Semantic Segmentation

　　

• •
  我们提出了一种多模态适配器（Multimodal Adapter），将空间感知能力注入文本嵌入中，通过特征空间中的双空间视觉-语言对齐，实现了对多个未见对象进行细粒度识别与区分。
• •
  我们设计了一种PID损失函数，利用比例、积分和微分三种分量的联合约束来确保双空间视觉-语言对齐，实现对未见目标的细粒度识别。
• •
  我们的方法显著优于现有最先进的方法，在PASCAL-5ⁱ和COCO-20ⁱ数据集上分别取得了2.5%和6.9%的mIoU大幅提升。

引言

传统语义分割的性能高度依赖于大规模像素级标注的可用性（Badrinarayanan, Kendall, Cipolla, 2017, Saeedizadeh, Jalali, Khan, Mohamed, 2026, Yu, Lou, Zhao, Zhang, Mei, 2026, Zhang, Dana, Shi, Zhang, Wang, Tyagi, Agrawal, 2018, Zhang, Chen, Zhou, Chan, 2024），但生成此类标注的高成本限制了其可获取性。此外，经典语义分割模型（Long et al., 2015）是为封闭集场景设计的，在涉及未见对象的开放世界场景中往往表现欠佳。这些局限性激发了人们对零样本语义分割（He, Ding, Jiang, 2023, Jiang, He, Zhu, Wang, Liu, 2025, Liu, Gao, Han, Liu, Shao, 2022a, Song, Shang, Zhou, Liu, Ma, Li, Sun, 2024, Zheng, Wu, Qin, Zhang, Cui, 2021）作为有前景的研究领域的兴趣。

语义引导对于零样本任务至关重要，其中文本信息作为先验知识来指导视觉数据的解释。视觉-语言模型（VLMs）如CLIP（Radford et al., 2021）和DenseCLIP（Rao et al., 2022）的集成推动了零样本分割的显著进展。然而，诸如SAM（Kirillov et al., 2023）等依赖大量丰富标注数据进行训练的性能模型，在面对未见对象时仍然表现乏力（Ji, Fan, Xu, Cheng, Zhou, & Van Gool, Wu, Jia, Yuan, 2025）。在开放世界场景中，多模态对齐的微妙平衡被打乱，导致难以准确分割未见对象。

未见对象可分为两类：未见目标和未见非目标。这些对象复杂多样的视觉特征往往纠缠在一起，使得模型仅凭缺乏必要细节和空间上下文的文本信息很难区分未见目标。这可能导致假阳性（过度分割：对未见非目标的过度分割）或假阴性（不足分割：对未见目标的不足分割），参见图1。

为解决这些挑战，我们提出了MODdapter，一种用于零样本分割的新型多模态适配器。与以往聚焦于类别空间和特征空间之间跨空间视觉-语言对齐的方法不同（Liu et al., 2023b），我们的方法通过从粗分割结果中提取视觉语义线索，并将这些线索作为补充文本信息进行整合，从而注入空间感知能力。这使得具有空间感知能力的文本信息能够被投影到特征空间中，促进双空间视觉-语言对齐。解决未见对象特征不对齐的关键在于模型能够自适应地为每个实例提取关键的实例前景信息并据此微调对齐，这与开放世界的理念相契合。我们通过从最初与图文对相关联的高度相似区域中提取实例前景线索来实现这一目标，并利用这些线索作为反馈，为协同微调提供具有空间感知能力的语义引导。

虽然我们在特征空间中的双空间微调策略有效减少了过度分割并改善了未见对象之间的区分度，但提取的实例线索中的显著偏差可能在映射和对齐阶段引起振荡，从而可能导致系统不稳定。为解决这一问题，我们引入了比例-积分-微分（PID）控制模块来调节对齐过程并确保更高的稳定性。PID模块基于这样一个原理运作：比例（P）、积分（I）和微分（D）三个控制参数的联合效应使模型能够快速响应并精确控制其预测误差。比例项迅速对当前误差做出反应并进行实时纠正；积分项解决随时间积累的误差，确保长期稳定性；而微分项则预判并调整误差变化的趋势，防止过度修正。这种平衡的方法使模型在微调过程中能够更鲁棒、更高效地学习，增强了其对未见对象的泛化能力。相比之下，仅依赖BCE损失往往会对瞬时误差过度反应，而未考虑累积的历史误差，这可能导致过度修正。因此，PID控制机制提供了更为稳定有效的学习过程。

我们的方法已在标准的零样本语义分割数据集上进行了严格评估，并持续优于现有方法。如图1所示，我们的方法有效减少了过度分割，并实现了不同未见目标之间的细粒度区分。总之，我们的贡献有三方面：

• 1.
  我们提出了一种多模态适配器，将空间感知能力注入文本嵌入中，通过特征空间中的双空间视觉-语言对齐，实现了对多个未见对象进行细粒度识别与区分。
• 2.
  我们设计了一种PID损失函数，利用比例、积分和微分三种分量的联合约束来确保双空间视觉-语言对齐，实现对未见目标的细粒度识别。
• 3.
  我们的方法显著优于现有最先进的方法，在PASCAL-5ⁱ和COCO-20ⁱ数据集上分别取得了2.5%和6.9%的mIoU大幅提升。

章节摘要

零样本语义分割

为应对数据稀缺导致的稀有类别识别性能受限的问题，无监督学习（Chen, Dong, Chen, 2021, Chen, Zhang, 2019, Hahn, Reich, Araslanov, Cremers, Rupprecht, Roth, 2025, Li, Zheng, Gao, Han, Li, Chanussot, 2025, Li, Zheng, Gao, Ni, Huang, Chanussot, 2024a）试图通过挖掘数据的内在结构来赋予模型识别此类类别的能力。然而，其学到的表示往往缺乏清晰的语义

问题定义

零样本语义分割旨在使模型能够在开放世界中为未见对象执行高性能的密集预测。具体而言，数据集被划分为不相交的训练集 $D_{\text{train}}=\left\{(I,M,C_{\text{train}})\right\}$ 和测试集 $D_{\text{test}}=\left\{(I,M,C_{\text{test}})\right\}$，其中 I 和 M 分别表示输入图像及其对应的掩码，C 表示对应的目标对象类别。为更严格地评估模型的泛化能力，这两个集合严格互斥

数据集与评估指标

我们在两个广泛使用的零样本分割（ZS3）数据集上评估了我们的模型：PASCAL-5ⁱ（Shaban et al., 2017）和COCO-20ⁱ（Nguyen and Todorovic, 2019）。PASCAL-5ⁱ由PASCAL VOC 2012（Everingham et al., 2015）扩展SBD（Hariharan et al., 2011）而成，共包含20个类别，分为四个子集：5⁰、5¹、5²和5³。COCO-20ⁱ是基于MS COCO（Lin et al., 2014）的更具挑战性的数据集，包含80个类别，分为四个子集：20⁰、20¹、20²和20³。在实验中

结论、局限性与未来工作

本文探索了视觉-语言模型在零样本语义分割任务中的未挖掘潜力。我们提出了多模态适配器PID模型，以解决零样本分割中对未见对象感知不足的关键挑战。据我们所知，这是首次将空间感知能力注入文本嵌入并在VLM微调中应用PID控制的工作。在ZS3基准上的大量实验证明了该方法的有效性和

CRediT作者贡献声明

方家翔：撰写—初稿、项目管理、方法论、调查研究、形式分析、数据整理、概念构思。马世强：撰写—审阅与编辑、撰写—初稿、指导、调查研究、概念构思。王晶：指导、方法论、形式分析。何升峰：撰写—审阅与编辑、指导、概念构思。国飞：撰写—审阅与编辑、指导、获取资金、概念构思。

利益冲突声明

作者声明不存在可能影响本文报告工作的已知经济利益冲突或个人关系。

致谢

本工作得到了国家自然科学基金（批准号：62322215、62532017和62402488）以及湖南省自然科学基金（批准号：2026JJ30018）的资助。

方家翔|马世强|王晶|何升峰|国飞