用于领域自适应开放词汇分割的测试时优化

《Neural Networks》：Test-time optimization for domain adaptive open vocabulary segmentation

　　

• •
  面向专业领域任务的零样本开放词汇语义分割（OVSS）测试时优化框架。
• •
  新颖的提示调优策略，包含适用于语义分割等密集任务的损失函数。
• •
  针对分割任务定制的自动化视觉属性生成与特征选择技术。

引言

开放词汇语义分割（OVSS）涉及将图像中的每个像素分类到以自然语言形式给出的任意数量的类别中。近期工作利用对比视觉-语言模型（VLMs）（Jia, Yang, Xia, Chen, Parekh, Pham, Le, Sung, Li, Duerig, 2021, Radford, Kim, Hallacy, Ramesh, Goh, Agarwal, Sastry, Askell, Mishkin, Clark, et al., 2021）构建了强大的OVSS模型（Cho, Shin, Hong, An, Lee, Arnab, Seo, Kim, 2024, Lan, Chen, Ke, Wang, Feng, Zhang, 2024, Liang, Wu, Dai, Li, Zhao, Zhang, Zhang, Vajda, Marculescu, 2023, Ranasinghe, McKinzie, Ravi, Yang, Toshev, Shlens, 2023, Wysoczańska, Siméoni, Ramamonjisoa, Bursuc, Trzciński, Pérez, 2024, Xu, Zhang, Wei, Hu, Bai, 2023），能够在零样本设置下对广泛的自然图像进行分割。然而，这些模型在高度专业化领域的任务（例如医学、工程、农业）中表现不佳，效果逊于其有监督方法（Blumenstiel et al., 2023）。此类任务的性质使得完全有监督的方法额外昂贵（例如，仅受过高度专业训练的人员才能标注某些医学领域图像）。这凸显了能够在零样本设置下准确应对这些任务的OVSS方法的重要性。

这些任务通常涉及视觉和文本两种模态的剧烈偏移，例如图像可能来自电磁或多光谱来源，或类别名称可能涉及科学或技术术语。我们将这些领域中零样本方法与有监督方法之间的差距归因于这些因素。零样本方法基于可能不熟悉此类域外概念的VLMs。在开放词汇分类中，一些近期工作通过各种测试时优化策略在保留零样本能力的同时弥合了这一差距（Abdul Samadh, Gani, Hussein, Khattak, Naseer, Shahbaz Khan, Khan, 2023, Chiquier, Mall, & Vondrick, Li, Savarese, Hoi, 2023, Menon, Vondrick, 2023, Ozturk, Prabhushankar, & AlRegib, Shu, Nie, Huang, Yu, Goldstein, Anandkumar, Xiao, 2022）。然而，分类任务每张图像仅涉及一个不同的类别（或概念）需要识别。相比之下，分割任务每张图像可能涉及多个类别，每个像素必须被分类到这些不同类别中（见图1），这限制了上述思想的直接应用。事实上，OVSS的测试时优化仍相对较少被探索。

受这些发现启发，我们提出了一种面向OVSS的测试时优化框架。涉及专业领域的分割任务（例如地球监测、医学科学或农业与生物学）需要对语言模态中的新类别进行理解，并侧重于生成多类别像素级输出。这要求视觉特征保留局部性和空间结构，如图1所示。例如，参考图1左侧列，蓝色类别的视觉特征必须避免影响附近周围特征。破坏局部性和结构可能导致错误预测（例如图1中的第3行）。

因此，在采用预训练特征处理给定样本时，我们使用专门设计的损失函数、可学习嵌入和特征聚合来保留这种空间结构和不同概念之间的分离。我们提出了一种自监督目标来衡量表示对OVSS任务的适用性。我们的目标计算跨模态特征相似性，并将适用性估计为特征熵和基于伪标签的交叉熵度量的组合。我们计算像素级损失后进行局部性感知的视觉特征聚合以保留空间结构，并进行按类别的文本嵌入更新以更好地区分不同概念特征。

重新审视专业领域任务的性质，我们注意到预训练特征可能对某些概念不熟悉（例如图3中的"纵隔"）。在此，我们进一步利用描述不同视觉属性的类别描述来增强文本特征。我们使用已知包含广泛世界知识的大语言模型（LLMs）（Yu et al., 2024）来生成这些类别属性描述。在测试时，我们利用模型潜在空间中的相似度度量对这些属性进行过滤，以测试时样本为条件。这提供了与其他类别相区别且与测试时样本相关的文本表示。

然后我们使用这些修改后的表示完全在零样本设置下为OVSS任务生成分割结果。我们将所得框架命名为Seg-TTO。我们总结主要贡献如下：

• •
  面向专业领域任务的零样本开放词汇语义分割（OVSS）测试时优化框架。
• •
  新颖的提示调优策略，包含适用于语义分割等密集任务的损失函数。
• •
  针对分割任务定制的自动化视觉属性生成与特征选择技术。

我们提出的Seg-TTO框架是一种即插即用方法，可提升现有OVSS模型的域外性能。我们在多个最先进的OVSS方法上集成Seg-TTO，并在涵盖多个领域（例如医学、农业、地球监测）和视觉模态（可见光谱、电磁、多光谱）的22个分割数据集上进行评估，确立了Seg-TTO框架的最先进性能。

章节摘要

相关工作

零样本分割：对比视觉-语言模型（Jia, Yang, Xia, Chen, Parekh, Pham, Le, Sung, Li, Duerig, 2021, Radford, Kim, Hallacy, Ramesh, Goh, Agarwal, Sastry, Askell, Mishkin, Clark, et al., 2021）在开放词汇语义分割（OVSS）任务中驱动了强大的零样本性能（Cho, Shin, Hong, An, Lee, Arnab, Seo, Kim, 2024, Liang, Wu, Dai, Li, Zhao, Zhang, Zhang, Vajda, Marculescu, 2023, Xu, Zhang, Wei, Hu, Bai, 2023），并使模型能够从

方法

在本节中，我们介绍了面向专业领域OVSS任务的Seg-TTO框架。给定一个具备OVSS能力的现有模型，我们的目标是通过测试时优化将其表示适应到专业领域。在分类任务中，提示调优和特征选择技术已被证明即使在测试时也能有效地调整模型表示（Jia, Tang, Chen, Cardie, Belongie, Hariharan, & Lim, Ozturk, Prabhushankar, & AlRegib, Shang, Ryoo, 2023, Shu,

实验

在本节中，我们首先描述实验设置和实现细节。然后我们呈现了在MESS基准（Blumenstiel et al., 2023）中22个专业领域数据集上的评估结果，与先前工作进行比较，以确立Seg-TTO框架的最先进性能。最后，我们讨论消融研究，突出实现中每个设计决策的贡献。

实现细节：我们的框架使用 $p=5$ 作为提示数量，$m=64$ 作为

结论

在本工作中，我们引入了Seg-TTO，一种新颖的测试时优化框架，用于增强开放词汇语义分割（OVSS），特别是在高度专业化的领域。我们通过利用自监督目标、LLM增强的文本属性、可学习文本嵌入和保留局部性的特征聚合技术来解决视觉和文本模态中的领域偏移挑战。通过以任务类别为条件在测试时

CRediT作者贡献声明

Ulindu De Silva：撰写——审阅与编辑，撰写——初稿，可视化，验证，软件，方法论，调查研究，形式化分析。 Didula Samaraweera：可视化，验证，软件，方法论，调查研究，形式化分析。 Sasini Wanigathunga：撰写——审阅与编辑，撰写——初稿，可视化，验证，软件，资源，方法论，调查研究，形式化分析。 Kavindu Kariyawasam：可视化，验证，软件，方法论，

利益冲突声明

作者声明不存在已知的竞争经济利益或个人关系，这些利益或关系可能影响本文所述工作。 _th

Ulindu De Silva|Didula Samaraweera|Sasini Wanigathunga|Kavindu Kariyawasam|Kanchana Ranasinghe|Muzammal Naseer|Ranga Rodrigo