基于示例的交互式分割方法,适用于多个同类对象
《Neurocomputing》:Exemplar-guided interactive segmentation for multiple intra-class objects
【字体:
大
中
小
】
时间:2026年05月16日
来源:Neurocomputing 6.5
编辑推荐:
李坤
利物浦大学眼科学与视觉科学系,英国利物浦
摘要
交互式图像分割使用户能够以最小的交互方式与机器进行交互,从而逐步细化感兴趣目标的分割掩码。先前的研究已经证明了通过交互式分割提取单个目标掩码的出色性能。然而,现有方法往往忽略了之前交互对象的信息线索,尽管现实世界
李坤
利物浦大学眼科学与视觉科学系,英国利物浦
摘要
交互式图像分割使用户能够以最小的交互方式与机器进行交互,从而逐步细化感兴趣目标的分割掩码。先前的研究已经证明了通过交互式分割提取单个目标掩码的出色性能。然而,现有方法往往忽略了之前交互对象的信息线索,尽管现实世界场景中经常涉及同一类别的多个对象,这导致用户需要付出更多的冗余努力。为此,我们引入了一种新的交互式图像分割框架,用于处理同一图像中的多个对象。具体来说,我们的模型利用Transformer从图像中提取以交互为中心的视觉特征,并利用这些交互来获得一个令人满意的目标掩码作为示例。对于多个对象,我们提出了一个基于示例的模块来增强目标类别中对象之间的相似性学习。为了结合不同模块的关注特征,我们引入了交叉注意力块,随后是一个特征融合模块。在不同数据集上进行的广泛实验表明,我们的模型比现有方法具有更优越的性能。特别是,我们的模型将用户的劳动量减少了约15%,即对于多个对象,达到85%和90%的目标IoU只需要更少的点击次数。此外,我们在领域外场景(例如医学和遥感)中进行了实验,以验证所提出模型的有效性。这些结果进一步突显了我们模型作为灵活且实用的注释工具的潜力。代码将在发表后发布。
1. 引言
交互式图像分割(IS)是多模态融合中的一个具有挑战性的任务,它涉及基于用户交互预测类不可知的对象分割掩码。它与实例分割[1]不同,因为它结合了机器和用户之间的交互来预测像素级的目标掩码。这种渐进式机制使系统能够成为其他密集视觉任务(例如语义分割[2]和全景分割[3])以及各种下游应用(例如土地覆盖分类[4]、缺陷检测[5]和自动驾驶[6])的可靠注释工具。在过去的十年中,我们见证了深度神经网络在IS领域的快速发展和进步。这些模型支持多种用户交互格式,包括点击、涂鸦和边界框。在本文中,我们主要关注对用户来说相对方便的基于点击的方法。在标准的IS设置中,第一次点击(始终是正点击)应放在目标的中心,而其他新点击则放在模型预测错误的区域。新点击是正点击还是负点击由用户根据当前分割结果的分析来决定。通常,IS是一种基于用户提供的连续正负点击的渐进式细化方法,用于特定目标的提取。
许多工作试图从不同角度提高分割精度,例如交互模拟[11]、交互编码[12]、[13]、网络架构[9]、[14]以及局部-全局细化[15]、[16]。然而,这些模型通常一次只关注一个对象,而我们经常遇到需要注释属于特定类别的多个对象的场景。为此,需要多轮交互来逐一搜索对象,这非常耗时且冗余。以图1左为例,需要四轮仔细的交互和四次模型调用才能分割出所有的狗。这种重复且昂贵的努力限制了IS在实践中的使用,例如在图像中识别同一类别对象的各种应用,包括自动驾驶中的群体检测[17]、建筑工地上的安全帽检查[18]以及医学图像分析中的细胞识别[19]。为了区分,我们将针对单个目标的经典交互式分割称为单对象交互式分割(SOIS),而涉及同一类别中多个对象的任务称为多对象交互式分割(MOIS)。在图1右图中,我们通过使用当前的IS方法直观地展示了两种场景之间的性能差异。MOIS中的这种性能下降显著限制了当前IS方法在现实世界场景中的实际应用性,因为存在冗余交互。因此,需要探索能够利用先前注释的信息来缩短MOIS中冗余交互的方法。
下载:下载高分辨率图像(452KB)
下载:下载全尺寸图像
图1. (左)当前IS方法(红色箭头)是为单个对象设计的,需要多轮交互。我们的方法(绿色箭头)通过利用之前交互的对象来预测同一类别中的多个对象。
(右)使用COCO MVal [10]和COCO MOIS数据集,在SOIS和MOIS场景中比较当前IS模型[7]、[8]、[9]的性能,其中NoC85在第4.2节中介绍。
如何有效地利用之前交互的对象来促进同一类别中剩余对象的分割已成为MOIS中的一个关键问题。对象计数方法[20]、[21]可以用来粗略定位这些对象。它们基于模板对象预测某一类别的密度图,用于估计图像中特定对象的数量。这些方法的输出可以通过预训练模型进一步处理,以获得用于像素级预测的简化提示(例如点或边界框)。然而,这些方法不能保证密度图准确或完全识别相似对象的位置,因为它们没有结合之前交互中的关键指示信息,而这对于MOIS至关重要。另一种方法是One-Shot/Few-Shot图像分割方法[22]、[23],它们可以将之前交互中注释良好的对象视为同一图像中查询对象的支持对象/掩码对。通常,这些方法使用双分支结构:一个支持分支,从支持图像中提取类别特定信息;一个查询分支,识别查询图像中的相应区域。这种设计传递了注释信息并加强了特征连接。然而,支持分支和查询分支共享相同的视觉内容以及多个掩码选择不可避免地会导致模型在特征对齐上的混淆,从而导致次优结果。此外,缺乏交互利用也限制了少样本方法在MOIS中的性能。因此,这些依赖于预训练模型或预定义模式的替代方法在有效且准确地从之前交互的目标中提取剩余对象方面面临挑战。
为了解决这些问题,我们提出了一种新颖的基于示例的方法,以平滑地将SOIS转换为MOIS。据我们所知,我们是第一个探索基于预测和交互的先前交互对象与共享相同类别信息的剩余对象之间联系的方法。为了简洁起见,我们将之前交互的对象称为示例对象,其余的对象称为召回对象,具体细节在第3.1节中介绍。在本文中,我们设计了一个深度神经网络(称为iCMFormer++),它利用示例对象进行MOIS,这使我们的方法与上述基于地图或模板的替代方法[20]、[21]有显著区别。具体来说,在iCMFormer++模型中,我们首先采用双流Transformer架构作为骨干,能够同时表示示例对象及其交互以及带有额外交互的原始图像和召回对象。然后,我们提出了一个基于示例的模块作为目标指导,以测量示例对象与图像中潜在相似对象之间的相似性。随后,设计了一个通道嵌入融合模块来处理来自不同表示的交叉注意力特征,然后再进行分割头处理。我们在多个数据集上进行了全面实验,包括一个扩展的MOIS数据集。结果表明,我们的方法在性能上优于当前的IS方法和替代方法,显著提高了注释多个对象的交互效率。此外,一系列广泛的消融研究提供了我们模型中各个组件有效性的详细实证分析。
我们总结我们的主要贡献如下:
•据我们所知,这是第一项促进IS模型从之前交互的对象中学习同一类别中多个对象的工作。我们进一步扩展了一个现有数据集以适应MOIS,使得能够评估各种模型的性能。
•我们提出了一个新的MOIS模型iCMFormer++,其名称来源于[14]中提出的模型。与简单将MOIS视为一系列冗余单独交互的现有方法不同,iCMFormer++配备了基于示例的Transformer,以更好地利用之前交互的目标来交互式预测同一类别中多个对象的掩码。与之前的基于注意力的融合方法相比,为了更好地结合不同表示并选择潜在对象的相关特征,我们在预测掩码之前引入了一个简单但有效的特征融合模块。
•我们在不同的数据集上对我们的iCMFormer++模型进行了广泛的实验和比较,包括新扩展的数据集和两个领域外的数据集。结果表明,我们的方法具有优越性,突显了其在实际应用中的潜力。
2. 相关工作
在计算机视觉领域,大量工作涉及在不同场景下的图像分割。其中,交互式图像分割(IS)旨在利用用户的交互来预测目标的像素级掩码。在本节中,我们回顾了与我们提出的MOIS工作最相关的工作。
2.1. 交互式图像分割
交互优化和学习。早期方法侧重于交互的表示以及使用手工制作的特征(如图割[24]和水平集[25])建立优化器。DIOS[26]是第一个使用深度神经网络解决IS问题的工作。这项工作基于几种策略模拟了交互并在训练阶段固定了它们。ExtremeCut[27]提出了四个极端点(最顶部、最右侧、最底部和最左侧)来指示目标的准确边界。然而,这些方法都没有提供简单或普遍适用于用户在实际场景中标记对象的交互方式。ITIS[11]引入了一种迭代训练方案来模拟和保存交互,以加快这一过程。RITM[7]通过采用新的采样策略进一步改进了这一方案,减少了计算资源消耗。一些工作尝试通过不同的优化方法来解决IS问题。GPCIS[28]引入了一个高斯过程分类模型,为IS提供了一个概率框架。BRS(反向传播细化方案)首次在[29]中提出,作为一种优化程序,可以减少每次点击后预测掩码与输入点击图之间的差异。然后BRS在[30]中通过减少运行时间得到了改进。CFR-ICL[31]提出了级联前向细化和迭代点击损失来优化分割过程。然而,这些方法只考虑了全局视觉信息,而忽略了来自提供的交互的局部表示。为了解决这个问题,FocalClick[15]和FCFI[32]利用局部区域获得了详细的放大视角。
基于Transformer的方法。最近,一些工作利用ViTs(视觉Transformer)[33](以其在对象检测和分割方面的出色性能而闻名)来解决IS的挑战。例如,SimpleClick[8]是第一个引入ViTs的纯骨干方法用于IS。此外,iCMFormer[14]引入了一个基于Transformer的框架,以更有效地融合不同模态,整合图像特征和交互。AdaptiveClick[9]采用了一个点击感知的掩码自适应Transformer框架和自适应焦点损失来解决类内点击歧义问题。尽管这些方法在分割性能方面取得了显著改进,但它们只关注图像中的单个目标。
2.2. 多对象分割
通常,多对象图像分割旨在识别属于不同对象的像素的类别。在用户指示的交互式设置中,出现在一个图像中的对象可以属于a) 不同类别,这种情况下任务称为全图像IS;或者b) 相同类别。如果没有另外说明,我们将其称为MOIS。
一般的多对象分割。这项任务与MOIS不同,因为它不需要用户的交互。根据特征表示,这类方法可以分为三类:自上而下、自下而上和直接方法。自上而下的方法[1]首先在边界框中检测对象,然后分割这些边界框内的像素。自下而上的方法[34]采取了一种不同的方法,首先为每个像素学习嵌入,然后将相似的像素分组到不同的对象中。直接方法[35]以无框和无组的方式预测多个对象的分割结果。在本文中,我们遵循直接方法,但此外,还考虑了用户的交互(例如点击)作为输入,以实现多实例交互分割(MOIS)。据我们所知,只有少数尝试利用类别信息进行特定类别的对象分割。例如,Chen等人[36]引入了一个能量最小化框架,将基于类别的推理和形状预测结合起来。Sun等人[37]提出了一种相互指导策略和一个多实例细化模块,以在目标之间交换信息,用于人类实例分割。然而,这些方法需要高质量的参考掩码来链接目标对象与同一图像中的其他潜在候选对象之间的关系。此外,它们是为特定类别(例如人类和马)量身定制的。这种限制使得这些方法无法扩展到适用于现实世界应用的类别不可知的MOIS。
全图像分割(Full Image IS)。与一般的多个对象分割不同,这项任务考虑用户的交互,而不考虑类别信息来分割对象和背景区域。Agustsson等人[38]提出了一个基于Mask-RCNN的两阶段模型,用于对所有对象和包含极点和涂鸦的区域进行全图像分割预测。此外,DynaMITe[39]仅使用一般的点指示,并利用基于相关交互的共享图像级特征来改进这一模型。这两种方法基于一个简单的原则:对一个实例的正面交互相对地对其他实例是负面的。然而,这个假设并不完全适用于同一类别内的对象进行MOIS。我们在第3.5节中将这种对同一类别对象的点击明确称为“伪负点击”。此外,当前的全图像IS方法仅关注交互的空间位置,忽略了为其余相似对象获取的对象级信息。
多个对象IS(MOIS)。在本文中,我们关注MOIS,它涉及与之前交互过的对象共享相同类别信息的对象,而不同图像中的对象则是类别不可知的。令人惊讶的是,大多数现有的IS方法都是单独检测和分割对象的,这意味着同一类别内对象的共享相似性没有得到充分探索。与类别不可知的MOIS最相关的研究是少量样本图像分割[22]、[23],它们使用对某些类别的支持。这些方法探索了支持图像和查询图像在外观、纹理、空间分布等方面的内在关系,以分割查询图像中的相似对象。例如,VAT-HM[40]提出了一种混合特征掩蔽方法,结合了补充的输入掩蔽策略来增强细粒度空间细节的表示。然而,这些方法依赖于提供的高质量注释的支持样本集,为每个查询图像准备支持图像也非常昂贵。与图像级支持指导不同,在本文中,我们旨在探索类别信息,以减少同一图像内MOIS的冗余交互。为了实现这一目标,我们将来自目标的交互点击集合视为同一类别中多个对象的支持指导,并设计了一种有效的方法来利用这些信息来分割其余对象。
3. 方法
在本节中,我们首先阐述了交互式提取单个对象的问题,然后通过从之前交互过的对象学习,将其扩展到提取同一类别中的多个对象。关于所提出的框架,我们介绍了我们的iCMFormer++模型的主要组成部分:IS结构、示例信息模块和特征融合模块。我们进一步解释了MOIS的训练方案。
3.1. 问题阐述
重新审视SOIS。给定一个输入图像,用户需要逐步提供交互,包括正面或负面的采样像素,以指示前景或背景信息,直到IS系统预测出一个令人满意的掩码。通常,满意的掩码是指与真实值相比至少达到85% IoU的分割结果。在本文中,我们关注基于点击的IS,其中交互分别用 和 表示正面和负面的点击。经典的SOIS公式如下:
(1)
其中 和 分别代表IS系统及其参数。注意, 是可选的,因为有时仅一个正面点击就可以在没有背景指示的情况下实现高质量的分割结果。
MOIS。我们探索了一种更智能的方法,利用之前交互过的目标来分割同一类别的对象。这里引入的关键概念是将使用相同SOIS设置从图像中获得的第一个目标对象定义为示例目标(ET)。它包括对象 的掩码 和相应的点击 。因此,我们学习了一个函数 ,该函数将ET传播到 中的同一类别的对象 。在训练和推理阶段,ET的预测掩码和点击(即 和 )不再改变,召回对象的预测仍然遵循逐步添加新点击 {, } 到输入的交互方式。这种新范式表示为
(2)
其中 和 表示MOIS系统。与经典的SOIS相比,新范式从之前的交互目标学习,并且对于同一图像中的相似对象需要较少的重复劳动,使IS更加符合现实场景。
3.2. 交互式分割架构
我们在图2中展示了iCMFormer++模型的整体框架。iCMFormer++模型基于SOIS网络iCMFormer [14],但额外考虑了示例。与iCMFormer类似,对于交互编码,我们使用两个固定半径(五个像素)的圆盘图来分别表示稀疏的正面和负面点击,使得基于点的点击能够被编码为特征。我们还结合了之前的分割掩码和点击图以获得更好的性能。为了表示图像和点击,我们使用强大的plain vision transformer ViT [33]作为我们的主干网络来提取相应的特征。在提出的iCMFormer++中,我们利用ViT-Base的前六个变换器块分别表示示例和召回对象的连接数据。为了区分这两个分支,我们将它们称为示例分支和召回分支。我们将从示例分支提取的自注意力特征表示为 。同时,我们将来自示例信息模块(在第3.3节中介绍)的输出特征与来自召回分支的特征通过两层MLP集成起来,将这种组合表示称为 。随后, 和 被输入到交叉注意力块中,以实现深度交互和特征细化。交叉注意力块包括两个步骤的多头注意力:1)对 、 和 的自注意力;2)对 来自 的 和 来自 的交叉注意力。交叉注意力的一个头由下式给出:
(3)
其中 、 和 分别表示查询、键、值和键的维度。然后,它遵循一个带有ReLU激活和Dropout的前馈网络(FFN),就像标准的变换器单元一样。我们使用三个交叉注意力块,后面跟着一个特征融合模块(在第3.4节中介绍)。鉴于已经获得了不同输入的注意力特征,我们使用层次化分割头来捕获各种大小的多个对象。受到ViT-Det [41]的启发,我们利用简单的MLP层来处理ViT的平面特征,这包括:统一融合模块最终输出的通道维度;上采样以实现一致的分辨率;通过连接融合特征;以及使用Sigmoid激活生成最终的分割预测。在上采样到原始分辨率后,目标预测的概率图被转换为具有固定阈值(通常为0.5)的二进制分割结果。
下载:下载高分辨率图像(665KB)
下载:下载全尺寸图像
图2. 整体iCMFormer++框架。之前对一个对象的交互式预测作为我们iCMFormer++模型的示例,将知识从单个对象转移到同一类别中的多个对象。具体来说,我们使用双流变换器主干网络分别从之前获得的示例和带有额外交互的原始图像中提取特征,分别对应于示例分支(绿色箭头)和召回分支(蓝色箭头)。示例信息模块旨在捕捉示例与图像中其他潜在区域之间的相似性。来自示例的特征通过MLP层与来自额外交互的特征进一步集成,然后进入交叉注意力块。最后,通道融合模块在所有剩余对象的最终分割之前处理交叉注意力特征。N1和N2表示变换器块的数量,而NFL表示归一化焦点损失。为了简洁起见,我们在这里省略了位置嵌入(PE)和上采样步骤。
3.3. 示例信息模块
对于MOIS,关键在于在类别不可知的IS框架内,有效利用类别信息对于准确预测与之前交互的目标共享相同类别的多个对象至关重要。为了解决这个问题,我们提出了一个示例信息模块(EIM),通过将示例对象与原始图像进行比较来获得相似性响应,这在接下来的交叉注意力块中突出显示了焦点。具体来说,EIM利用示例的先前类别信息来评估潜在图像区域与示例对象之间的相似性。EIM的整体结构如图3所示。它包括三个关键组成部分:特征提取、特征投影和比较以及响应激活。这里,示例对象及其原始图像 作为EIM的输入。我们首先使用预训练的ResNet [42]模型从原始图像 中提取视觉特征 ,其中 、 和 分别表示特征的高度、宽度和维度。提供了 的满意掩码 后,我们通过边界框获得裁剪的图像区域,并随后提取相应的特征,表示为 。在直接比较 和 之前,我们应用卷积层进行投影步骤以提取有效信息,从而分别获得 和 。为此,表示不同视觉内容的特征在共享空间中进行投影。我们通过特殊的卷积进行特征比较,该卷积利用 作为核来生成响应 ,如下所示:
(4)
其中 和 分别表示上述的卷积和投影步骤。为了防止模型固定在与示例对象相同的图像区域上,我们对 应用了一个归一化层。最后,在归一化后,通过一个函数 沿着示例维度获得响应激活向量:
(5)
其中 、 和 分别表示示例特征的形状。我们利用响应激活向量作为交叉注意力块中的指导信号。受到[43]中提出的可学习查询的启发,我们将 作为引导查询与召回分支的查询合并,以关注相似的补丁。
下载:下载高分辨率图像(155KB)
下载:下载全尺寸图像
图3. 提出的示例信息模块(EIM)的架构。使用预训练的ResNet [42]作为视觉表示的提取器。Conv核通过将投影特征与 的核进行卷积来获得逐点特征比较。通过归一化层,EIM输出响应激活向量,表示为 。
3.4. 特征融合模块
鉴于通过自注意力获得的大接收场和通过交叉注意力(如第3.2节所讨论的)促进的广泛信息交换,在分割头之前需要特征融合,以确保最终预测的准确性。以前的方法(例如iCMFormer [14])直接结合了几个自注意力块来进一步处理和融合逐元素求和的特征。然而,对于MOIS,主要关注应在示例的指导下细化潜在对象的召回预测。此外,由于需要快速响应,必须在IS中考虑计算复杂性。为了增强交互式召回细化中的对应关系并提高预测质量,我们提出了一个简单高效的通道嵌入融合模块来集成注意力特征,如图4所示。具体来说,我们首先结合了来自示例和召回分支的连接特征,然后是卷积层。为了利用周围区域,我们应用了深度卷积层,接着是卷积层。受到ResNet [42]架构的启发,我们添加了一个跳跃连接结构与卷积层,以获得最终的融合特征,表示为 。通道融合模块有效地整合了来自不同分支的表示,同时保留了分割剩余对象所需的区别。此外,它通过使用较少的参数(仅296万)来最小化计算复杂性,这些参数仅占之前方法中采用的自注意力块参数的约10%。下载:下载高分辨率图像(91KB)下载:下载全尺寸图像图4. 所提出的通道嵌入融合模块的示意图。我们将来自示例分支和召回分支的交叉注意力特征输入该模块,分别表示为 和 。DWConv表示深度卷积层。该模块在最终的分割头之前输出融合特征。3.5. 训练方案与语义分割不同,IS需要在训练阶段反映用户的兴趣。然而,为每个样本收集交互信息成本过高,而且使用这些动态交互信息训练模型所需的巨大内存使得这更加不可行。我们遵循经典的IS方法(例如RITM [7]),通过交互模拟来生成下一个点击,该点击是在应用形态学侵蚀操作后最大错误预测区域的中心生成的。在模型训练期间,我们在内存中存储三次迭代点击,但将固定中心点修改为中心点和边界点的组合,这更符合现实世界场景中的用户行为。此外,我们重新考虑了示例中的负点击在MOIS中的变化角色。对于经典的IS方法,正点击和负点击有明确的区分,分别表示单个目标和背景。然而,在处理基于满意示例的多个对象时,由于目标从单个对象变为同一类别的多个对象,负点击已经发生了变化。具体来说,在MOIS中,发生在属于与示例对象相同类别的其他对象区域内的负点击应被视为正点击。我们将这些负点击称为伪负点击,表示它们仅用于反映与示例之前的交互。为了区分特定于示例的负点击和多个对象中的负点击,我们通过从所有负点击中排除伪负点击来获得真正负点击。为此,这些示例的真正负点击不会与同一图像中召回对象的负点击冲突。我们在第4.5.3节进行了消融实验,以分析各种点击的影响。4. 实验4.1. 数据集为了评估所提出的iCMFormer++模型的有效性,我们将其性能与现有IS方法在多个数据集上进行了比较。在这里,我们介绍了这些数据集的详细属性以及专门用于MOIS任务的COCO MOIS数据集的扩展过程。4.1.1. 现有数据集根据最近的研究[7]、[8],IS模型主要在SBD [44]和COCO [10] + LVIS [45]数据集上进行训练。SBD分为两个子集用于对象分割任务(训练:8498张图像和20,172个实例,验证:2857张图像和6671个实例)。COCO + LVIS是一个包含118K张图像和120万个实例的组合数据集,具有更高的注释质量。对于MOIS,除了我们在第4.1.2节中介绍的扩展数据集外,我们还使用了来自人类编辑领域的HIM2K [37]数据集。该数据集由两个子集组成:合成图像和自然图像。我们选择了自然图像子集作为MOIS的评估数据集之一。它包含320张图像和830个人物,每张图像包含2到10个人物的掩码注释。在评估给定图像时,我们随机选择一个人物及其对应的掩码作为其余人物的示例目标。请注意,HIM2K数据集仅用于评估MOIS模型,没有进行任何领域微调。4.1.2. 扩展数据集COCO MOIS目前缺乏专门用于评估MOIS任务效果的大规模数据集。因此,我们通过构建COCO 2017数据集[10]上的掩码和点击来引入一个新的数据集COCO MOIS。COCO是一个包含80个不同类别的像素级注释的综合性数据集。我们将之前的注释转换为包含图像、随机选择的单个带掩码的物体和模拟交互的三元组。请注意,我们没有使用真实用户的交互示例作为之前交互的对象,原因有两个:(1)收集真实交互示例的成本很高;(2)在COCO数据集中实现多个对象的20次点击内的目标IoU具有挑战性,导致掩码不令人满意。因此,我们根据DIOS [26]中提出的随机策略自动模拟了点击。我们将一个示例的总点击次数(包括正面和负面点击)限制在1到20之间的随机值范围内。算法1详细说明了COCO MOIS数据集的构建过程。对于同一图像,如果对象属于不同的类别,则 和 是不同的样本。这导致从76,110张图像中获得了111,362个训练样本,从3249张图像中获得了4,777个验证样本,每个样本平均包含3.98个目标对象。该数据集将用于未来的研究目的。算法1 COCO MOIS的构建4.2. 评估指标和策略根据交互分割文献[7]、[8]、[15]、[46]中建立的评估协议,我们采用了自动化模拟策略来生成点击,以确保公平和可重复的定量比较。虽然我们认识到现实世界场景中的人类交互可能是主观的或次优的,但模拟作为客观跨模型比较的金标准。我们采用了手动和自动推理来定性评估真实结果。广泛使用的评估指标包括NoC(点击次数)、NoF(失败次数)和mIoU(平均交并比)。NoC & NoF。NoC评估用户在最大点击次数内达到某个IoU阈值的努力。NoF表示模型在最大点击轮次后未能达到设定目标IoU的实例数量,表明了方法的稳定性。对于MOIS的评估,由于同一类别中的多个对象来自同一图像,我们将NoF扩展为NoFI(失败图像数量),从图像的角度描述了整体交互努力。我们设置了两个IoU阈值(85%和90%)和最大20次点击,与之前的研究[7]、[26]、[30]一致。NoC、NoF和NoFI越低,越好。mIoU。除了评估交互努力外,分割性能对于IS也很重要。我们采用mIoU来衡量分割质量。对于没有进一步额外点击的自动模型,我们将预测的掩码与真实掩码进行比较以计算mIoU。另一方面,对于交互模型,mIoU是根据提供的点击计算的。为了区分MOIS和SOIS,我们使用mIoU来表示基于之前交互对象的额外点击的分割质量。mIoU和mIoU的值越高越好。4.3. 实施细节所有实验都在配备两个NVIDIA A40 GPU的PyTorch平台上实现。对于不同的主干网络,包括ViT [33]和ResNet [42],我们使用了它们官方仓库中的ImageNet [47]预训练模型。我们保留了主干网络的原始超参数。不同大小的图像被裁剪并调整大小到像素。对于模型训练,我们采用了几种数据增强策略:随机翻转、旋转、裁剪以及从0.75到1.25的随机缩放。我们采用了Adam优化器[48]和作为损失函数的正常化焦点损失(NFL)[49],遵循最近的研究[7]、[15]。我们将所有比较模型的批量大小设置为24。我们在扩展的COCO MOIS数据集上训练iCMFormer++模型105个周期,初始学习率为0.00005,在第50个周期后将其降低10倍。对于示例的点击采样,我们遵循DIOS [26]中的超参数,例如两次点击之间的最小距离(40像素)和与对象边界的距离(20像素)。对于从其满意掩码转换的示例的图像区域,我们使用了多个比例{0.8, 1, 1.2}来设置边界框。4.4. 定量结果和比较我们首先将所提出的iCMFormer++模型与基于引入的示例的MOIS的集体交互和额外交互努力的最先进IS方法在两个数据集上进行了比较。具体来说,集体交互努力计算了在一个图像中所有共享同一类别的对象达到目标IoU的平均NoC。之前的模型使用经典的交互方式,忽略了所有目标对象的类别信息。我们的iCMFormer++采用了iCMFormer [14]来预测每张图像中随机选择的对象的示例。由于示例可能需要多次点击才能获得满意的掩码(在这种情况下为85%的IoU),我们将最大点击次数限制为五次,并且如果下一次点击的IoU改善不到1%,则停止添加更多点击。为了更明确地分析示例带来的性能提升,额外交互努力计算了额外的平均NoC和NoFI,为所有比较模型提供了之前的掩码作为示例。在这种评估设置中,我们在COCO MOIS上重新训练了其他模型,向它们提供了包含掩码和模拟点击的真实示例。请注意,我们将NoC85和NoC90的最大点击次数设置为20次,与之前的研究[7]、[26]、[50]一致。集体交互努力的结果在表1中报告。我们的iCMFormer++取得了显著优于其他模型的结果,并且在COCO MOIS上将NoC85和NoC90的点击次数减少了两次。即使结合了COCO + LVIS数据集,其规模也相当大。在相对较小且较简单的数据集HIM2K上,iCMFormer++分别需要2.03次和2.75次点击才能达到NoC85和NoC90,略低于CPlot。我们假设iCMFormer++的性能受到主要关注示例的交互的阻碍,因为它将大部分初始努力用于为示例获得满意的掩码,而其他方法在HIM2K上不需要这样做。图5显示了在评估数据集上的分割性能,通过逐渐增加点击次数的平均IoU曲线来表示,支持了我们的假设。对于HIM2K,iCMFormer++从第一次点击到第二次点击以及从第二次点击到第三次点击的mIoU提升都超过了1%,突显了它在较少初始点击的情况下获得良好性能的优越性。表1. COCO MOIS和HIM2K [37]上多对象交互分割评估结果,用于集体交互努力。最佳结果以粗体显示,第二好的结果下划线标出。上下部分分别报告了基于CNN和Transformer的模型的性能。方法训练主干网络COCO MOISHIM2K数据NoC85NoC90NoC85NoC90LD [51]SBDVGG-1916.4618.786.348.15BRS [29]SBDDenseNet14.8417.734.816.03f-BRS [30]SBDResNet-10114.6217.404.665.85RITM [7]SBDHRNet-1813.3316.682.964.08RITM [7]COCO+LVISHRNet-3212.4416.133.474.58FocalClick [15]SBDHRNet-18s-S213.8717.283.934.16FocalClick [15]COCO+LVISSegF-B0-S213.0816.522.503.40FCFI [32]SBDResNet-10113.6816.942.473.80FCFI [32]COCO+LVISHRNet-1812.8516.571.982.83CCF-BC [52]SBDHRNet-1813.5116.844.476.02GPCIS [28]SBDSegF-B0-S213.7517.063.634.11SimpleClick [8]SBDViT-B13.1916.511.742.59SimpleClick [8]COCO+LVISViT-B12.5116.161.682.49DynaMITe [39]COCO+LVISSegF-B0-S212.5516.121.652.50SAM [53]SAMViT-B15.4717.084.295.33SEEM [54]COCO+LVISViT-B15.1016.444.025.11iCMFormer [14]SBDViT-B13.0516.441.752.63iCMFormer [14]COCO+LVISViT-B12.3316.011.632.41AdaptiveClick [9]SBDViT-B13.2116.471.722.60AdaptiveClick [9]COCO+LVISViT-B12.4416.101.662.53CFR-ICL [31]COCO+LVISViT-B12.5516.341.702.51CPlot [46]COCO+LVISViT-B12.1215.651.612.33iCMFormer++(我们的)COCO MOISViT-B10.3613.841.632.38下载:下载高分辨率图像(471KB)下载:下载全尺寸图像图5. 在COCO MOIS和HIM2K [37]数据集上,随着点击次数的增加,平均IoU曲线的收敛分析。较高的起点通常会导致更好的结果,因为第一次正面点击的效果更好。我们在表2中报告了额外的交互努力。iCMFormer++在两个MOIS数据集上设置了新的最佳性能。例如,iCMFormer++仅在COCO MOIS上就需要11.92次点击就能达到NoC90,比之前的结果提高了15%。此外,与其他方法相比,它在相同数量的额外点击下实现了更高的分割性能,例如在HIM2K上一次额外点击后达到了88.73%的mIoU。这个HIM2K的结果也证明了我们的猜想,即在集体交互努力的评估设置中,大部分初始努力被分配用于为示例获得满意的掩码。我们还在表中报告了MOIS的失败图像数量(NoFI)。值得注意的是,iCMFormer++ 将 COCO MOIS 数据集上的失败数量减少到了 1561 次,相比之前的 CPlot [46] 模型,它成功分割出了多 183 张图像。表 2 显示了在 COCO MOIS 和 HIM2K [37] 数据集上,iCMFormer++ 在额外交互努力和同一类别多个对象的分割性能方面的评估结果。NoFI85 和 NoFI90 分别表示在 20 次点击后,所有对象无法达到目标 IoU(85% 和 90%)的平均失败图像数量。最佳结果用粗体表示。
方法 | COCO MOIS | HIM2K |
| --- | --- | --- |
| NoC85 | mIoU10+ | 10.25 | 14.41 | 185 | 38 | 4.16% |
| RITM [7] | 2.70 | 4.03 | 154 | 4.20% |
| FocalClick [15] | 11.07 | 14.89 | 194 | 68 | 3.07% |
| SimpleClick [8] | 9.95 | 14.10 | 179 | 84 | 52% |
| iCMFormer [14] | 9.91 | 14.04 | 178 | 78 | 4.61% |
| AdaptiveClick [9] | 10.36 | 14.41 | 189 | 78 | 3.69% |
| CPlot [46] | 9.52 | 13.87 | 174 | 48 | 4.72% |
| iCMFormer++(我们的方法) | 8.47 | 11.92 | 1561 | 85.89% | 1.16 | 1.38 |
我们进一步评估了 iCMFormer++ 的分割性能,并将其与其他方法进行了比较。具体来说,我们通过逐步增加最多 20 次交互点击来自动评估我们的 iCMFormer++ 模型。为了实现从示例到召回对象的知识转移这一目标,我们考虑了两种类型的替代方法:(a) 少样本方法(例如,VAT-HM [40]);(b) 通用方法(例如,Grounded SAM [55])。对于少样本方法,我们使用示例作为支持来预测查询对象的掩码。对于通用方法,我们利用预训练模型首先确定示例的类别,然后应用语义分割来生成整个图像的掩码。结果如表 3 所示。正如第 1 节所预期的,少样本方法难以准确预测召回对象的掩码,因为它们都来自同一张图像。大规模的预训练显著帮助这些通用方法提高了召回对象的性能 [53],[55]。虽然这些替代方法在没有额外交互的情况下表现尚可(例如,少样本方法大约为 70%,通用方法为 83%),但它们仍未能达到高质量注释所需的标准。这种差异表明,虽然广泛的基础知识有助于对象定位,但它缺乏我们模型提供的特定类别的精细化。我们的框架通过将最初的交互努力转化为持久的视觉先验,确保最终的分割掩码满足实际注释工作流的高保真要求。我们还将我们的方法与最近的基础模型 SAM3 [56] 进行了比较,后者也支持使用示例作为提示以及用户交互来修改掩码。如表 4 所示,尽管我们的 iCMFormer++ 在数据规模上明显较小,但它实现了更好的分割性能,且需要的修正点击次数更少。图 6 中的平均 IoU 曲线提供了关于这一性能差距的更深入见解。在具有挑战性的 COCO MOIS 数据集上,我们的 iCMFormer++ 仅通过两次和五次额外点击就达到了与现有少样本和通用方法相当的性能。值得注意的是,通过八次额外点击,我们的模型超过了召回对象的 85% 平均 IoU 阈值,这是一个高保真标准,而其他方法未能达到。虽然通用模型 SAM3 由于其强大的零样本能力在识别相似视觉模式方面表现良好,但随着交互次数的增加,其性能趋于平稳。相比之下,我们的 iCMFormer++ 继续显著提高。这表明,尽管 SAM3 在从示例中捕获通用视觉表示方面表现出色,但它缺乏整合用户反馈的专门机制。我们的模型能够通过额外的点击不断细化掩码,显示出其捕捉用户意图的优越能力,而不仅仅依赖于预训练的视觉特征。在较简单的 HIM2K 数据集上,一次额外点击就足以使 iCMFormer++ 实现高质量的结果。
表 3. 在 COCO MOIS 和 HIM2K [37] 上与替代方法的比较,以整体 mIoU 为准。上半部分和中间部分分别报告了少样本和通用模型的性能。mIoU 分数表示我们的方法在额外 20 次点击后的最终结果。
方法 | 训练 | 背骨网络 | 数据集 |
| --- | --- | --- | --- |
| COCO MOIS | ViT-B8 | 77.25% | 78.64% |
| VAT-HM [40] | eccv22 | 170.10% | 81.02% |
| SAM [53] | iccv23 | SAMViT-B8 | 81.62% | 87.20% |
| Grounded SAM [55] | arXiv24 | SAMViT-B8 | 83.33% | 88.25% |
| iCMFormer++(我们的方法) | COCO MOIS | ViT-B8 | 77.85% | 98.29% |
表 4. 与 SAM3 [56] 在 COCO MOIS 和 HIM2K [37] 上的比较。
图 6. 我们的模型在 COCO MOIS 和 HIM2K [37] 数据集上通过不同数量额外点击所实现的平均 IoU 曲线。我们用虚线提供了少样本 [40] 和通用 [53],[56] 模型的性能作为补充参考。
4.5. 消融研究
4.5.1. 提出模块的有效性
我们定量评估了 iCMFormer++ 模型中每个模块的影响。结果总结在表 5 中。为了建立渐进式比较的基准,我们采用了基于之前 iCMFormer [14] 模型的双流架构。如第一行所示,即使提供了满意的掩码和交互,所达到的性能也仅与不使用类别信息的模型相当,如表 1 所报。第二行表明,采用先前方法中的自注意力融合仅对性能有轻微的提升。相比之下,我们首先用一个更简单的通道融合模块替换了自注意力融合,该模块旨在强调通道间的交叉注意力特征,同时减少分割头之前的冗余自计算。接下来,我们引入了提出的 EIM 来评估示例和图像区域之间的相似性,以确定潜在的关注点。如最后一行所示,我们的完整 iCMFormer++ 模型显著减少了点击次数,达到 85% IoU 所需的点击次数减少了 4.37 次,并且在额外 10 次点击后,分割性能提高了 5.40%。这些性能提升明显突显了每个提出模块在减少交互努力和增强分割性能方面的有效性。
表 5. 我们 iCMFormer++ 模型中每个模块的消融研究。所有模型都在 COCO MOIS 上进行了训练和评估。
4.5.2. 使用的输入数据的有效性
在本节中,我们报告了表 6 中使用不同输入数据对示例分支的影响。通过比较该表的前三行,我们发现交互和掩码对于从示例中学习都很重要。我们进一步评估了背景信息对 MOIS 的影响。为此,我们首先检查了使用带掩码的图像与示例分支中的原始图像的影响。具体来说,我们应用了与提出的 EIM 相同的边界框提取方法,但仅保留了最大规模的缓冲区。然后使用边界框通过重叠边界框外的区域来创建带掩码的图像。如第 4 行所示,使用带掩码的图像导致性能下降。然而,当包括负面点击时,观察到显著的改进,分别在额外五次和十次点击后,mIoU 分别提高了 0.45% 和 0.96%,如第 3 行和第 5 行所示。基于这些观察,我们得出结论,背景信息也有助于提高 MOIS 的性能。
表 6. 对 MOIS 中不同输入图像、满意掩码和先前交互使用的消融研究。
4.5.3. 各种点击的影响
除了输入数据外,我们还分析了示例分支中代表用户指导的各种点击。结果报告在表 7 中。对于正面点击,我们提供了两种变体:(a) 仅第一次点击的稀疏表示;(b) 包括所有先前正面点击的完整表示。通过比较该表的前两行,很明显,对示例分支应用所有正面点击可以减少点击次数并提高分割性能。我们推测,更多的正面点击表示更精确的聚焦图像区域。关于负面点击,如第 3.5 节所讨论的,我们进一步将它们区分为伪负面点击和真实负面点击。我们假设来自其他对象的伪负面点击可能会在区分目标和背景时误导模型。最后一行显示的结果表明,真实负面点击的有效性,这导致了分割性能的提高和所需额外点击次数的减少。
表 7. 对 MOIS 中示例分支中不同点击的消融研究。
4.5.4. 示例对推理的影响
如第 4.1.2 节所讨论的,我们根据 COCO [10] 的真实值收集了每个图像的示例,并自动转换和模拟了满意的掩码和交互。然而,模拟的交互并不总是符合用户的偏好。为了了解不同示例的影响,我们在 HIM2K [37] 上进行了消融研究。我们将来自对象真实值掩码的模拟点击称为 Simulated-Ints,遵循训练设置。还有一个变体 Automatic-Ints,指的是使用 SOIS 方法(例如,iCMFormer)生成的预测掩码和采样点击。此外,我们手动添加点击来纠正示例对象的预测,将这些点击和预测称为 Real-Ints。表 8 中报告的结果表明,应用高质量的示例掩码可以减少用户的努力并提高分割性能。例如,Simulated-Ints 和 Real-Ints 都比 Automatic-Ints 取得了更好的结果,因为从自动评估获得的预测掩码的 IoU 可能无法达到 90%。令人惊讶的是,通过真实交互获得的性能仅略优于我们的模拟交互。这些结果表明,采用的 Simulated Ints 足以指导 MOIS 的示例。
表 8. 不同示例对预测 MOIS 中召回对象影响的消融研究。
4.5.5. EIM 的骨干网络
我们进一步研究了 EIM 中特征提取器的选择。我们的 ResNet 基础 [42] 设计的一个自然替代方案是直接重用 ViT [33] 的特征。相应的结果报告在表 9 中,显示来自预训练 ResNet 的卷积特征在相似性匹配任务中更优越。我们将其归因于 ViT 在全局场景解析方面的优势,而 CNN 的局部归纳偏差在捕获示例对象的独特纹理特征方面更有效。这种架构专业化使 EIM 能够作为精确的视觉过滤器,用于召回对象,在密集的类内场景中保持高性能,因为仅使用骨干特征的相似性映射往往更加模糊。因此,基于 ResNet 的 EIM 仍然是 iCMFormer++ 的核心组件,以确保高保真交互分割所需的鲁棒性。
表 9. EIM 的骨干网络对 MOIS 的消融研究。
4.6. 模型复杂性分析
我们进行了关于参数、FLOPs 和推理速度的计算分析。在表 10 中,我们报告了在相同计算环境(NVIDIA A40 GPU 和 Intel Silver 4216 CPU)下各种模型的相应结果。然而,一些方法处理不同大小的输入图像。例如,FocalClick [15] 使用的是 256 的较小尺寸,而大多数其他方法使用的尺寸约为 448。参数数量来自它们的原始工作。推理速度是通过之前方法的每次点击的平均时间来评估的。尽管我们提出的模型需要的参数更多,但其推理速度(例如,92 毫秒)与其他模型处于同一水平,并满足实时交互的需求。因此,我们相信 iCMFormer++ 在实际应用中具有巨大潜力,为相似对象提供更高效和方便的注释,同时确保实时响应。
表 10. 关于参数、FLOPs 和推理速度的不同模型的计算比较。
图 7. 我们使用 iCMFormer++ 模型在 COCO MOIS 和 HIM2K 上的定性结果。预测多个对象的高质量掩码的挑战在不同场景中有所不同,特别是随着目标对象数量的增加。我们展示了两种常见情况和一种困难情况,其中达到目标 IoU 需要超过平均点击次数。结果表明,我们的 iCMFormer++ 可以在满意示例的帮助下获得良好的召回对象分割掩码。值得注意的是,iCMFormer++的架构可以在实际场景中减轻点击变异的影响;通过结合EIM(示例引导模型),该模型将局部点击坐标与目标类别的全局语义特征相结合。这种双源引导确保了即使在用户交互偏离物体的几何中心时,模型也能保持鲁棒性,这一点从图7中涉及不受限制的人类交互的分割结果可以得到证明。下载:下载高分辨率图像(2MB)下载:下载全尺寸图像图7. COCO MOIS(第1-3行)和HIM2K(第4-5行)的定性分割结果。示例显示了之前交互过的对象及其令人满意的掩膜(旁边报告了IoU数值)。最后三列逐步展示了通过额外点击对所有对象进行细化的情况。此外,我们将我们提出的iCMFormer++与其他模型(例如RITM [7]和AdaptiveClick [9])进行了比较。通常,定性结果是从主观的人类点击中收集的,每次推理的结果可能都不同。换句话说,与其他方法的定性比较是不公平的,因为结果的判断和额外的点击可能强烈依赖于用户。为了解决这个问题,我们在MOIS任务中为每个对象只添加了一个正面点击,并在图8中展示了比较的分割结果。我们的方法iCMFormer++通过实现更高的mIoU(平均交并比)优于之前的IS模型。下载:下载高分辨率图像(1MB)下载:下载全尺寸图像图8. 与RITM [7]和AdaptiveClick [9]相比的定性结果,在MOIS评估数据集中每个同一类别的对象只有一个正面点击。4.7. 领域外评估为了评估iCMFormer++在科学和专门领域中的潜力,我们将评估扩展到了两个具有挑战性的领域外场景:用于医学成像的序列切片透射电子显微镜(ssTEM [57])和用于遥感的卫星图像(RRSIS-D [58])。这些领域的特点是物体密度高、尺度变化大以及纹理不自然,与COCO MOIS训练分布有显著差异。值得注意的是,所有结果都是通过零样本评估获得的,无需任何微调,直接评估了模型利用示例引导先验的基本能力。在医学领域,注释电子显微镜中的密集结构(如线粒体)是一项劳动密集型任务。我们使用了与之前工作[8]中相同的堆栈来测试我们的模型在分割多个同类线粒体方面的有效性。如表11所示,iCMFormer++仅需要3.13次点击即可达到90%的mIoU,优于之前的方法RITM [7](3.56)和CPlot [46](4.15)。此外,我们的模型在额外进行五次点击后达到了93.82%的更优分割性能。结果表明,EIM成功捕获了第一个交互示例线粒体的特定形态和纹理先验。然后这些信息被有效地传播开来,以识别和分割相邻的线粒体,即使它们紧密排列且边界模糊。对于地球观测任务,我们使用了RRSIS-D [58]测试集中的200个样本子集作为RRSIS-D-m。这个选择包括从卫星视角看到的各种类别,如车辆、飞机、桥梁、棒球场和网球场。由于自上而下的视角以及大量小型到中型物体的存在,这些图像带来了独特的挑战。尽管iCMFormer++是在水平视角的自然图像上训练的,但它仍然表现出很强的泛化能力。它需要5.57次点击才能达到85%的mIoU性能,这比AdaptiveClick [9](7.19)和CPlot [46](6.77)有了显著提高。点击次数的显著减少突显了我们框架在大规模卫星图像注释中的实际价值,因为在密集的物体簇中同类物体之间的相似性很高。我们还在图9中展示了这两个数据集的几个示例。表11. 在ssTEM [57](医学)和RRSIS-D-m [58](遥感)数据集上的领域外泛化结果。方法ssTEMRRSIS-D-mNoC90mIoU5+NoC85mIoU5+RITM [7]3.5692.72%8.4981.92%FocalClick [15]4.4791.46%7.6683.81%SimpleClick [8]4.9391.95%7.5483.72%AdaptiveClick [9]4.2792.11%7.1984.23%CPlot [46]4.1592.19%6.7784.95%iCMFormer++(我们的方法)3.1393.82%5.5786.69%下载:下载高分辨率图像(1MB)下载:下载全尺寸图像图9. 在领域外数据集上的定性零样本分割结果。前两行显示了来自ssTEM [57]医学图像堆的密集线粒体分割,而后两行展示了来自RRSIS-D [58]遥感数据集的多尺度物体分割(例如,车辆和棒球场)。在这两个不同领域中出色的零样本性能突显了iCMFormer++的实际效用。通过利用之前分割物体的信息,该模型有效地减少了科学标注工作流程中通常所需的冗余用户努力。这证实了所提出的示例引导机制不仅限于自然图像,而且是一种适用于显微镜和遥感中高密度物体标注的强大且与领域无关的解决方案。5. 讨论尽管提出的iCMFormer++取得了令人印象深刻的性能,但它仍然存在某些局限性。首先,在处理复杂场景中的杂乱目标时,预测的分割掩膜可能不令人满意。如图10中的失败案例所示,前景障碍物(如微波炉前的瓶子和袋子)可能会限制性能提升,即使有额外的纠正点击也是如此。幸运的是,集成局部细化模块[15]、[16]或后处理优化可以减轻这些边界不准确的问题。其次,该框架的效率本质上取决于初始示例的质量。如果用户选择了一个被严重遮挡或不具代表性的实例作为引导锚点,那么得到的特征先验可能不足以准确召回其他物体,需要更多的纠正交互。此外,模型的有效性部分受到单个类别内视觉多样性的限制。在医学成像或遥感等专业应用领域,如果示例对象与召回对象在形态或照明上有显著差异(例如,健康细胞与突变细胞),EIM中的相似性匹配可能会变得不可靠。这表明,虽然我们的模型能够很好地捕获同类先验,但它仍然需要一定程度的视觉一致性来维持其高效的“一对多”分割范式。最后,我们的方法并非完全无需人工干预,因为为多个对象生成高保真掩膜仍然需要手动初始化和偶尔的细化。虽然我们与传统方法相比大大减少了交互负担,但最近在提示学习[56]、[59]方面的进展可能会提供通过利用更大规模的基础知识进一步自动化这些交互的有希望的途径。我们将这些架构探索和特定领域的适应留待未来的工作。下载:下载高分辨率图像(324KB)下载:下载全尺寸图像图10. 我们的iCMFormer++的一个失败案例。图片旁边的PM指的是预测的概率图。6. 结论为了解决同一类别内多个物体的交互冗余问题,本文提出了iCMFormer++,这是一种新颖的交互式图像分割方法。具体来说,在这项工作中,我们引入了一个新概念,称为示例,它具有令人满意的掩膜,用于利用类别信息来分割剩余的物体。示例指导对与示例对象属于同一类别的剩余物体的预测。为了学习示例传递的类别信息,我们设计了一个示例感知模块,通过比较示例对象和潜在图像区域之间的相似性来实现。我们提出了一个简单但有效的通道融合模块,用于选择性地融合来自不同模块的关注特征。在性能方面,我们的方法在不同的IS数据集上取得了优于现有方法的结果。这些结果突显了我们的模型在整合图像数据和人类交互方面的有效性,展示了其在交互式应用中的潜力。我们的模型验证了使用类别信息加快同一类别中剩余物体分割速度的好处,进一步突显了其作为实际场景中注释工具的潜力。未来在交互式分割方面的研究可以关注几个关键挑战,以提高性能和实际应用性。一个关键问题是提高对输入变化的鲁棒性,例如物体遮挡和光照变化。开发能够处理这些挑战的自适应模型将显著提高在不同环境中的分割精度。另一个重要方向是减少推理延迟。虽然我们的方法在单图像分割方面很好地平衡了效率和准确性,但机器人技术、医学成像和自主系统中的实时应用需要更快的处理速度。此外,未来的研究可以探索更高效的注意力机制,例如稀疏注意力,以减少交互式分割中各种特征融合的计算成本。将大型语言模型(LLMs)整合到交互式分割工作流程中也是一条有前途的途径。LLMs可以通过提供对用户交互的上下文理解来增强开放词汇表分割,使模型能够在最小监督的情况下更好地泛化到未见过的物体类别。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号