开词汇伪装实例分割（Open-Vocabulary Camouflaged Instance Segmentation, OVCIS）——基于扩散模型（Diffusion Model）的"描述即分割（Describe Me）"方法

《INTERNATIONAL JOURNAL OF COMPUTER VISION》：Catch Me If You Can Describe Me: Open-Vocabulary Camouflaged Instance Segmentation with Diffusion

　　

文本到图像扩散（Text-to-Image Diffusion）技术在从开词汇（Open-Vocabulary）文本生成高质量密集视觉预测方面展现出卓越能力，表明开概念（Open Concepts）下视觉与文本域存在强相关性，且基于扩散的文本到图像模型能为计算机视觉任务捕获丰富多样的信息。然而研究人员发现，由于伪装个体（Camouflaged Individuals）的视觉边界与其周围环境显著融合，上述优势并不适用于伪装个体的特征学习。本文在利用基于扩散的技术与文本-图像模型在开词汇设定下优势的同时，旨在解决计算机视觉中一项挑战性问题——开词汇伪装实例分割（Open-Vocabulary Camouflaged Instance Segmentation, OVCIS）。具体而言，研究人员提出一种基于最先进开词汇赋能扩散（State-of-the-Art Diffusion Empowered by Open-Vocabulary）的方法，通过学习多尺度文本-视觉特征（Multi-Scale Textual-Visual Features）进行伪装物体表示学习（Camouflaged Object Representation Learning）。此类跨域表示对于分割视觉线索微妙、难以从背景区分的伪装物体，以及分割训练阶段未见过的新颖物体类别均有重要价值。为实现此类强表征，研究人员设计了互补模块以有效融合跨域特征，并使相关特征朝向各自前景物体。研究人员在多个伪装及通用开词汇实例分割基准数据集上与现有方法进行了验证与比较，实验结果证实了该方法相较现有方法的先进性。研究人员认为所提方法将为监控系统、野生动物监测及军事侦察等伪装处理应用开辟新途径。

论文解读：《Catch Me If You Can Describe Me: Open-Vocabulary Camouflaged Instance Segmentation with Diffusion》发表于《International Journal of Computer Vision》

【研究背景】

伪装（Camouflage）是自然界中动物为避免被探测和识别的重要生物机制，伪装目标与背景在低对比度、模糊边界条件下高度融合，使计算机视觉中的伪装目标检测（Camouflaged Object Detection, COD）与伪装实例分割（Camouflaged Instance Segmentation, CIS）成为难点。COD仅输出二值伪装区域掩码而不区分个体实例；CIS要求对同一图中多个伪装个体进行像素级实例分离，但通常局限于闭集（Closed-Set）已知类别或类无关（Class-Agnostic）设定，无法处理训练时未见过的新类别。近年来开词汇检测与分割（Open-Vocabulary Detection and Segmentation）借助视觉-语言模型（Vision-Language Model, VLM）如CLIP可泛化至新类别，但现有开词汇分割方法未针对伪装场景设计，预训练表征难以捕捉伪装导致的边界模糊与低对比度歧义。同时，现成的文本到图像扩散模型（如Stable Diffusion）虽蕴含丰富的语义与空间特征，研究人员发现其直接用于伪装场景时因伪装边界不清导致分割结果不一致。因此，将扩散模型的多尺度视觉特征与开词汇文本特征跨域融合以解决开词汇伪装实例分割（OVCIS）——即要求同时实现伪装实例分离与推理时通过文本类别提示完成开词汇类别赋予——是一项尚未被探索且具有挑战性的新问题。

【主要关键技术方法】

研究人员基于预训练且冻结的Stable Diffusion v1.3（SD）U-Net编码器与解码器提取多尺度视觉特征，并用预训练且冻结的CLIP文本编码器分别编码输入图像隐含描述（Implicit Caption Embedding，由图像Captioner生成）与目标类别文本提示（Text Prompt），构建以下三个伪装特化模块：(1) 多尺度特征融合（Multi-Scale Features Fusion, MSFF）模块——拼接SD编码器多尺度特征经1×1卷积调制后加回SD解码器末层特征；(2) 文本-视觉聚合（Textual-Visual Aggregation, TVA）模块——对Mask2Former产生的类无关二值实例掩码做Mask Pooling得掩码嵌入（Mask Embeddings），与CLIP文本嵌入做带Softmax加权的通道求和聚合以抑制背景噪声；(3) 伪装实例归一化（Camouflaged Instance Normalisation, CIN）模块——对TVA输出的文本-视觉特征图做线性投影获仿射参数，结合掩码预测最终实例分割结果。模型先在MS-COCO（80类）上预训练学习通用物体知识，后在COD10K-v3训练集（3040图，去极稀类）上微调适应伪装场景，总损失为α·L_bce+L_dice+L_ce（α=0.4，L_ce为与CLIP编码训练类别文本嵌入计算的交叉熵），采用Hungarian匹配。推理时输入图像与测试集类别名称文本提示即可输出开词汇实例掩码与类别。

【研究结果】

COD vs. CIS vs. OVCIS

论文明确定义：COD输出二值伪装区域；CIS在COD基础上要求同类别或多实例的像素级个体分离但常为闭集或类无关；OVCIS要求(i)伪装下鲁棒实例分离与(ii)推理时用文本类别提示完成开词汇赋类（C_train∩C_test可为?），是伪装理解、实例分割与开词汇识别的交叉任务。

实验设置与数据集

预训练用MS-COCO实例分割训练集（80类），微调用COD10K-v3训练集（3040图，69类，与MS-COCO仅6类重叠），测试用COD10K-v3测试集（2026图）和NC4K（4121图）；通用开词汇评估用ADE20K（150类，验证集短版2000图）和Cityscapes（验证集500图，19类，含8个thing类），MS-COCO预训练后不做微调直接评估。实现基于PyTorch+Detectron2，SD与CLIP冻结，4×NVIDIA A40训练90k迭代，图像缩放至512×512，Adam优化器lr=10^-4，阶梯衰减。

Camouflaged Object Datasets结果

在COD10K-v3和NC4K上，全设定（预训练+COD10K-v3微调，记为Ours(task-specific)）的AP/AP₅₀/AP₇₅均显著优于现有闭集CIS方法（OSFormer、DCNet、MSPNet、UQFormer、CamoFA等）及开词汇扩散方法ODISE；仅MS-COCO预训练无微调变体（Ours）亦有竞争力。该方法所需可训练参数量远少于近期CIS专用方法。可视化显示该方法能在杂乱背景下准确定位伪装物体像素级实例边界并分割多实例；失败案例主要为极度相似相邻个体难分离、严重空间破碎物体（如黑豹肢体分散）导致误判或边界偏差。

Generic Open-Vocabulary Datasets结果

在ADE20K和Cityscapes上，该方法排第二（仅次于OpenSeeD），但可训练参数量约为OpenSeeD的1/4，仅牺牲少量AP（ADE20K<1%，Cityscapes约8%），证明方法对通用开词汇场景具良好泛化性。

Ablation Studies

提示工程（Prompt Engineering，同义词/复数扩展）与提示模板（Prompt Templates，考虑任务属性）均能提升OVCIS精度。模块消融表明：去除文本嵌入（置零）AP降至12.2，证实开词汇文本提供关键语义线索；MSFF中标准拼接融合比原设计性能低，证明多尺度调制融合有效；去除CIN模块AP从19.3降至17.6，说明CIN对伪装表征增强重要；简化TVA为逐元素点积轻微降AP，表明加权聚合设计合理但相对影响较小。

Additional Analysis

CLIP在伪装数据集上可做零样本分类验证（借助WordNet层次语义匹配）。提示粗化（Prompt Coarsening，精细类名逐级替换为上位词如cat→mammal→animal）下标准AP显著下降但语义感知指标Open AP仅微降，符合开词汇文本条件系统的预期表现。将方法应用于COD二值分割任务（CAMO、Chameleon、COD10K-v2），在F_β、S_α、E_ξ^max指标上优于或持平现有COD基线（如CamouFocus、C2F-Net、BCNet）。

【讨论与结论】

研究人员首次提出了开词汇伪装实例分割（OVCIS）任务并利用文本到图像扩散与文本-图像迁移技术构建了相应解决方法。通过设计MSFF、TVA、CIN三个伪装特化模块，有效融合Stable Diffusion多尺度视觉特征与CLIP开词汇文本特征，实现了对伪装物体判别性跨域表示的学习。在伪装基准（COD10K-v3、NC4K）上超越现有CIS及开词汇扩散方法，在通用开词汇数据集（ADE20K、Cityscapes）上以较少可训练参数取得可比性能，在COD二值任务上也具竞争力。局限性在于文本提示难以辅助分离接触/重叠实例及严重遮挡碎片化物体，未来可考虑引入含前景+背景联合描述的文本提示以增强背景感知表示。该研究为野生动物监测、军事侦察及医学伪装样病变（如结肠息肉）分割等应用提供了首个开词汇伪装实例分割方案，拓展了生成模型表征学习在计算机视觉感知任务中的应用边界。