FreeScene：基于生成式增强视觉建模的通用零样本图像检索与场景草图技术

《Neural Networks》：FreeScene: Generative-Enhanced Visual Modeling for Generalized Zero-Shot Image Retrieval with Scene Sketches

　　冉佐|张正明|季晨旭|陈子坦|刘芳|苏行哲|强文文

摘要：本文研究了场景级场景下的零样本草图图像检索任务，与现有方法相比面临两大核心挑战：一是细粒度场景级匹配，要求在视觉外观和空间布局上实现场景草图与目标图像之间精确的多对象对应；二是泛化零样本检索，由于场景内容中存在可见与不可见对象类别的混合，难以清晰区分用于测试的不可见对象类别。现有的零样本草图图像检索方法侧重于实例级检索，无法理解复杂的场景构成，而细粒度场景级检索方法在不可见与可见对象类别交织的复杂布局中难以实现零样本泛化。为解决这一问题，我们提出了FreeScene这一新框架，该框架能够从场景草图和图像中提取语义与结构线索，同时利用多模态大语言模型和扩散模型的生成能力来增强视觉表征并提升零样本泛化能力。具体而言，我们从多模态大语言模型生成的文本嵌入中提取高级场景语义，再通过语义中心点置信度策略为这些嵌入与视觉特征的对齐赋予权重，从而引入外部语义先验。为捕捉复杂的空间布局，我们设计了混合CNN-ViT架构，通过自适应注意力机制将CNN层融入ViT以实现多尺度结构编码。此外，还通过基于扩散的去噪过程优化语义与结构表征。大量实验表明，FreeScene的性能显著优于现有最先进方法，为场景级零样本图像检索领域建立了新的高效评估标准。

引言：由于成对的草图-图像数据本身极为稀缺且多样性有限，零样本草图图像检索任务受到了广泛关注。传统的零样本草图图像检索任务主要针对实例级检索，即每个输入草图仅描述单个对象（Dey等人，2019年；Liu等，2025b、2025c、2026年；Liu等，2025d；Shen等人，2018年；Wang等人，2021年、2023年；Yin等人，2024年；Zhang等人，2020年；Zhu等人，2026年）。模型在已知对象类别的数据集上训练后，能够将其检索能力推广到未知类别。在测试时，面对来自未知类别的草图查询，模型必须从仅包含未知类别的图像库中检索出同一类别的图像。在此基础上，近期的研究取得了两项重要进展：一是细粒度零样本草图图像检索，能够同时检索出与草图中未知对象类别及轮廓、姿态等关键视觉属性相匹配的目标图像（见图1(a)中的(i)）；二是泛化零样本草图图像检索，考虑到测试集中同时存在可见与未知对象类别的更现实场景，要求模型无论训练时该类别是否可见都能检索出对应的图像（见图1(a)中的(ii)）。然而，现实世界的视觉数据以场景级图像为主，这类图像呈现的是包含多个相互作用的物体和复杂背景的整个场景。因此，有必要将零样本草图图像检索研究扩展到更为复杂且实用的场景级领域。

早期场景级草图图像检索研究侧重于粗粒度匹配，即检索同一场景类别下的图像（Castrejon等人，2016年；Xie等人，2019年）。近期的研究则转向细粒度场景级草图图像检索，这类检索要求精确对齐空间布局、对象类别以及外观、姿态等详细视觉属性（Chowdhury等人，2022a年；Ge等人，2023a年；Liu等人，2022年、2020年）。这种高精度的匹配能力使得场景级草图图像检索非常适合需要高准确率的现实世界检索场景。当将细粒度场景级草图图像检索方法推广到零样本场景时，由于查询草图和图像本身就包含多对象组合，很难构建完全不含训练时出现过的对象类别的测试集。因此，现实世界的检索任务自然属于泛化零样本范畴，即场景内容由可见与不可见对象共同构成。

为此，我们提出了一项新的任务——细粒度场景级泛化零样本草图图像检索，该任务同时解决细粒度场景级匹配和泛化零样本检索问题，要求在查询草图的场景内容中包含可见与不可见类别的物体时，仍能准确检索出目标图像（见图1(b)）。场景具有多类别物体和背景元素以及复杂的空间关系（如物体姿态、场景布局等）的特性，这就需要模型具备强大的语义泛化能力和精确的结构对齐能力，即便面对来自可见与不可见类别的混淆信号也能正常工作。这项任务面临两大挑战：一是场景草图的复杂内容可能掩盖物体级别的类别线索，导致难以提取不可见对象的语义；二是不同场景的结构信息差异极大，进一步增加了草图与图像特征之间的对齐难度。从图1可以看出，现有方法难以应对这些挑战。依赖实例级、类别迁移训练的零样本草图图像检索方法无法区分混乱的语义信号，也无法捕捉复杂的结构关系。而细粒度场景级草图图像检索方法虽然更能获取结构信息，但其对类别特定监督的依赖限制了其对不可见对象类别的语义泛化能力，从而导致测试时的检索精度下降。

为解决现有零样本草图图像检索和细粒度场景级草图图像检索方法在处理多对象不可见语义推理和细粒度结构对应方面的局限性，我们提出了FreeScene框架。该框架分别对场景草图和图像的语义与结构表征进行编码，从而捕捉场景构成中的类别感知语义和复杂空间布局。此外，FreeScene还采用了生成式思路，利用多模态大语言模型和扩散模型的互补能力，加强跨模态表征的对齐，实现混合可见-不可见场景内容下的泛化检索。尽管近期的生成式方法已经通过利用多模态大语言模型捕获语义或利用扩散模型对特征进行对齐，从而提升了跨模型检索任务的表现（Jiang等人，2024年；Lin等人，2026年；Su等人，2024年；Zuo等人，2024年），但这些方法忽视了细粒度空间线索，也未能充分利用多模态大语言模型和扩散模型来实现该任务中的稳健零样本特征对齐。FreeScene通过两种专用编码器解析场景内容，解决了这些问题。为在复杂的场景草图中获取可靠的不可见对象语义，我们采用了基于多模态大语言模型的语义编码器，并结合语义中心点置信度机制，该机制利用多模态大语言模型生成的描述将视觉特征映射到共享的文本空间，同时根据每个采样描述与其描述集的语义中心点的距离来评估描述的可靠性，从而优先考虑更具代表性的语义概念。该编码器首先进行预训练，之后作为稳定的语义基础保持不变。为克服不同场景布局下结构建模能力的不足，我们设计了结构感知编码器，它通过自适应注意力机制将多尺度CNN层与ViT相结合，选择性地将局部结构先验注入ViT的中间层，从而实现细粒度空间布局、物体交互及复杂场景布局的捕捉。为进一步衔接不可见对象的语义理解与细粒度结构表征，我们设计了基于扩散去噪的生成式特征关联模块。该模块通过在生成空间中同时建模语义条件与结构条件，引导结构编码器生成语义一致的表征，从而提升混合可见-不可见场景构成下的跨模态对应能力和泛化检索能力。通过在三个基准数据集上的实验，我们的方法性能优于现有最先进方法，为细粒度场景级泛化零样本草图图像检索领域带来了重大进展。

我们的主要贡献可总结如下：
• 我们提出了细粒度场景级泛化零样本草图图像检索这一新的场景级零样本草图图像检索任务，同时结合了细粒度匹配和泛化零样本检索功能，并提出了一个经过生成式改进的框架，用于建模场景草图与图像的表征，从而提升零样本泛化能力。
• 我们采用了基于多模态大语言模型的语义编码器，通过对视觉特征和文本特征进行置信度加权对齐，以实现场景语义的理解；同时使用了混合CNN-ViT编码器，将详细的CNN空间特征注入ViT，以实现多尺度结构建模；此外还设计了基于扩散的特征关联模块，用于共同优化融合后的语义-结构表征。
• 在三个基准数据集上的实验表明，我们的模型在处理场景草图中的未知类别时能够达到最先进的性能，为未来在该领域的深入研究奠定了基础。

片段摘录：
零样本草图图像检索：为了解决训练数据不足的实际问题，人们提出了零样本草图图像检索方法，该方法使得在已知对象类别上训练的模型能够泛化到未知类别。在现有的零样本草图图像检索方法中，所使用的场景级数据集由N对草图和图像组成，即P={(Si,Ii)∣i=0,…,N}。数据集中的对象类别C被分为两类：已知类别Cseen和未知类别Cunseen，这两类之间没有重叠（Cseen∩Cunseen=?）。在泛化零样本场景中，训练集中出现的所有类别都属于已知类别Cseen。对于训练集中的每幅包含n个对象的草图Si和图像Ii，我们需要...

实现细节：草图和图像的语义编码器Esems、Esemi以及对应的文本编码器ET,S、ET,I都是基于CLIP中的ViT-B/32架构实现的（Radford等人，2021年）。结构编码器Estrs和Estri则基于ViT-B/16架构（包含12个Transformer层）。结构特征集合{Fo1,Fo2,Fo3,Fo4}分别从结构编码器第3层、第6层、第9层和第12层的CNN输出中提取出来，然后作为结构条件cstr输入到扩散模型中。

讨论与局限性：我们在图7中展示了FS-COCO数据集上的检索结果，其中未采用“前1名”排序方式，将这些失败案例视为异常情况。这些失败主要体现在两个方面：一是语义误解，即当物体较小、隐藏在复杂场景中或以高度抽象的草图形式呈现时，模型难以捕捉其语义（见图7的第1-2行），因此往往只能理解训练集中存在的类别，而无法识别未知类别。

结论：本文研究了新型的细粒度场景级泛化零样本草图图像检索任务，这类任务的场景草图包含了来自已知和未知类别的多个物体。我们提出了一种创新的生成式增强型视觉建模方法，用于提取草图和图像中的语义与结构信息。我们的方法包括：一是基于多模态大语言模型的语义编码模块，该模块将视觉特征与多模态大语言模型生成的文本对齐，从而提升零样本语义表征的质量；为降低文本噪声的影响，还采用了语义中心点置信度机制。

CRediT作者贡献声明：
冉佐：写作——审阅与编辑，写作——初稿撰写，监督，方法论，概念设计。
张正明：验证，方法论，概念设计。
季晨旭：可视化，验证。
陈子坦：软件，资源准备。
刘芳：写作——审阅与编辑，概念设计。
苏行哲：形式分析，数据整理。
强文文：写作——审阅与编辑，资金筹集。

利益冲突声明：作者声明不存在任何可能影响本文研究工作的已知财务利益或个人关系。