GIPACount：用于样例条件少样本物体计数的全局交互与原型引导聚合网络

《Neural Networks》：GIPACount: Global interaction and prototype-guided aggregation network for exemplar-conditioned few-shot object counting

　　

摘要
少样本目标计数（FSC）旨在仅根据少量示例估计以前未见（新）类别的计数，利用在已见（基础）类别上学习的知识进行泛化。然而，大多数现有方法依赖于单向匹配并低估了场景上下文的作用，限制了示例先验作为可靠指导的有效利用。为解决这些局限性，本文提出了一种全局交互与原型引导聚合计数网络（GIPACount），将 FSC 建模为一个两阶段的全局到局部过程。首先，一种全局交互机制细化示例特征并注入全局上下文，生成样本条件化的全局原型标记。接下来，这些原型标记生成动态滤波器，以聚合查询图像特征上的空间 - 通道证据，产生用于密度解码的细化相似度响应。此外，一种类别对比监督策略规范训练以减少偏差驱动的捷径。在 FSC-147 上的实验以及向 CARPK、PUCPR+ 和 ShanghaiTech 的跨数据集迁移表明，GIPACount 有效地将从基础类别到新颖类别的计数知识进行迁移，无需额外的标记数据或重新训练，同时提供忠实于示例的、可解释的密度预测和鲁棒的跨数据集泛化能力。

引言
目标计数是计算机视觉中的基本任务，在人群监控以防止拥挤并确保公共安全（Jiang, Cai, Zhang, Liu, Liu, 2024, Xie, Shao, Mu, Chen, Jiang, Lu, Ho, 2024）、交通管理以进行车流量统计（Ptak, Pieczynski, Piechocki, Kraft, 2022, Xu, Cai, Li, Li, 2022）、智能医疗用于疾病诊断中的微观细胞计数（Loh et al., 2021）、野生动物保护用于种群监测（Arteta et al., 2016）以及遥感场景分析如城市建筑计数和作物产量估计（Lu, Liu, Li, Zhao, Wang, Cao, 2022, Zakria, Rawal, Sultani, Ali, 2023）等领域有着不可或缺的应用。然而，传统目标计数方法主要是特定类别的。它们需要针对每个目标类别的大量标注数据，并且在遇到新类别时必须从头重新训练。例如，当应用于电子元件、机械零件、农产品或遥感图像中的新任务时，传统模型往往难以计数以前未见的类别。

少样本目标计数（FSC）已被提出以解决这一泛化挑战，其灵感来源于人类从有限示例中识别和计数物体的能力（Ranjan et al., 2021）。FSC 模型在基础已见类别上进行训练，然后仅使用提供的少量示例计数新颖未见类别的物体，避免了为每个新类别进行大量标注，如图 1(a) 和 (b) 所示。现有的 FSC 方法（Liu, Zhong, Zisserman, Xie, 2022, Ranjan, Sharma, Nguyen, Hoai, 2021, Shi, Lu, Feng, Liu, Cao, 2022, Dukic, Lukezic, Zavrtanik, Kristan, 2023, Wang, Xiao, Cao, Lu, 2024b, You, Yang, Luo, Lu, Cui, Le, 2023）通常遵循三阶段流水线。首先，从查询图像中提取特征，并在边界框引导下获取示例特征。接下来，匹配示例和查询特征以构建类别无关的相似度图，作为目标响应的潜在表示。最后，解码器对上采样的相似度图进行回归得到密度图，其积分即为计数预测。特征表示和相似度匹配是该流水线的核心，在很大程度上决定了性能，从而引发了先前工作中的两条主要改进路线。

第一类研究专注于改进示例 - 查询相似度匹配。这些方法通常冻结预训练骨干网络以保持通用表示，并通过卷积相关性（Krizhevsky et al., 2017）或交叉注意力（Vaswani et al., 2017）构建示例 - 图像相似度图。如图 1 所述，SAFECount（You et al., 2023）直接使用示例特征对图像特征进行卷积，而 LOCA（Dukic et al., 2023）通过引入查询上下文迭代细化源自示例的原型，随后将细化后的原型与图像特征进行相关计算。相比之下，GIPACount 引入了独立的可学习原型 - 查询标记，它们逐步将示例先验和查询上下文聚合为紧凑的全局原型，而不是仅从示例中派生匹配表示。CounTR（Liu et al., 2022）通过自注意力更新图像标记，并通过交叉注意力将示例线索注入图像特征。尽管这些设计改进了示例条件匹配，但交互仍主要被表述为模板相关性或单向特征更新。示例先验和查询上下文未在解耦的交互空间中相互细化，并且在局部密度解码之前没有明确形成紧凑的目标原型。在密集场景中或在大型外观变化下，少量示例很少能覆盖目标的全部多样性，这可能会导致相似度估计偏差并导致漏检和误报，如图 1(c) 所示。另一类工作通过共同将示例和图像标记输入到自注意力层（Vaswani et al., 2017）中来增加交互灵活性。例如，CACViT（Wang et al., 2024b）对拼接的示例和图像标记执行自注意力，并进一步解冻骨干网络以适应 FSC 训练集的特征表示。虽然这种设计实现了灵活的示例 - 查询融合，但图像标记的数量远多于示例标记，并且示例特定的线索可能在全局标记混合过程中被稀释。此外，使用有限的基础类别微调骨干网络可能会削弱预训练特征的通用性，使表示对类别和领域偏移更加敏感，如图 1(c) 中 CACViT 的结果所示。除了模型设计外，广泛使用的 FSC 数据集还表现出计数的不平衡分布，并且训练图像通常只包含单一类别。这种偏差可能会鼓励捷径学习，即模型关注显著或密集区域而不是真正的物体语义，这在 LOCA（Dukic et al., 2023）和 CounTR（Liu et al., 2022）的结果中有所观察，如图 1(c) 所示。

因此，在保持特征通用性的同时实现有效的示例 - 查询交互仍然是 FSC 中的一个核心挑战。本文通过显式的全局到局部设计来解决这一权衡问题，其中示例先验和查询上下文首先在全局级别上相互细化，然后凝结为全局原型标记，最后转化为空间定位的局部聚合证据用于密度估计。为此，本文提出了 GIPACount，一个整合全局特征交互与原型引导局部自适应聚合的框架。与依赖于联合标记混合或骨干网络微调的方法（Liu, Zhong, Zisserman, Xie, 2022, Wang, Xiao, Cao, Lu, 2024b）不同，GIPACount 保持预训练骨干网络冻结以保留通用表示空间，并将学习集中在交互和聚合模块上。具体来说，全局特征交互模块（GFIM）解耦了示例和查询分支，并引入了相互的交叉注意力。查询到示例的交互利用场景上下文细化示例先验，而示例到查询的交互利用目标线索增强图像特征。同时，可学习的原型 - 查询标记通过交互过程得到更新，成为紧凑的全局原型标记，而不是仅依赖原始或细化的示例。然后，原型引导的局部聚合模块（PLAM）将这些原型转换为动态卷积滤波器，并对示例增强的图像特征进行空间 - 通道自适应聚合以进行密度解码。

通过这种方式，GIPACount 不同于直接使用示例特征作为匹配核的 SAFECount（You et al., 2023），不同于主要将示例信息注入图像标记的 CounTR（Liu et al., 2022），也不同于在共享自注意力空间中混合示例和图像标记同时微调骨干网络的 CACViT（Wang et al., 2024b）。它在匹配表示的构建上也不同于 LOCA（Dukic et al., 2023），因为 LOCA 利用查询上下文迭代细化源自示例的原型，而 GIPACount 引入独立的原型 - 查询标记将示例先验和查询上下文聚合为紧凑的全局原型。此外，类别对比监督策略（CCSS）规范训练以缓解数据集引起的捷径，使相似度证据保持由示例驱动，而不是受显著性或密度线索的偏差影响。如图 1 所示，GIPACount 在示例引导的范式下提高了准确性，同时保持了可解释的密度图。

本工作的主要贡献总结如下：
1) 我们提出了一种抗稀释的双向交互机制用于 FSC，该机制在冻结的预训练骨干网络下实现了示例先验和场景上下文之间的双向交换，在保持通用表示的同时明确保持由示例引导的计数。
2) 我们引入了示例自优化和原型抽象以在示例稀缺的情况下稳定表示学习，其中自注意力改善了示例内部的一致性，并且可学习的原型 - 查询标记被更新为集成示例细节与上下文线索的全局原型标记以捕获目标多样性。
3) 我们引入了原型引导的局部聚合和类别对比监督以促进示例条件的计数。源自原型的动态滤波器自适应聚合空间 - 通道特征以细化相似度用于密度解码，而对比监督缓解了数据集引起的捷径并改善了跨数据集鲁棒性。

在 FSC-147 和跨数据集基准 CARPK、PUCPR+ 及 ShanghaiTech 上的大量实验表明，GIPACount 在准确性和跨数据集泛化方面实现了持续改进。

章节片段
特定类别的目标计数
目标计数已在特定类别的人群计数中得到广泛研究，其中目标类别是固定的且训练数据丰富。Gao et al. (2025) 对深度密度估计和人群计数方法提供了全面的综述，为视觉计数的发展提供了广阔的视角。遵循密度回归范式，Zhang et al. 提出了 MCNN（Zhang et al., 2016），它采用具有不同感受野的多列 CNN 来建模尺度

预备知识
FSC 的挑战在于在训练期间从基础类别中学习可迁移的计数知识，并在推理时将其应用于未见类别。形式上，令 $\mathcal{D}_{base}$ 表示训练集，$\mathcal{D}_{novel}$ 表示验证或测试集。相应的标签空间是不相交的，即 $\mathcal{C}_{base} \cap \mathcal{C}_{novel} = \emptyset$。FSC 的目标是从 $\mathcal{D}_{base}$ 中学习一个类别无关的计数函数，使其能泛化到 $\mathcal{D}_{novel}$。具体来说，给定查询图像 $I$，令 $N_{target}$ 表示真实值

数据集
在我们的实验中，我们在四个基于图像的计数基准上评估了所提方法以评估模型的性能。这些数据集的相关基本信息如下：
1. FSC-147: FSC-147 数据集是一个公开的少样本目标计数基准。它包含 6,135 张图像，涵盖 147 个不同的物体类别。数据集被划分为训练、验证和测试子集，分别为 89、29 和

结论
本文提出了 GIPACount 用于少样本目标计数，以解决现有流水线中的三个持续问题：单向的示例到查询匹配导致场景上下文利用不足，在重度特征融合下示例线索被稀释，以及由不平衡 FSC 数据集引起的偏差驱动的捷径。在全局到局部设计的指导下，示例先验首先被上下文化为紧凑的全局原型标记，然后转化为空间定位的相似度证据用于密度

CRediT 作者贡献声明
Jinghui He: 写作 – 审阅与编辑，写作 – 原稿，可视化，软件，方法论，形式化分析，数据整理，概念化。Bo Liu: 写作 – 审阅与编辑，监督，项目管理，资金获取，形式化分析，数据整理，概念化。Fan Cao: 验证，监督。Neng Liu: 资源，数据整理。Yanshan Xiao: 调查。

利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能会影响本文报道的工作。

致谢
作者感谢审稿人提出的非常有用的意见和建议。本工作部分由中国国家自然科学基金（资助号 62076074）和广东省自然科学基金（资助号 2023A1515012560）支持。

Jinghui He|Bo Liu|Fan Cao|Neng Liu|Yanshan Xiao