CountLEG：基于潜在表达式引导的组合式指代表达式计数框架

《Pattern Recognition》：CountLEG: Compositional referring expression counting framework via Latent Expression Guidance

　　

•解决指代表达计数中的语义石化问题。
•通过潜在表达指导增强细粒度语义理解。
•通过随机失活策略从潜在表达中挖掘上下文语义。
•在 REC-8K 基准上表现强劲，实现了最佳定位 F1 分数。

引言
指代表达计数（REC）[1] 已成为计算机视觉与自然语言处理交叉领域的一项重要任务。与依赖孤立类别标签的传统零样本计数 [2] 不同，REC 需要对场景进行组合式理解，模型必须将复杂的文本描述（包括属性、空间关系和上下文线索）接地为精确的数值估计。该任务代表了向类人视觉推理迈进的一大步，要求模型弥合高级语言抽象与细粒度视觉特征之间的差距。

然而，实现鲁棒的细粒度理解仍然是一个 elusive 挑战。现有的 REC 基线方法 [3] 经常陷入语义石化的陷阱，这本质上是组合泛化失败的体现 [4]。这一问题表现为两个不同的方面。首先，模型倾向于将指代表达视为整体模板，而非可分解的语义结构。例如，模型可能成功计数“顶层的蜡烛”，但在实体替换为“顶层的瓶子”时遭遇灾难性失败，尽管空间属性保持不变（图 1(a)）。这种结构僵化揭示了一个关键瓶颈：与依赖跨模态捷径的常见语言偏差不同，语义石化是一种属性与名词表示被错误融合成整体模板的失败模式。因此，当遇到新颖的属性 - 物体表达时，交叉注意力机制无法灵活地解绑和重新组合这些文本组件。加剧这一问题的是第二个方面，即语义歧义，当模型难以区分词汇变化极小的表达（例如“瓶子”与“瓶盖”）时就会出现，尽管指代目标截然不同，却将它们视为近乎等价（图 1(b)）。

我们的核心假设是，语义石化源于模型将指代表达编码为整体模板的倾向，从而在特定的属性 - 名词对（例如“顶层”与“蜡烛”）之间产生了虚假相关性。为了打破这种记忆化，模型必须学习独立于物体类别地接地属性语义。我们提出，在保留主体（核心类别）的同时随机扰动属性词元，迫使交叉注意力机制依赖属性线索进行消歧。直观地说，如果模型看到同一主体（例如“瓶子”）与变化的甚至缺失的属性描述配对（由于失活），它就不能简单地忽略修饰语；它必须学会仅凭主体无法唯一确定目标。因此，这种属性侧的扰动充当了组合理解的正则化手段，从而鼓励模型将属性与固定的名词绑定解耦，并在测试时灵活地重新组合它们。

基于此假设，我们认为语义石化的根本原因在于单一表达监督的固有局限性以及对细粒度敏感度的严重缺乏。为了打破上述语义石化，我们提出通过文本嵌入的随机扰动显式地引导模型理解。具体来说，我们引入了潜在表达（Latent Expressions）的概念。这些是通过随机丢弃文本嵌入生成的语义扰动变体，然后在多模态集成期间进行融合。这种基于失活的增强迫使模型关注单个词所携带的细微语义线索，从而 sharpen 其对最小词汇变化的敏感度。从整体模板匹配到细粒度特征交互的转变在我们的定性结果中清晰可见。如图 2 所示，潜在表达的引入充当了语义锚点，防止模型漂移至虚假相关性。通过强制整合这些扰动语义，模型的注意力图更准确地与目标视觉区域对齐，有效地平衡了对核心物体类别及其细微属性的关注。

基于这一见解，我们提出了 CountLEG，一个由潜在表达指导（LEG）驱动的新型计数框架。其核心在于，CountLEG 在文本编码器之后整合了一个潜在表达生成模块（LEGM）。通过采用策略性失活机制结合主体掩码（Subject Mask），LEGM 生成了保留基本物体类别同时探索属性变化的差异化词元。为了有效地将这些见解注入视觉骨干网络，我们开发了潜在语义补充（LSS）机制。基于扩散式 U-Net [5] 架构构建的 LSS 执行双路交叉注意力，允许指代表达引导全局物体识别，同时潜在表达细化特定属性实体的定位。我们部署基于扩散的 U-Net 骨干网络，而不是依赖 Grounding DINO 等检测骨干网络，后者受查询诱导的延迟瓶颈和不适合细粒度操作的刚性特征匹配困扰。通过采用单步去噪以保持低延迟，这种生成式框架解锁了一个连续、高度表达的交叉注意力空间，其中蕴含了密集的语义分组先验。至关重要的是，这种密集的潜在表示作为基础，赋能我们提出的潜在表达指导（LEG）注入细微的语义扰动，从而打破语义石化，并允许组合表达精确引导特定属性物体的定位。

本工作的技术贡献总结如下：
•REC 中的语义石化。我们形式化了这一问题，并提出潜在表达以改善属性接地和组合推理。
•CountLEG 框架。一个生成与补充框架：LEGM 无需外部 LLM 即可生成语义变体；LSS 通过双路交叉注意力校准扩散注意力图。
•强大的组合泛化能力。CountLEG 在 REC 基准上显著优于现有方法，能泛化至新颖的属性 - 物体组合，并弥合了语言与视觉感知之间的差距。

本文其余部分结构如下：第 2 节讨论相关工作。第 3 节描述 CountLEG 的方法论。第 4 节展示实验、分析及局限性。第 5 节总结全文。

章节片段
相关工作
我们的工作与两项研究相关：文本引导的目标计数方法论，以及扩散模型在增强计数相关视觉理解中的应用。

文本引导的目标计数。传统计数方法依赖于视觉样本来指定感兴趣物体 [6], [7]。文本引导计数通过允许用自然语言描述物体提供了更大的灵活性 [8], [9]。

零样本计数 [2] 已演进为端到端模型，如 CounTX [10]。

方法
CountLEG 输出给定图像和文本的物体定位点和密度图。如图 3 所示，CountLEG 包含图像编码器 ?_θ、文本编码器 τ_θ、多模态融合模块 U-Net、潜在表达指导模块以及用于最终预测的解码器。θ 是对应模块的参数。

图像编码器、文本编码器和多模态融合模块建立在潜在扩散模型（LDMs）[19] 奠定基础的基础之上。LDMs 采用图像编码器 ?，其
数据集与评估指标
REC-8K [1] 是为指代表达计数任务创建的一个 novel 基准数据集，包含 8011 张图像和 17122 个指代表达。该数据集收集了来自多个现有数据集的图像，涵盖人群分析、交通监控、零售和仓储等领域。图像中目标对象的标注采用点标注方法，每张图片平均包含 2.13 个指代表达，涵盖了颜色、位置等各种属性类型。

结论
本文提出了 CountLEG，一个新型框架，有效解决了指代表达计数中组合泛化的挑战。创新点：通过挖掘潜在表达来捕获隐含约束，我们的方法弥合了已见与未见表达之间的语义差距。大量实验表明，CountLEG 相比基线方法实现了更鲁棒的性能，展现出卓越的语义理解能力。局限性：尽管存在这些...

CRediT 作者贡献声明
Shun Peng: 初稿撰写、可视化、验证、方法论、概念化。
Weiwei Xiang: 审阅与编辑、验证、方法论。
Guangyi Xiao: 审阅与编辑、监督、形式分析、概念化。
RuiYao Liu: 审阅与编辑、资源、数据整理。
Hao Chen: 审阅与编辑、监督、资源。

生成式 AI 及写作过程中 AI 辅助技术声明
在本工作准备过程中，作者使用了 Gemini 以改善语言和可读性。使用该工具后，作者按需审阅并编辑了内容，并对出版物的内容承担全部责任。

未引用参考文献
[32], [33], [34], [36], [37], [38], [39]

利益冲突声明
作者声明他们没有已知的竞争经济利益或个人关系，这些关系可能影响本文报告的工作。

致谢
本工作部分由中国国家自然科学基金（资助号 62272156）支持，部分由中国湖南省自然科学基金（资助号 2025JJ70455）支持。

Shun Peng|Weiwei Xiang|Guangyi Xiao|RuiYao Liu|Hao Chen