基于紧凑性的协同学习方法在人群计数与定位中的应用

《Pattern Recognition》：Compactness Driven Co-learning for Crowd Counting and Localization

本文提出一种紧凑性驱动协同学习框架，结合检测和地图方法，通过预测置信图和偏移图实现人群计数与定位的统一优化，设计统一计数-定位损失函数和Proposal Scoring and Suppression后处理算法，显著提升密集场景下的计数精度和定位准确性，并在多个数据集上验证有效性。

　　

严子恒|刘新燕|李国荣|张伟刚|万芳|黄青明

中国科学院计算机科学与技术学院，北京，100049，中国

摘要

人群计数和定位是计算机视觉中的关键任务，它们用于估计图像中的人数和位置。现有方法可以分为两大类：基于检测的方法，这类方法在拥挤区域计数时往往不够准确；基于地图的方法，虽然可以生成密度图，但缺乏精确定位所需的紧凑性。为了解决这些限制，我们提出了一种新的统一方法，结合了这两种方法，旨在准确估计每个人的数量和位置。我们提出的方法包括一个用于计数的置信度图和一个用于定位的偏移图。我们引入了一个紧凑性评分作为共同的优化目标，以确保这些图之间的连贯性和一致性。该评分在预定义区域内作为一个统一的度量标准，评估计数准确性和定位精度。通过优化紧凑性评分并预测偏移量，我们的方法在统一的框架内实现了准确的人群计数和精确的定位。在推理阶段，我们使用提议评分和抑制（PSS）后处理算法从预测图中提取高质量坐标。该算法会抑制与其他预测重叠的低分位置。大量实验表明，我们的方法在多人计数和定位的多个基准测试中表现出领先性能。我们的代码可在以下链接获取：https://github.com/streamer-AP/CCLM。

引言

计数和定位是计算机视觉中的基本任务，越来越受到关注。它涉及估计图像中人或对象的数量和位置，并应用于各种领域，如监控[1]、公共安全[2]、交通监控[3]、环境调查[4]和医学图像分析[5]。尽管经过数十年的发展，但在统一网络中实现准确的计数和定位结果仍然具有挑战性。

现有的计数和定位方法主要分为两类：基于检测的方法[6]、[7]、[8]、[9]和基于地图的方法[10]、[11]、[12]、[13]。基于检测的方法通常通过中心点来识别个体，并为每个中心点分配一个置信度分数。在人口密集的场景中，这些方法往往会生成高置信度分数的预测结果，导致计数过高。由于缺乏准确的边界框，这些冗余的预测难以过滤掉。如图1(b)所示，基于检测的方法[8]在密集区域生成了过多的预测，降低了其在这种情况下的计数准确性。这种现象导致在人口密集的数据集（如NWPU-Crowd [14]）上的计数性能不佳。

另一方面，基于地图的方法通过预测一个近似人群分布的地图来进行计数，可以提供可靠的计数估计。然而，如果不考虑空间信息，这些方法生成的地图通常不够紧凑，特别是在拥挤区域，从而导致定位性能不佳。这可以在图1(c)所示的局部密度图中观察到，其中拥挤区域内的个体实例之间存在大量重叠。这种缺乏紧凑性的问题使得从预测图中准确重建精确的点图变得困难，从而影响密集场景中的定位性能。

为了解决基于检测和基于地图方法的固有局限性，我们提出了一个新的基于紧凑性的协同学习框架，该框架由两个分支组成，即偏移图预测器和置信度图预测器。偏移图预测器直接回归图像中每个个体的空间位置，而置信度图预测器旨在估计个体数量，其聚合输出反映了总人数。为了使两个分支有效交互，我们设计了一个基于紧凑性的协同学习模块（CCLM），该模块利用两个分支的输出为每个对象生成一个紧凑的相关区域。我们引入了一个统一的计数-定位损失（UCL-Loss）来驱动网络生成有助于计数和定位的紧凑区域。在推理过程中，我们提出了一种提议评分和抑制（PSS）算法，通过基于两个预测图大致最大化相关区域的紧凑性分数来预测对象的位置。

总结来说，本文的主要贡献如下：

1)

我们提出了CCLM，通过将预测的置信度图和偏移图划分为具有高紧凑性分数的相关区域，促进了偏移图预测器和置信度图预测器之间的协同学习。

2)

我们提出了PSS算法，通过优化相关区域的紧凑性分数来提高推理过程中的定位准确性。

3)

我们的方法已在多个数据集上进行了严格测试，证明了其在人群计数和定位方面优于以往的最先进方法。此外，有针对性的消融研究也证实了我们协同学习框架的有效性。

部分摘要

基于检测的方法

基于检测的方法回归个体的边界框或中心点。基于框的方法[15]、[16]、[17]同时解决了计数和定位问题，但需要昂贵的边界框注释[10]、[18]、[19]。为了降低注释成本，一些方法[6]、[7]使用从点注释生成的伪标签。LSCCNN [6]根据距离最近注释点的距离设置伪框大小，而PSDDN [7]则迭代地对其进行细化。然而，伪标签

提出的方法

我们提出的方法概述如图2所示。模型的两个输出分别是置信度图和偏移图。基于这两个图，紧凑性驱动的协同学习模块（CCLM）计算每个注释点在地图中的相关区域。我们引入了一种由紧凑性分数驱动的统一计数-定位损失（UCL-Loss）来训练模型生成紧凑的相关区域。在推理过程中，我们还设计了一种提议评分

实验设置

数据集：我们在五个多人计数数据集上评估了所提出方法的计数和定位性能：上海科技大学A [10]、NWPU-Crowd [14]、FDST [1]，以及两个物体计数数据集：TRANCOS [3] 和 URBAN-TREE [41]。

评估指标：对于人群计数任务，我们遵循了以往方法的相同测量标准[31]，即同时测量平均绝对误差（MAE）和均方根误差（RMSE）：