通过基于密度的半监督学习提高高密度人群统计的准确性

《Image and Vision Computing》：Boosting high density crowd counting via density aware Semi-Supervised Learning

　　•我们提出了一种基于点检测的实时人群计数算法，能够处理稀疏和高密度场景。•训练策略结合了课程学习（Curriculum Learning）和半监督学习（Semi-Supervised Learning），以提高泛化能力并减少对标记数据的依赖，在高密度环境中使用。•我们引入了一个轻量级且高效的人群计数模型（21MB），能够在嵌入式平台上进行实时推理，适用于智慧城市应用。

引言
近年来，由于深度学习在各个应用领域的显著进展，视频分析已成为人群估计的强大工具。最初的尝试已经成功地使用了传统的人体检测器[1]，包括头部检测器，如[2]中所展示的。然而，随着我们向高密度人群计数迈进，挑战变得显著复杂，目前尚未找到明确的解决方案。实际上，严重的遮挡（通常只显示头部的一部分）、人群的动态性质以及图像中个体的有限分辨率（通常每人限制在几个像素内）导致在高密度环境中的性能下降。此外，高密度场景还因极度的人与人之间的重叠、由于视角变化引起的强烈透视扭曲以及多样的环境和采集条件而变得更加复杂。这些因素包括糟糕的照明（例如夜间场景或眩光）、天气条件（如雨或雾）以及监视或无人机拍摄的图像质量本来就较低。另外，需要注意的是，现有的真实数据通常只包含与每个人头部或身体相关联的单一点（而不是边界框）。因此，通过启发式方法自动生成边界框对于构建真实数据是必要的。尽管这种方法允许在输出中直接定位个体，但在训练过程中可能会引入显著的噪声和歧义[3]。

高密度人群计数仍然具有挑战性，因为存在严重的遮挡、人与人之间的重叠、透视扭曲和环境变化。这些因素引入了图像内部的巨大变化，需要模型能够处理不同场景之间的显著空间和上下文不一致性。近年来，基于密度图的方法[4]已经出现，用于高密度环境中的人群计数。基本概念是在人群密度和图像的视觉特征之间建立关系。从原始图像开始，使用精心设计的卷积神经网络（CNN）计算表示密度图的新图像，并通过对预测的密度图求和来获得估计的数量。在这个背景下，一项开创性的工作是[5]，作者提出了一个具有六个卷积层的单列CNN网络。随后，张等人[6]引入了SaCNN架构，该架构具有七个卷积层，并在池化之前进行了显式的维度缩减。SaCNN模型采用多任务学习策略来同时预测密度图和头部数量。

正如[7]中指出的，单列方法的一个主要问题是它们无法有效处理对象大小的尺度变化。这一限制导致了多列模型的发展。第一个多列CNN（MCNN）在[8]中被提出，它具有三层架构，每列的感受野各不相同。每一列生成的密度图与真实数据图的尺寸相匹配，这些输出被连接起来形成最终的密度图。最近，PCCNet[9]被提出作为一个三列网络，用于同时学习人群图像中的密度图、密度类别和分割图，在不同阶段共享编码特征。尽管它们被广泛使用，但多列模型通常面临计算开销问题。为了减轻这一问题，Switch CNN（SCNN）[10]使用了一个具有不同核大小的三列网络，并且分类器网络在推理时根据人群密度自动选择一列。在[11]中的作者引入了LibraNet，它将人群计数表述为一个顺序决策任务，受到称重过程的启发。该模型通过强化学习代理迭代地改进其计数预测，依次关注不同的图像区域。尽管这种方法具有创新性，但由于多步骤推理过程，它涉及更高的推理延迟。随着自注意力机制的出现，视觉Transformer（ViT）已成功应用于人群计数。特别是TransCrowd[12]采用了纯Transformer模型，将每张图像转换为六个固定大小的块，然后将其展开并输入到在ImageNet上预训练的ViT编码器中。输出随后馈送到回归头以预测图像中的总数。

RCCFormer[13]引入了一种专为尺度感知和背景抑制设计的强大Transformer架构。该方法结合了多级特征融合和自适应的尺度感知注意力机制，以更好地管理严重的透视变化和复杂的背景。同样，最近的混合CNN-Transformer方法，如TCCNet[14]和CrowdCCT[15]，试图结合卷积网络的局部特征提取能力和Transformer的全局上下文建模。值得注意的是，Transformer架构在处理尺度变化和上下文推理方面表现出色，这在人群分析中代表了关键挑战。此外，基于扩散的方法最近也作为密度估计的另一种范式出现：CrowdDiff[16]将人群密度估计表述为一个去噪扩散过程，利用扩散模型的生成能力来提高高密度环境中的密度图质量和鲁棒性。该方法利用多个随机密度图实现来提高计数稳定性并减少背景噪声积累，在几个 crowdsourcing基准测试中实现了有竞争力的性能。尽管这些方法非常有效，但基于Transformer和基于扩散的方法通常引入了比轻量级基于点的架构更大的计算和内存需求。尽管这些方法通常能够实现最先进的计数精度，但由于内存占用和高推理成本，它们在嵌入式和实时环境中的部署可能具有挑战性。在实际场景中，如智慧城市监控、智能交通系统和监控平台，部署效率和低推理延迟除了计数性能之外，也是基本要求。

另一个重要且不可忽视的特点是，到目前为止提到的所有方法都依赖于自动生成密度图，通常是通过在每个注释点放置高斯核并求和这些核来创建的。密度图上每个像素的强度代表该区域的人数密度。然而，如[17]所示，这种方法生成的密度图可能与真实数据有很大差异。他们从理论和实证上证明，使用高斯平滑会影响人群计数网络的泛化性能。为了解决这些问题，他们提出了DM-Count，该方法避免使用高斯平滑，而是使用最优传输（Optimal Transport）来测量标准化预测密度图和标准化真实数据密度图之间的相似性。

即使没有高斯核，真实数据密度图仍可能包含伪影，生成的密度图必须转换为头部点。为了解决这个问题并利用对象检测方法的优势，[3]中的作者将问题表述为点检测。他们的网络，即Point to Point（P2P），消除了不必要的步骤，直接预测一组点提案来表示图像中的头部，与人类注释结果一致。P2P即使与最先进的技术相比也展示了非常有希望的结果。然而，尽管P2P和其他提到的网络通常解决了不同视角的问题，但仍存在一些额外的开放挑战：人群密度可能会有很大变化，从稀疏的集会到密集的人群，需要能够准确估计这一广泛密度范围内的计数的算法。此外，照明条件的变化、阴影、反射和天气可能会影响个体的可见性和外观，从而影响人群计数系统的可靠性。最后，尽管用于此特定任务的数据集数量正在增加，但我们也可以注意到，标记有大量人员（数千人）的图像数量仍然有限，导致在这种场景下的性能较差。同样重要的是，即使在这种情况下标记单张图像的成本也非常高（每张图像需要长达八小时的人工努力），这使得大规模数据集扩展成为不切实际的解决方案。

为了解决上述问题并利用现有文献的优势，在本文中，我们在P2P网络的基础上，提出了一种结合了课程学习（CL）和半监督学习（SSL）技术的新型训练策略。更详细地说，CL受到人类大脑训练过程的启发：网络从简单的样本开始接触训练数据，逐渐过渡到更具挑战性的样本。本质上，我们首先用包含少数人的图像开始训练，然后系统地引入更密集的图像。这种方法通过最初关注简单的任务，使模型能够处理各种人群情况，从而增强其学习效果。然而，如上所述，随着人数增加，标记图像的数量仍然较低。为了解决这个问题，SSL仅在课程的最新迭代中才被引入。这允许未标记的数据通过利用教师-学生机制[18]来参与学习过程。

重要的是要强调，CL和SSL已经在相关背景下分别进行了探索；无论如何，我们在这里提议将它们结合起来，在一个关注密度的框架中发挥互补的作用：实际上，CL通过逐步从稀疏场景到高密度场景训练模型来处理人群的结构复杂性。反之，SSL解决了高密度图像特有的极端数据稀缺问题，这些图像稀有且标注成本高昂。

在18个不同的公开可用数据集上计算的性能确认了所提出方法的有效性，该方法能够克服当前的基准P2P（目前是最先进的网络），在MAE方面提高了73%，在MSE方面提高了70%。

### 提出的方法
P2P使用VGG16作为骨干网络，并分别结合了两个独立的头部，用于点回归和得分分类，从而在一个多任务框架中同时实现人员计数和定位任务。继承了P2P的架构，在本文中，我们提出了一种结合课程学习（CL）和半监督学习（SSL）的新学习策略。CL模仿了人类学习过程，最初处理简单任务作为掌握复杂任务的基础。

### 实验结果
为了验证所提出的方法，我们考虑了表1中描述的数据集。如表所示，我们报告了每个数据集的图像分辨率（以高度×宽度表示）、数据集中所有图像的总人数（TC）、单张图像中的最小人数（MinC）和最大人数（MaxC），以及平均人数（AC）。此外，表中还报告了用于测试集（TS）的图像数量。

### 结论
本文介绍了一种用于高密度环境中人群估计的创新训练方法。它将课程学习与半监督方法结合起来，有效处理系统可能操作的多种场景，包括稀疏和高密度情况。鉴于标记数据的有限可用性，尤其是在人口密集的环境中，这种策略特别有价值。

### 性能评估
性能评估在18个不同的数据集上进行。

### CRediT作者贡献声明
Lidia Fotia：撰写——审稿与编辑，撰写——原始草稿，可视化，验证，监督，软件，资源，项目管理，方法论，调查，资金获取，形式分析，数据管理，概念化。
Gennaro Percannella：撰写——审稿与编辑，撰写——原始草稿，可视化，验证，监督，软件，资源，项目管理，方法论，调查，资金获取，形式分析，数据管理。

### 利益冲突声明
作者声明他们没有任何已知的竞争性财务利益或个人关系可能影响本文报告的工作。

Lidia Fotia | Gennaro Percannella | Alessia Saggese | Mario Vento