TDCount：仅基于热成像技术的 crowd counting（人群计数）技术，适合注重隐私保护的场景部署

《Pattern Recognition》：TDCount: Thermal-only crowd counting for privacy-conscious deployment

　　

• •
  提出了一种仅使用热成像的TDCount方法，用于实时人群计数。
• •
  利用深度到RGB的扩散先验来增强热成像的表示能力，无需RGB信息的输入。
• •
  研究表明，一步LCM特征比多步去噪方法更好地保留了条件结构。
• •
  在保持竞争性计数准确性的同时，减少了部署时的RGB隐私暴露。

引言

人群计数用于估计图像或视频中的人数，应用于公共安全、城市规划和事件管理等领域。尽管最近取得了进展，但由于人群密度变化大、遮挡物以及环境条件多样，这一任务仍然具有挑战性[1]。传统的RGB方法在夜间或照明不良等不利条件下表现不佳，并且会捕获可识别特征，从而引发隐私问题。RGB热成像（RGB-T）人群计数[2]通过结合热成像来提高在不同光照条件下的性能，但仍然存在隐私问题。现有的RGB-T方法基于以下共识：RGB提供光线充足环境下的丰富外观特征，但受光照影响；而热成像则能捕捉热信号，但难以区分人类和其他热源。基于这一共识，研究人员专注于设计有效的融合策略，以利用这两种模态[3],[4]。

然而，随着RGB-T人群计数的研究进展，尽管融合策略日益复杂，性能提升却逐渐放缓。一个重要的观察是，几乎所有融合方法都隐含着一个理想化的假设：RGB和热成像数据之间的完美或接近完美的对齐。实际上，由于传感器放置和采集时间的不同（见图1），RGB-T数据往往存在空间和时间上的不一致性，这给融合策略带来了额外的复杂性，需要显式或隐式地解决。虽然最近的一些工作开始解决这一挑战，但进展有限[5]，这表明绕过对齐问题可能比直接解决它更为可行。这些观察使我们提出了一个补充性假设：是否可以通过更有效的特征利用，使单一模态系统媲美复杂的双模态系统，同时避免RGB-T融合所固有的对齐问题和隐私风险？

为了验证这一假设，我们研究了精心设计的全热成像模型是否能够达到与最先进的RGB-T融合方法相当的性能，从而证明RGB模态对于准确的人群计数并不是不可或缺的。全热成像方法相比依赖RGB的方法具有两个根本优势。首先，热成像在所有光照条件下都能保持一致的功能性，即使在完全黑暗的环境中RGB相机也无法工作。尽管热成像在热信号解释上存在一定的歧义，但这些歧义可以通过互补的语义信息得到改进。这比在低光照条件下处理RGB流中缺乏的视觉数据更为可行。其次，热成像通常揭示的可直接识别的外观细节较少，从而减少了在公共监控应用中的直接视觉身份暴露。我们需要明确我们这种注重隐私的设计范围：我们在训练时使用RGB数据——仅用于离线训练，以学习跨模态先验；而在部署时数据捕获，则不会在未经同意的情况下在公共空间持续记录RGB数据。我们的框架消除了后者，后者是公共监控中直接视觉身份暴露的主要来源。我们承认，在某些条件下，热成像本身仍会带来隐私风险；因此，我们的设计目标是降低风险，而非提供绝对的隐私保障。

在这项工作中，我们提出了TDCount，这是一个专门为仅使用热成像的RGB-T人群计数场景设计的新型框架。为了解决热成像表示中的固有歧义，我们采用了预训练的深度到RGB扩散模型作为互补语义信息的来源。通过从热图像中提取深度图并利用扩散模型学到的丰富先验，我们在无需RGB数据的情况下增强了热特征的区分能力。我们没有使用标准的学习深度模型（LDMs），因为它们需要数百步的去噪过程，且作为特征提取器计算成本很高。相反，我们采用了潜在一致性模型（LCM），通过其一致性约束仅需几步就能实现有意义的特征提取。一个关键的设计选择是固定初始的噪声潜在变量，并在整个训练和推理过程中重复使用它，使特征提取过程完全确定且可训练。热表示进一步通过文本引导的原型与扩散模型的语义空间对齐。至关重要的是，我们仅使用LCM的去噪第一步进行特征提取，因为我们发现额外的步骤会通过优先考虑感知质量而不是结构保真度，逐渐使特征与深度条件信号分离，从而积累误差，降低计数准确性。总之，我们的主要贡献有三点：

• •
  我们提出了TDCount，这是一种新的仅使用热成像的RGB-T人群计数框架，它利用基于扩散的跨模态先验，同时消除了部署时的RGB依赖性。
• •
  我们引入了一种基于LCM的特征学习策略，用于热成像人群计数，并证明确定性一步特征提取比多步去噪更有效地保留了深度条件下的结构信息。
• •
  在两个RGB-T人群计数基准测试上的广泛实验表明，TDCount仅使用热成像输入即实现了与现有方法相当的性能，为双传感器RGB-T系统提供了一个实用的替代方案。

部分摘录

单一模态人群计数：

基于深度学习的发展，人群计数[6],[7]取得了显著进展。早期的CNN基方法专注于设计多尺度架构来处理人群场景中的尺度变化。MCNN[8]采用具有不同感受野的多列网络，而CSRNet[9]使用扩张卷积来捕捉更广泛的上下文信息。除了架构设计，一些工作还解决了点监督人群计数中的注释噪声问题。

方法论

给定一对RGB和热成像的人群图像，现有的RGB-T人群计数方法基于强模态对齐的假设来设计融合策略。然而，这种假设在实践中很少成立。我们没有尝试对齐不匹配的模态，而是使用深度作为桥梁模态，并预训练了一个ControlNet$f_{\theta }$，该模型捕捉深度和RGB域之间的关系，从而实现仅使用热成像的推理。

数据集和评估指标

我们在两个广泛使用的RGB-T人群计数数据集上进行了实验：

• •
  RGBT-CC [2] 是最大的RGB-T人群计数数据集，包含2030对分辨率为640 × 480的RGB-热成像图像对。该数据集共包含138,389个标注的行人。这些图像涵盖了购物中心、街道和火车站等多种场景。在2030张图像中，1013张是在光照条件下拍摄的，1017张是在黑暗条件下拍摄的。
• •
  DroneRGBT [43] 是基于无人机的数据集

计算效率

TDCount包含1776亿个活跃的推理参数，每张384 × 384的图像需要413.07 GFLOPs的计算量，其中深度估计占335.57 GFLOPs（81.2%）。在配备Intel Xeon Gold 5320R CPU的RTX A6000上进行推理时，每张图像大约需要0.45秒。因此，目前的实现并非实时；我们的部署声明指的是仅使用热成像传感器的配置，而不需要连续的RGB输入。通过提取一个紧凑的、特定于任务的生成模块，并采用

结论

在这项工作中，我们提出了TDCount，这是一种仅使用热成像的人群计数框架，它解决了现有RGB-T方法的局限性。虽然传统的RGB-T方法在部署时依赖于连续的RGB捕获——这引发了隐私问题并导致了多模态不对齐——但我们的框架在推理时只需要热成像输入，RGB仅在离线ControlNet训练期间使用，用于策划好的基准测试。这种注重隐私的设计消除了连续RGB捕获的需求。

CRediT作者贡献声明

钱一飞：撰写——审阅与编辑、初稿撰写、可视化、验证、软件、方法论、调查。郭忠良：撰写——审阅与编辑、初稿撰写、监督、软件、项目管理。林艳：撰写——审阅与编辑、初稿撰写。雷春同：撰写——审阅与编辑、初稿撰写、方法论。高莉：撰写——审阅与编辑。邓博文：撰写——初稿。刘代宗：撰写——审阅与

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的财务利益或个人关系。

钱一飞于2020年在英国圣安德鲁斯大学获得数据密集分析硕士学位，2024年在同一所大学获得统计学博士学位。他目前是英国诺丁汉大学计算机科学学院的博士后研究员。他的研究兴趣包括图像和视频处理、半监督学习、人群分析以及生物学领域的人工智能。

钱一飞|郭忠良|林艳|雷春同|高莉|邓博文|刘代宗|刘春蓬|洪晓鹏|迈克尔·P·庞德