WQCount：基于特征解耦的单一域人群计数泛化方法

《Computer Vision and Image Understanding》：WQCount: Single Domain Generalization for crowd counting based on feature decoupling

　　•通过单源域技术，人群计数可扩展到未见场景。•为提升精度，特征被分解为不同尺度对应的子空间。•通过记忆库与原型分离机制减少领域干扰。•基于尺度竞争的聚合方法可提高人群密度估算精度。•在较低计算成本下实现更精准的计数效果。

引言
在计算机视觉领域，人群计数旨在估算图像或视频中行人的数量。随着城市化的快速发展和全球人口增长，精确的人群监测对于公共安全管理及商业分析而言愈发重要（Sindagi等人，2020年）。早期研究主要依赖基于检测的方法（如滑动窗口检测器和头肩检测器），但在高度拥挤的场景中，由于严重遮挡和背景杂乱，这类方法的性能会大幅下降。为克服这些局限，密度图回归作为一种主流方法出现，它能够预测出连续的密度图，其积分值对应总人数（Zhang等人，2016年）。与基于检测的方法相比，密度回归技术在密集且存在遮挡的场景中更具鲁棒性。

然而，这些密度估算方法的优异性能在很大程度上依赖于独立同分布的假设——即训练数据和测试数据具有相同的分布特征。但这一假设在现实应用中很少成立。人群图像往往是在不同的视角、光照条件及环境背景下拍摄的，这导致不同场景之间存在显著的领域差异。因此，基于特定数据集或场景训练的模型，在应用于未知领域时往往会出现性能显著下降的问题。

为缓解由领域差异带来的性能下降，许多研究采用了领域自适应技术（DA）（Zhang等人，2015年；Wang等人，2019年；Zhu等人，2023年；Wu等人，2021年；Cheng等人，2023年；Donahue等人，2013年；Y. Liu等人，2020年；Zhong等人，2025年），该技术通过在训练过程中利用目标领域的数据，将标记过的源领域知识迁移至特定目标领域。尽管领域自适应技术已取得不错成果，但由于其对目标数据的依赖，其在现实环境中的人群计数应用中存在较大限制，因为目标领域的样本往往难以获取或收集成本高昂。相比之下，领域泛化技术（DG）旨在仅通过源领域数据训练模型，并直接将其泛化到未知的目标领域，而无需借助任何目标领域数据。这种方案更适用于实际应用，但由于源领域与未知目标领域之间的分布变化难以预测，因此难度也更大。作为更具挑战性且更实用的延伸，单领域泛化技术（SDG）则要求模型仅在单一源领域内进行训练。这一限制构成了重大瓶颈，因为模型容易过度拟合视角和光照等领域特定因素，从而影响其泛化能力。我们的工作正是针对人群计数领域的这一挑战展开的。

近期关于人群计数领域泛化的研究提出了基于记忆的机制（Du等人，2023年）、元学习策略（Du等人，2023年）以及辅助分类任务（Peng和Chan，2024年），以提升模型对领域差异的抵抗能力。不过，这些方法仍然通过直接拼接或简单融合从不同骨干网络阶段提取的多级特征来构建密度表示。这种多尺度耦合方式忽视了层次化特征之间固有的响应差异。如图1(b)所示，这种方法往往会降低最终密度表示中头部区域的关键响应强度。这一缺陷对基于记忆的框架尤为有害，因为用这些受损表示更新后的记忆库会变得不可靠，进而影响跨领域泛化能力。

为克服多尺度耦合的局限性，我们提出了WQCount框架，该框架明确将不同尺度的特征表示分解为独立的子空间，以实现单领域泛化。通过尺度感知的特征优化，WQCount促进了各尺度间的功能专业化，使不同分支专注于捕捉不同的特征模式。如图1(f)所示，这种专业化使得某个特定分支能够有效捕获与领域无关的头部特征。这些专业化的特征表示还通过独立的记忆库得到进一步强化，该记忆库通过原型分离机制减轻领域特定因素的干扰。最后，一种基于尺度竞争的聚合策略通过逐像素最大值选择来合成全局密度图，确保最终预测结果由与局部头部尺度最匹配的分支主导。简而言之，本文的贡献如下：
(A)我们打破了多尺度特征耦合的传统思路，提出了特征处理模块（FPM），该模块将不同尺度的特征表示明确分解为独立子空间。通过结合多尺度特征调整机制和相似度注意力机制，FPM实现了各尺度间的功能专业化，使不同分支能够捕捉不同的特征模式。此外，分布损失函数还为特征表示的分离提供了明确的监督机制，防止特征表示崩溃。
(B)我们引入了针对不同尺度的记忆模块，用于强化这些分离后的特征表示。这有助于实现原型分离，减少领域特定因素的干扰，从而生成可靠且与领域无关的计数特征表示。为合成全局密度图，我们提出了最大密度融合算法，该算法通过逐像素最大值选择，使最终预测结果更倾向于由与局部头部尺度匹配度更高的分支决定。
(C)我们提出了分支密度损失函数，用于基于置信度进行监督。在最大密度融合策略下，该函数能使主导分支与真实值保持一致，同时抑制其他分支中的错误密度估计，有效避免在领域差异情况下易出现的虚假密度峰值。
(D)在多种跨领域基准测试上的实验结果表明，WQCount具有出色的性能。与现有的先进单领域泛化方法相比，WQCount在参数更少、计算成本更低的情况下，即便在严重的领域差异条件下也能展现出竞争力。

章节摘录
人群计数中的密度估算方法
目前，密度图回归是密集人群计数的主流方法，其目标是预测出逐像素的密度图，这些密度图的数值总和即为总人数。在实际应用中，由于视角差异造成的尺度变化是一个重大挑战。早期的相关研究通过设计多列架构，如MCNN（Zhang等人，2016年）和Switch-CNN（Sam等人，2017年），来提取不同尺度的特征，以此应对这一问题。近期的研究则提出了更多新方法（Jiang等人，2020年；Song等人……）

人群计数基础知识
本节概述了基于深度学习并通过密度图回归实现人群计数的相关基础知识。其目标是为神经网络N训练参数为θ的模型，该网络输入为尺寸为RH×W×3的图像I，其中H和W分别代表图像的高度和宽度，网络输出为相同空间尺寸的预测密度图D?=N(I;θ)。通过累加预测密度图中所有像素的值，即可得到估算的人数c?：c?=∑i=1H∑j=1WD?ij。而真实的密度图D则由……生成。

评估指标
在实验中，我们采用平均绝对误差（MAE）和均方误差（MSE）来评估模型的准确性和稳定性，这两种指标的定义如下：MAE=1N∑i=1N|Zi?ZiT|，MSE=1N∑i=1N|Zi?ZiT|2。其中，Zi和ZiT分别代表第i张测试图像的预测值和真实值，N为测试图像的总数。MAE值越小，说明模型精度越高；MSE值越小，说明模型的稳定性越好。

数据集
我们在四个广泛使用的数据集上对我们的方法进行了测试……

结论
在本文中，我们提出了WQCount框架，这是一种专为人群计数中的单领域泛化而设计的、具有尺度解耦功能的框架。我们打破了传统的多尺度特征耦合思路，引入了特征处理模块，该模块将层次化的特征表示明确分离为独立的子空间，从而有效引导不同分支捕捉不同的特征模式。为进一步减少领域特定因素的干扰，这些专业化的特征还通过独立的……得到增强。

CRediT作者贡献声明
郑远丹：写作——审阅与编辑，指导。李彤：写作——审阅与编辑，原始稿撰写，验证，指导。何静熙：原始稿撰写，可视化。蔡兆宇：可视化。谢俊峰：写作——审阅与编辑。陈晓涵：写作——审阅与编辑，指导，资金筹集。

利益冲突声明
作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢
本研究得到了广东海洋大学科学研究启动基金（项目编号060302102305）以及广东省南海海洋牧场智能装备重点实验室基金（项目编号2023B1212030003）的支持。

郑远丹|李彤|何静熙|蔡兆宇|谢俊峰|陈晓涵