通过任务感知的焦点调制和特征交叉知识蒸馏技术提升拥挤场景中头部检测的准确性

《IEEE Access》：Improving Crowded Head Detection With Task-Aware Focal Modulation and Feature-Crossing Knowledge Distillation

　　摘要：在拥挤场景中准确检测头部是智能监控系统的基本要求，但由于目标体积小、遮挡严重以及实际应用中的效率限制，这一任务仍然具有挑战性。为了解决这些问题，本文提出了TAFM-KD（任务感知的焦点调制知识蒸馏）算法，用于在密集人群场景中进行轻量级头部检测。该框架采用了一种特征交叉预测对齐策略，在教师模型的预测空间中评估学生模型的特征表示，从而缓解了硬真实标签和软教师输出之间的监督冲突。此外，引入了一种任务感知的焦点调制机制，在训练过程中强调定位不佳的头部实例。通过结合这些策略，我们的方法提供了一个共享的特征空间，以优先处理难样本，从而有效地将知识从教师模型传递给学生模型，从而提高整体检测性能。与代表性的紧凑型单阶段检测器相比，大量实验表明，所提出的方法在密集拥挤场景中实现了更高的准确性，同时仅使用1.62M参数即可保持实时推理速度。这些结果表明，所提出的框架为实际拥挤监控应用中的头部检测提供了有效的准确性-效率平衡。

第一节 引言
实际应用，如智能视频监控[1]、人群理解[2]和公共安全管理[3]，在密集人群中依赖于准确的感知。两种典型的人群分析范式[4]、[5]包括密度回归（估计总体人数）和基于检测的计数流程（为单个目标生成实例级定位）。与区域级密度图相比，基于检测的方法提供的精确定位结果通常更适合支持需要精确空间线索的下游模块，例如多目标跟踪和行为分析。而在拥挤场景中，由于人与人之间的遮挡和摄像机视角变化较大，头部检测比身体/面部检测更常用[6]、[7]。在实际应用中，部署在大规模监控系统中的头部检测器必须准确定位众多小型且分布密集的人头，同时确保在资源受限的设备上实现高效推理。

受到这些挑战的启发，最近的研究将最先进的对象检测器适应于密集头部检测。得益于该领域的快速进展，许多基于CNN[8]、[9]、[10]的方法和基于Transformer[11]、[12]、[13]的方法在速度和准确性之间取得了良好的平衡。然而，在复杂的监控场景中实现准确高效的头部检测仍然极具挑战性。首先，由于摄像机到目标的距离较长以及捕获图像的分辨率较低，人类头部区域通常较小，因此容易受到复杂背景或下采样操作的掩盖。其次，个体之间的严重遮挡和显著的环境变化进一步增加了区分实际头部区域和相似背景模式的难度。第三，尽管许多实际系统依赖于来自“你只看一次”（YOLO）系列的轻量级检测器来满足边缘部署的延迟和功耗限制，但其性能仍落后于大规模模型，仍有改进的空间。

知识蒸馏（KD）[14]、[15]、[16]、[17]作为一种有效的模型学习策略出现，通过将知识从高容量教师模型传递到紧凑型学生模型来提升轻量级检测器的性能。然而，将现有的知识蒸馏方法直接应用于人类头部检测模型仍面临几个未解决的挑战。大多数先前的方法是在通用基准测试（如MS COCO[18]）上设计和评估的，其中目标规模和类别分布与监控场景中的有很大不同。在头部检测中，微小且被严重遮挡的头部占主导地位，在蒸馏过程中平等对待所有实例或空间位置无法突出最困难但关键的样本。这些限制促使我们开发了一个任务感知的蒸馏框架，明确考虑了人类头部检测的独特规模、难度和结构特征。

总之，本文提出了TAFM-KD（任务感知的焦点调制知识蒸馏），用于在拥挤场景中进行轻量级人类头部检测。该框架受到特征交叉预测对齐的启发，根据密集人类头部检测的规模、难度和结构特征定制了蒸馏过程。在SCUT-HEAD数据集上的大量实验表明，在相同的推理预算下，TAFM-KD提高了轻量级学生模型的性能，其准确性接近大型教师模型。本工作的主要贡献总结如下：我们提出了TAFM-KD，一种用于轻量级人类头部检测的任务感知知识蒸馏框架，它将特征交叉预测对齐集成到为拥挤场景定制的解耦头部检测器中。我们设计了一种难度感知的焦点调制策略，在蒸馏过程中动态强调微小和困难的头部实例，有效提高了密集和严重遮挡区域的头部检测准确性。在SCUT-HEAD上的大量实验以及对RPEE-Heads的补充评估表明，与学生基线相比，我们的框架在相同的推理成本下获得了更高的准确性。

第二节 相关工作
A. 头部检测
由于头部检测在严重遮挡和视角变化下的鲁棒性得到提高，其中头部区域不太可能被相邻个体截断，因此头部检测已成为一个重要的研究课题。近年来，人们投入了大量努力来推进头部检测，从而在准确性和效率方面取得了显著进展。早期的头部检测方法主要从通用对象检测器中改编而来，包括两阶段和单阶段框架。基于R-CNN和Faster R-CNN的代表性两阶段方法[19]、[20]、[21]利用丰富的语义上下文，加强多尺度特征表示，并利用上下文线索来提高在密集拥挤场景中检测小头部的能力。然而，两阶段检测器引入了相当大的计算开销，使得单阶段检测器更适合实际的实时应用。

越来越多的工作集中在改进用于密集场景头部检测的单阶段检测器上。Liu等人[22]提出了一种无锚点头部检测器，并采用随机数据增强策略，在拥挤场景中实现了高效和稳健的性能。Wu等人[23]为YOLOv7引入了一个协作优化框架，通过集成CBAM注意力、高斯感受野标签分配和基于SPPFCSPC的多尺度融合，实现了准确性和推理速度的一致性提升。Xie等人[24]通过改进的交并比（IoU）函数、上下文增强的尺度自适应特征融合模块和注意力引导的卷积模块，显著提高了性能。总体而言，现有的头部检测器主要通过架构改进和训练优化来提升性能。除此之外，知识蒸馏提供了一种额外的、互补的方法，可以在不修改推理时间架构的情况下进一步增强轻量级模型。

B. 对象检测的知识蒸馏
近年来，知识蒸馏在对象检测领域得到了广泛探索，现有方法可以大致分为基于特征的蒸馏和基于logits的蒸馏。基于特征的蒸馏方法[25]利用中间层中包含的更丰富的语义信息，并通过在校准器和学生模型之间对齐多级特征取得了显著的成功。例如，Ding等人[26]引入了特征丰富度得分（FRS），通过检索边界框外的有益特征并抑制边界框内的有害特征来选择用于蒸馏的信息区域，从而在基于锚点和无锚点检测器上都取得了显著提升。Zhang等人[27]通过引入注意力引导和非局部蒸馏来处理前景-背景不平衡并捕获关系线索，从而在基于锚点和无锚点检测器上都取得了显著提升。尽管许多研究表明基于logits的知识蒸馏[28]在理论上更有效地传递任务特定知识，但其实际性能长期以来受到真实标签监督和教师预测之间固有冲突的限制。Zheng等人[29]引入了一种定位蒸馏方法，通过logit模仿选择性地传递有价值的定位区域，显示出比传统特征模仿更好的性能。Yang等人[30]提出了一种一致的蒸馏框架，使用二分类logit图和基于IoU的定位蒸馏损失，从而在密集对象检测器上取得了显著提升。Wang等人[31]通过将学生的中间头部特征注入教师的检测头部来生成跨头部预测，然后使用教师的输出进行蒸馏，从而解决了这个问题。这种策略将学生模型中的检测损失和蒸馏损失的梯度更新解耦，减少了它们之间的冲突，并在标准对象检测基准测试上取得了更好的性能。

然而，现有的框架主要是为通用数据集设计的，忽略了头部检测的结构和规模特定属性。受到这些限制的启发，我们开发了一个任务感知的蒸馏框架，以解决规模变化、严重遮挡和轻量级部署的要求。

第三节 方法
在本节中，我们介绍了所提出的TAFM-KD框架。TAFM-KD旨在在保持高效推理的同时增强轻量级检测器的表示能力。如图1所示，所提出的框架遵循教师-学生学习范式。高容量的教师模型提供可靠的监督信号，而紧凑的学生模型在严格的计算约束下被训练以实现高检测准确性。图1. 所提出的TAFM-KD框架用于密集人群头部检测的流程。为了有效地将知识从高容量教师模型传递到轻量级学生模型，TAFM-KD结合了特征交叉预测对齐策略来缓解监督冲突，以及一种难度感知的焦点调制机制，以明确强调困难和定位不佳的头部实例。

A. 对象检测的知识蒸馏概述
给定输入图像I，教师和学生检测器通过特征提取器F(?)提取中间表示，并通过预测头P(?)生成检测输出。知识蒸馏（KD）通过最小化学生模型与教师模型之间的差异来增强学生模型，通常在特征或预测层面进行。在这项工作中，我们关注预测层面的蒸馏，并制定了一个通用目标LKD=Dpred(pt,ps)(1) \begin{equation*} {\mathcal {L}}_{\mathrm {KD}}={\mathcal {D}}_{\mathrm {pred}}\big (\mathbf {p}_{t},\mathbf {p}_{s}\big) \tag {1}\end{equation*} 其中pt=Pt(Ft(I)) 和 ps=Ps(Fs(I)) 分别表示教师和学生的预测。这里，Ft(?) 和 Fs(?) 表示教师和学生模型的特征提取器，而Pt(?) 和 Ps(?) 表示它们相应的预测头。Dpred(?) 是用于量化两个预测之间差异的散度度量。然而，在密集头部检测中，直接对齐教师和学生的预测pt 和 ps 通常会导致监督冲突。这主要是由于拥挤场景中模糊区域和困难样本的主导地位，其中来自硬真实标签和软教师预测的不一致梯度可能阻碍有效的知识传递。这一观察激发了特征交叉预测对齐策略，如下所述。

B. 密集头部检测的特征交叉预测对齐
遵循图1中的教师-学生范式，两个模型在训练期间接收相同的输入图像，同时保持教师模型固定以提供稳定的监督信号。与传统的基于预测的蒸馏不同，后者直接对齐教师和学生头部的输出，我们将学生的中间特征投影到教师预测空间中。具体来说，学生特征不是输入到学生自己的预测头中，而是转发到教师预测头以生成特征交叉预测。因此，特征交叉预测蒸馏损失定义为LTAFM?KD=D(pt,p′s)(2) \begin{equation*} {\mathcal {L}}_{\mathrm {TAFM-KD}} = \mathcal {D}\big (\mathbf {p}_{t}, \mathbf {p}_{s}'\big) \tag {2}\end{equation*} 其中pt=Pt(Ft(I)) 表示教师预测，p′s=Pt(Fs(I)) 表示将教师预测头应用于学生特征表示后获得的预测。这里，D(?) 表示用于量化两个预测之间差异的散度度量，这是接下来小节中介绍的任务感知焦点调制蒸馏的基础。

尽管特征交叉预测对齐通过在共享空间中强制预测级别的兼容性来缓解监督不一致性，但它仍然对所有预测赋予了相同的 importance。这对于密集人类头部检测来说是不理想的，因为大多数空间位置对应于容易的样本，导致蒸馏梯度被背景区域和定位良好的头部实例所主导。结果，学生模型可能会过度拟合容易的案例，而无法充分拟合困难和信息丰富的样本，例如微小和严重遮挡的头部，这些样本对于提高拥挤场景中的检测性能至关重要。

C. 任务感知的焦点调制蒸馏
为了解决这一限制，我们引入了一种任务感知的焦点调制机制，在蒸馏过程中强调困难和信息丰富的预测。如图2所示，所提出的加权机制根据教师模型和学生模型输出之间的差异动态评估预测难度，对难点样本赋予更高的权重，同时抑制简单样本的权重。我们的设计不是独立应用焦点式重新加权，而是在特征交叉对齐的基础上进行难度感知加权，在共享的教师预测空间中计算教师模型和学生模型之间的差异。由于这些差异是基于特征交叉预测得出的，因此得到的难度估计在空间位置和特征层次上更加一致，并且受教师模型和学生模型结构不匹配的影响较小。这种依赖性对于密集人群头部检测尤为重要，因为在密集人群中，微小和严重遮挡的头部很容易被大量简单样本所主导。

此外，加权机制分别为分类分支和回归分支单独实现。这种分支间的解耦在拥挤场景中非常重要，因为学生模型可能正确地分类出头部，但由于头部尺寸微小和严重遮挡而无法精确定位。通过独立加权这两个分支，所提出的蒸馏策略根据任务特定的难度分配监督信息，同时保持与解耦的检测目标一致。

在分类分支的蒸馏中，散度度量D(?)被设置为预测级别的质量焦点二进制交叉熵散度：
$$
\mathcal {L}^{\mathrm {cls}}_{\mathrm {TAFM-KD}} = \mathrm {BCE}\!\left ({ \mathbf {p}_{t}^{\mathrm {cls}}, \mathbf {p}_{s}^{\prime \mathrm {cls}} }\right) \cdot \left |{ \mathbf {p}_{t}^{\mathrm {cls}} - \mathbf {p}_{s}^{\prime \mathrm {cls}} }\right |^{\beta },
$$
其中$pclst$和$p′clss$分别表示教师模型和特征交叉学生模型的分类预测概率。指数β是一个控制难度感知调制强度的焦点超参数。

对于定位蒸馏，散度度量D(?)被实现为焦点调制的广义交并比(GIoU)散度，因为GIoU即使对于非重叠的边界框也能提供有意义的梯度，并且已被广泛用于目标检测中的鲁棒边界框回归[32]。
$$
\mathcal {L}^{\mathrm {reg}}_{\mathrm {TAFM-KD}} = \left ({ 1 - \mathrm {GIoU}\!\left ({ \mathbf {p}_{s}^{\prime \mathrm {reg}}, \mathbf {p}_{t}^{\mathrm {reg}} }\right) }\right)^{\gamma },
$$
其中$pregt$和$p′regs$分别表示教师模型和特征交叉学生模型的解码边界框预测，γ是一个焦点超参数。

这种公式根据定位质量自适应地重新加权回归梯度，抑制了大量低质量预测的影响，同时强调难点定位情况，这在密集场景中对于小型和严重遮挡的头部实例尤为普遍。

最终训练目标将标准检测损失与来自分类和回归分支的提出的任务感知蒸馏损失结合起来：
$$
\mathcal {L} = {\mathcal {L}}_{\mathrm {DET}} + \lambda _{\mathrm {KD}}^{\mathrm {cls}} \ {\mathcal {L}}_{\mathrm {TAFM-KD}}^{\mathrm {cls}} + \lambda _{\mathrm {KD}}^{\mathrm {reg}} \ {\mathcal {L}}_{\mathrm {TAFM-KD}}^{\mathrm {reg}},
$$
其中$\lambdaclsKD$和$\lambdaregKD$决定了两个蒸馏项的贡献，$LDET$包括基线检测器中使用的分类和回归损失。

请注意，尽管分类和回归的难度水平可能不同，但所提出的方法并不明确给任一分支分配优先级。相反，我们的方法允许在不同的分支中独立优化不同的任务。

### 第四节 实验结果与分析
#### A. 数据集和评估协议
为了评估所提出方法的有效性，我们在两个公开可用的人群头部检测基准数据集上进行了实验，包括SCUT-HEAD [21]和RPEE-Heads [33]。

1) **SCUT-Head**
该数据集包含PartA和PartB，是我们实验的主要基准。PartA主要由密集拥挤的室内场景组成，其中小型头部占很大比例，而PartB涵盖了更多不同的视角，并包括更多的中型和大型头部。遵循MS COCO等目标检测基准中的常见做法，我们根据边界框面积将头部实例分为三个规模范围。这种划分使我们能够对方法进行尺度敏感的评估。表1总结了两个子集的统计数据。PartA主要由小型头部组成（超过90%），而PartB在小型、中型和大型头部之间显示出更平衡的分布。我们遵循数据集提供的标准划分设置，用于PartA和PartB的训练、验证和测试。

2) **RPEE-Heads**
RPEE-Heads数据集包含1886张带有头部边界框注释的图像，这些图像来自三个现实世界场景，包括火车站台、音乐音乐会入口和受控活动入口。根据官方划分，1346/246/294张图像分别用于训练/验证/测试。该数据集涵盖了多种监控视角和室内室外环境，以及白天和夜间的条件。它通过提供更多样化的场景布局和视角配置，以及不同收集场景下的头部密度分布，补充了SCUT-HEAD。

#### C. 评估指标
对于性能评估，我们采用标准的对象检测指标，包括精确度（P）、召回率（R）和平均精度（mAP）。边界框定位使用交并比（IoU）来衡量：
$$
\text {IoU} = \frac {A \cap B}{A \cup B}
$$
其中A和B分别表示预测的边界框和真实边界框。精确度（P）、召回率（R）和mAP计算如下：
$$
P = \frac {TP}{TP + FP}
$$
$$
R = \frac {TP}{TP + FN}
$$
$$
\text {mAP} = \frac {1}{N}\sum _{i=1}^{N} AP_{i}
$$
其中N是类别的数量，在本工作中设置为1。报告mAP0.5和mAP0.5:0.95以提供全面的检测性能评估。为了评估模型效率，我们还报告了参数数量（M）和以FPS为单位的推理速度。为了公平比较，FPS是在单个NVIDIA A6000 GPU上测量的，批量大小为1，输入大小为640×640，精度为FP32。我们在短暂的热身后报告了多次运行的平均吞吐量，排除了数据加载和后处理操作（例如NMS）。

#### B. 实现细节
对于教师模型预训练和蒸馏训练，输入图像大小设置为640×640。在蒸馏过程中，学生模型使用SGD算法进行50个周期的训练，批量大小为8，动量为0.937，权重衰减为5×10^-4。蒸馏的初始学习率设置为0.002，而教师模型预训练了100个周期，初始学习率为0.01。所有实验中蒸馏损失的平衡系数设置为$\lambdaclsKD=1.0$和$\lambdaregKD=1.0$。除非另有说明，我们使用$\beta=1$进行分类，$\gamma=2$进行定位。我们还在消融部分报告了$\beta$和$\gamma$的敏感性分析，以检验重新加权策略的鲁棒性。在这两个阶段，都采用了余弦退火计划来衰减学习率。为了提高对小型头部实例的鲁棒性，应用了马赛克增强技术，并在最后10个周期中禁用了该技术。教师模型和学生模型采用了专门为小型人类头部检测设计的相同架构[34]，但在网络宽度和深度上有所不同。所有其他基线检测器都使用与教师模型相同的超参数设置进行训练，以便公平比较。

#### C. 对比实验
我们在相同的评估协议下，将提出的TAFM-KD与SCUT-HEAD数据集上的代表性单阶段检测器进行了比较。表2报告了PartA和PartB上的整体性能，包括检测准确性、推理速度（FPS）和模型大小（以参数数量（M）表示）。

1) **整体比较**
PartA主要由极小的头部和严重的遮挡组成，这对轻量级检测器来说特别具有挑战性。在这种设置下，TAFM-KD在所有比较方法中表现最强。与最强的基线YOLOv11n相比，mAP0.5:0.95的增益表明，所提出的难度感知调制减少了简单样本的主导地位，并将更多的学习信号重新分配给难点样本。因此，学生模型学会了更鲁棒和细粒度的特征表示，以处理密集场景中的微小和严重遮挡的头部实例。

PartB包含更多不同的视角和更平衡的头部规模分布，为SCUT-HEAD内的不同密度和规模组合提供了互补的评估。在这种设置下，TAFM-KD保持了竞争力，同时实现了89.50的召回率和93.08的相当精确度。这种平衡的改进表明，所提出的蒸馏策略在不同密度和规模组合的子集中仍然有效，而不仅仅是由单一的人群设置驱动的。

除了检测准确性外，实际部署在监控场景中还需要严格的效率约束。TAFM-KD仅包含1.62M参数，比超快基线YOLOv5n（2.50M）少35.20%，同时保持了191.57 FPS的实时推理速度。尽管YOLOv5n的吞吐量更高，达到每秒261.10帧，但在PartA和PartB上的检测准确性明显较低。相比之下，TAFM-KD在准确性和效率之间提供了更平衡的折中，使其特别适合实际监控应用中的密集和小规模人类头部检测。

#### 2) 不同规模目标的分析
为了提供尺度敏感的分析，表3按头部大小分层报告了性能。在PartA上，TAFM-KD对于小型头部的增益最为明显，这与强调密集人群中难点和小规模实例的目标一致。对于中型头部也观察到了增益，表明所提出的方法在关注小型对象时并没有牺牲整体检测能力。

#### D. 定性结果
1) **定性结果**
为了更好地说明所提出的TAFM-KD框架在密集人群中检测小型人类头部的有效性，我们在SCUT-HEAD数据集的PartA和PartB上可视化了几种代表性的检测结果，如图3和图4所示。对于每个图表，左列显示了蒸馏前的基线模型检测结果，右列显示了所提出的TAFM-KD框架产生的相应结果。

如图3所示，基线模型在具有挑战性的条件下（如严重遮挡和不寻常的视角）仍然存在漏检。这些失败主要是由于轻量级检测器在处理密集场景中的难点样本时表示能力有限。通过所提出的蒸馏框架结合来自高容量教师模型的监督，学生模型能够更好地捕捉难处理头部实例的区分性线索。因此，TAFM-KD提高了对严重遮挡和模糊头部的检测能力，展示了在复杂拥挤环境中的增强鲁棒性。

PartB引入了更具挑战性的场景，包括更多的视角变化、更大的规模变化和更多样化的场景布局。如图4所示，第一行显示了当行人背对相机时，基线模型错过了大量目标的场景。第二行展示了大景深的情况，基线模型未能检测到许多小型头部实例。相比之下，所提出的TAFM-KD框架通过教师引导的蒸馏成功恢复了这些被遗漏的目标。这些定性结果进一步证实了所提出的方法在应对视角变化、规模变化和复杂场景结构方面的鲁棒性。

2) **失败案例分析**
虽然TAFM-KD在密集场景中提高了检测能力，但在某些极端场景中仍然遇到困难。如图5所示，典型的失败案例可以大致分为严重遮挡和语义混淆。在极端遮挡场景中，即使只有头部的一小部分可见（顶部行），检测失败仍然可能发生。此外，在复杂的环境中，检测器有时会错误地将背包和椅子靠背等物体识别为头部，因为这些背景区域的颜色或纹理模式与头部相似（左下角）。由于上下文信息有限且分辨率较低，某些低分辨率区域中的身体部位（如手或肩膀）有时会被错误地分类为头部（左下角）。此外，大型帽子或头盔等重型配饰会显著改变头部的外观，并遮挡关键的视觉线索，导致检测失败（右下角）。为了解决这些限制，未来的工作可能需要整合更强的上下文推理和时间线索。图5展示了TAFM-KD的典型失败案例。常见错误包括由于背景杂乱导致的误报以及由于严重遮挡或重型配饰导致的检测遗漏。

E. 消融实验
1) 训练动态
为了理解特征交叉如何通过提高梯度稳定性来缓解监督冲突，首先，固定的教师模型为学生优化提供了相对一致的监督方向。其次，所提出的特征交叉机制有助于在特征对齐过程中保持更稳定的优化幅度，如图6所示。这两个因素的结合降低了优化难度，使训练过程更加稳定。此外，所提出方法的有效性及其对超参数变化的鲁棒性（这是一个理想的属性）将在后续的消融研究中得到进一步证明。图6展示了训练过程中蒸馏梯度范数的演变。

2) 组件必要性
为了验证所提出组件的必要性，我们通过增加网络深度和通道宽度来构建一个高容量的教师模型，基于相同的学生架构。除非另有说明，所有蒸馏变体都采用相同的固定教师和学生架构。因此，任何性能变化都可以归因于蒸馏监督的差异，而不是架构修改。表4总结了不同蒸馏变体在SCUT-HEAD数据集上的结果。

表4 SCUT-HEAD数据集上的消融结果
尽管学生模型已经取得了良好的性能，但消融结果显示特征交叉预测蒸馏在两个子集上都提高了性能，而引入的任务感知焦点调制进一步带来了提升。这些发现表明，这两个组件在蒸馏过程中起着互补的作用。具体来说，特征交叉将对齐将学生预测映射到教师预测空间中，从而为测量预测层面的教师-学生差异提供了更一致的基础。在此基础上，任务感知焦点调制进一步强调了对齐空间内的难点实例，使蒸馏过程能够更有效地关注信息量较大的样本。

3) 焦点参数的敏感性分析
为了评估所提出的任务感知焦点的鲁棒性，我们使用SCUT-HEAD PartA数据集对焦点超参数β和γ进行了敏感性分析。如表5所示，我们改变了β∈{0,1,2}和γ∈{1,2,3}。结果表明，不同组合下的性能相对稳定，最佳平衡点出现在β=1和γ=2时。过大的值（例如γ=3）会导致性能略有下降，这可能是由于它们过度抑制了中等难度实例的梯度，从而导致优化不稳定。这些结果表明，适当的难度感知加权对于稳定和有效的知识转移是有益的。

表5 SCUT-HEAD PartA上β和γ的敏感性分析。每个条目报告mAP0.5 / mAP0.5:0.95

4) 可重复性
为了验证我们方法对随机初始化的稳定性，我们在SCUT-HEAD PartA数据集上使用不同的随机种子进行了三次独立运行。TAFM-KD的平均mAP0.5为94.67%，标准差仅为0.05%；平均mAP0.5:0.95为44.58%，标准差为0.03%。运行之间的最小方差证实了所提出的特征交叉对齐机制的鲁棒性，性能提升是统计上显著的，而不是由于幸运的种子。

5) RPEE-Heads上的补充结果
为了验证TAFM-KD的泛化能力，我们使用相同的评估协议在RPEE-Heads数据集上评估了相同的教师-学生对，该数据集在视角、场景布局和环境条件方面具有更大的多样性。如表6所示，与SCUT-HEAD数据集的结果相比，教师模型的表现相对不令人满意。尽管存在这些困难，所提出的方法在RPEE-Heads上仍然比学生基线有明显的提升。

第V节. 局限性和结论
A. 结论
在这项工作中，我们提出了TAFM-KD，这是一种用于拥挤场景中轻量级头部检测的任务感知知识蒸馏框架。通过结合特征交叉预测对齐和难度感知焦点调制，所提出的方法缓解了监督冲突，并在蒸馏过程中强调了难以定位的头部实例。在SCUT-HEAD上的实验表明，该方法在不增加额外推理时间成本的情况下，持续提高了性能；而在RPEE-Heads上的补充结果表明，在更多样化的监控条件下，这种提升仍然存在。特别是，所提出的方法对于小尺寸和被遮挡的头部具有明显优势，缩小了轻量级学生模型和高容量教师模型之间的性能差距。

B. 局限性
本研究主要研究了同一检测器家族内的教师-学生蒸馏，这是实际知识蒸馏流程中常用的设置。尽管实验结果验证了所提出的特征交叉对齐策略在这种配置下的有效性，但其对更多异构架构的适用性仍需进一步研究。此外，当前的评估是在选定的头部检测基准数据集上进行的，而在RPEE-Heads上的实验提供了超出SCUT-HEAD的数据集的支持证据。在更多样化的数据集、异构的蒸馏设置和代表性的边缘部署平台上进行进一步验证将增强现有发现的泛化能力。此外，由于极端光照变化和运动模糊在现实世界场景中很常见，因此提高在这些具有挑战性条件下的鲁棒性也值得进一步研究。