一个多任务视觉框架：基于几何特征的无人机群体计数与定位技术，应用于媒体实践

《Displays》：A multi-task visual framework: Geometry-guided UAV crowd counting and localization for media practice

　　何子清|王龙飞|徐慧英|朱新中|Wouladje Cabrel|Golden Tendekai Mumanikidzwa
悉尼大学媒体实践学院，澳大利亚新南威尔士州悉尼2050

**摘要**
由于严重的视角扭曲和极端的比例变化，从无人机航拍图像中准确计数和定位人群仍然具有挑战性，这阻碍了数据驱动的新闻业和媒体验证工作流程的可靠性。本文介绍了一个基于几何学的多任务框架，该框架明确整合了飞行元数据（包括地面采样距离（GSD）地图、相机内参和高度参数），以解决这些基本问题。我们的“视角感知注意力金字塔”（PAAP）将几何先验编码到自适应特征层次结构中，通过不确定性加权的多任务学习联合优化点级检测、密度估计和空间聚类。在六个基准测试（ShanghaiTech-A/B、UCF-CC-50、UCF-QNRF、NWPU-Crowd、JHU-Crowd++）中的综合评估显示了一致的优越性：与领先的基于点的方法相比，MAE减少了2.2-3.6％；与密度回归基线相比，性能提高了20％-40％。在空间定位方面，PAAP的平均F1分数为0.750，在严格的像素级阈值（σ∈{1,2,3}像素）下，其性能比最先进的方法高出1.5％-2.0％。在六个公共基准测试和以新闻业为导向的验证设置中的评估表明，所提出的框架在媒体实践中具有实际应用价值。

**引言**
准确的人群估计和定位不仅在城市治理和公共安全中发挥着关键作用[1]，[2]，而且在数据驱动的新闻业中也越来越重要，因为可验证的叙述和空间分辨的定量跟踪需求很高[3]，[4]。无人机的出现极大地扩展了媒体专业人士的观察能力，使他们能够从以前无法实现的空中视角实时记录和定量分析大规模公共事件——从政治集会和街头抗议到灾难响应和文化节日[5]，[6]。然而，充分利用航拍图像进行可信的视觉叙事和事实核查仍然受到两个基本科学挑战的阻碍：严重的视角扭曲和空中成像固有的极端比例变化[7]，[8]。传统的群体分析算法主要针对地面级或接近水平的视角设计[9]，[10]，不适合无人机环境中普遍存在的自上而下的非线性几何结构，导致性能大幅下降和空间精度受损[11]，[12]。点级人群计数和定位——同时预测总人数和每个个体的确切空间坐标——已成为现代媒体实践的关键要求[13]，[14]。与汇总计数不同，点级输出可以实现特定区域的定量跟踪（例如，“有多少参与者进入了A区与B区？”）、时间轨迹分析（例如，用于调查性报道的人群流动动态）和地理归属（例如，验证关于特定地标抗议密度的声明）[15]，[16]。这些能力对于新闻验证至关重要，因为编辑必须将视觉证据与目击者描述、官方声明和第三方数据源进行交叉验证[17]。此外，在数据治理和公共透明度的背景下，精确的定位支持审计追踪，有助于回顾性验证事件报道并减少错误信息的传播[18]，[19]（见图1）。

尽管有这些需求，但传统范式在面对基于无人机的媒体场景时存在系统性限制。在过去十年中，密度图回归方法[20]，[21]，[22]一直是最受欢迎的方法。它们使用高斯核将注释的点标签结合起来创建连续的密度场，然后使用像素级回归损失（如欧几里得或结构相似性指标）进行监督。虽然这种平滑操作可以减少注释噪声并处理遮挡，但它从根本上牺牲了空间分辨率：结果得到的密度图将个体位置模糊为概率分布，使得精确定位变得不可行[23]，[24]。这种粒度的损失在媒体环境中尤其有害，因为在媒体环境中，能够准确定位特定群体（如识别封锁队形或疏散者集中区）对于叙述的准确性和编辑决策至关重要[25]。

最近的基于点的检测框架[26]，[27]，[28]利用一对一或集合匹配的监督——例如DETR风格模型中的匈牙利分配[29]——直接回归离散点集，将对象计数和定位统一在一个端到端可训练的流程中。然而，它们的核心架构假设——包括统一的特征尺度、视角不变的提议以及依赖于预训练的自然图像骨干网络——在基于无人机的成像场景中通常会失败[30]，[31]。这种失败主要是由于无人机视角引起的严重几何扭曲：图像中心附近的人通常占据15-20个像素，而边缘的人由于径向镜头扭曲和高度引起的透视缩短而缩小到只有3-5个像素[32]，[33]。如果没有针对空中相机配置的显式几何建模——例如结合内参/外参、飞行高度或云台方向——基于点的检测器会受到尺度敏感的召回率下降和空间偏差的误报。当在基于地面的监控数据集（例如ShanghaiTech [9]）上训练的模型在特定于无人机的基准测试（如VisDrone [7]）上进行评估时，这种限制明显体现在20％-40％的mAP下降上。

实际媒体需求（实时、可验证、空间分辨的人群智能）与主流计算模型的能力之间的这种新兴差距突显了迫切需要原则性的跨学科解决方案。在现代媒体实践中，将原始无人机镜头转换为可靠、可解释和可验证的定量资产的能力至关重要——不仅对于数据新闻业，而且对于提高公共讨论的透明度、支持基于证据的政策制定和打击视觉虚假信息也至关重要[34]，[35]。关键的是，从空中视角进行无人机人群分析构成了一个根本不同的算法范式：它需要几何意识（以补偿视角扭曲）、多尺度推理（以处理图像内10倍至20倍的比例变化）以及低级特征和高级语义上下文之间的紧密耦合（以区分人类头部和视觉上相似的对象，如伞或标志）[36]，[37]。

为了解决这些挑战，我们引入了一个新的多任务视觉框架，该框架利用基于几何学的学习来实现稳健的人群计数以及从空中视角进行精确的点级定位。我们的方法使用“视角感知注意力金字塔”（PAAP）来整合显式的几何先验。这是通过直接将相机内参矩阵、飞行高度元数据和动态估计的比例图集成到深度学习过程中来实现的，使用可微的视角变换和比例自适应注意力机制[38]，[39]。因此，模型获得了内在的几何意识，能够有效补偿径向扭曲、高度引起的比例梯度和倾斜的视角角度。这些能力超过了仅依赖应用于RGB像素的卷积和自注意力技术的纯数据驱动策略[40]，[41]。

总之，这项研究在两个协同维度上推进了基于无人机的群体分析：技术创新和方法论整合。我们的工作将AI研究与媒体实践结合起来，为数据新闻业、透明治理和计算社会科学带来了新的能力[42]，[43]。为了更清楚地说明这些贡献，以下部分回顾了直接激发我们框架的三个方面的文献：现有群体分析范式在无人机环境中的局限性、具有几何意识的架构设计以及媒体导向部署所需的可靠性机制。

**相关工作**
群体分析技术的发展反映了双重轨迹：从汇总估计到点级定位的方法论改进，以及从受控监控到非结构化空中场景的情境扩展。在此背景下，我们的回顾组织方式反映了本研究的中心设计逻辑。我们沿着三个关键轴综合了之前的工作，这些工作直接影响了我们的贡献：媒体验证所需的范式转变。

**材料与方法**
在本节中，我们描述了我们基于几何学的多任务方法的技术框架。我们提出的框架的总体架构如图2所示。我们首先在明确的几何约束下形式化基于无人机的群体分析问题（第3.1节），然后详细介绍了基准数据集（第3.2节）。在此基础上，我们逐步介绍了框架的主要方法论组成部分，从基于几何学的特征提取开始。

**实验与分析**
为了验证我们提出的PAAP框架的有效性，我们进行了全面的实验，解决了三个核心问题：（1）显式的几何建模是否提高了计数准确性和定位精度？（2）多任务目标是否提供了协同效益？（3）结果输出是否具有与媒体导向部署相关的属性？本节介绍了我们的实验配置、比较基准测试、消融研究等。

**讨论**
这项工作在三个关键领域推进了群体智能的方法论。首先，通过将几何结构作为结构化先验嵌入，我们实证表明，显式结合领域知识（如相机几何和视角校正）可以加速模型收敛并提高泛化能力，即使在数据有限的情况下也是如此。我们的混合方法结合了基于规则的密度分类和可学习的适应，取得了显著的准确性提升，并表明整合这些知识是有效的。

**结论**
在本文中，我们提出了PAAP，这是一个具有几何意识的框架，它为基于无人机的应用统一了稳健的人群计数和点级定位。通过将几何先验（特别是GSD条件下的比例图）明确整合到自适应特征融合和层次匹配中，我们的方法在六个基准测试中始终优于强大的基于点的方法。所提出的混合密度感知选择器和可扩展的质量感知匹配器有效地解决了这些问题。

**作者贡献声明**
何子清：概念化、方法论、形式分析、撰写——原始草稿。
王龙飞：概念化、方法论、形式分析。
徐慧英：撰写——审阅与编辑、监督。
朱新中：撰写——审阅与编辑、监督、资金获取。
Wouladje Cabrel：撰写——审阅与编辑。
Golden Tendekai Mumanikidzwa：撰写——审阅与编辑。

**利益冲突声明**
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：朱新中报告称获得了中国国家自然科学基金（62376252）的财政支持；浙江省自然科学基金重点项目（LZ22F030003）；浙江省领军雁计划（2025C02025、2025C01056）；以及浙江省省地协同计划（2025SDXT004-3）的资助。