基于检测-跟踪框架自动计数航空视频调查中的稀有和难以捉摸的大型动物

《Remote Sensing in Ecology and Conservation》：A Tracking-By-Detection Framework to Automatically Count Rare and Elusive Megafauna in Aerial Video Surveys

　　

来自无人机或配备摄像机的飞机的视频调查已成为在不断增大的空间尺度上监测稀有和难以捉摸的巨型动物种群的宝贵工具。为了分析数小时的此类视频调查，基于深度学习的自动化物种检测方法现已广泛使用，但简单地对视频连续帧上的检测结果进行计数会导致个体重复计数，从而显著偏倚种群规模估计。在此，研究人员利用一种多目标跟踪（Multiple Object Tracking, MOT）方法，该方法链接视频帧之间的检测结果，以得出独特个体的计数。研究人员的基于检测-跟踪（tracking-by-detection）框架整合了从航空视频调查到自动化个体计数和最小种群丰度估计的完整流程。将该框架应用于新喀里多尼亚西海岸冬季儒艮（Dugong dugon）的航空视频调查，与依赖检测总和（导致48倍高估）的基线方法相比，该框架自动计数个体的轻微负偏倚为-5.7%（在总共265个真实个体中少计15个）。研究人员的基于检测-跟踪框架直接估计每次航班的独特个体数量，在调查区域得出平均季节性丰度指数为42个个体（±28标准差）。总体而言，所有航班中漏检了35个个体，占所有真实个体的13.2%。在漏检个体中，三分之二是与其母亲重叠的幼崽，这凸显了在计数群居动物时遮挡带来的挑战。尽管该框架应用于儒艮非常稀疏的完整视频，但所有航班中仅产生8%的假阳性（20个实例），主要源于与其他物种的误识别。通过儒艮案例的展示，研究人员的基于检测-跟踪框架更普遍地提供了一种可扩展的方法，以支持数字种群调查，惠及脆弱巨型动物的长期监测和保护计划。

## 论文解读：基于检测-跟踪框架在航空视频调查中自动计数稀有和难以捉摸的巨型动物

### 研究背景与问题

随着遥感数据流持续增长，数字监测动物种群已成为可能，无人机或飞机搭载摄像机的航空调查被广泛用于陆地与海洋物种的种群监测。深度学习模型（尤其是结合检测与分类的计算机视觉方法）在自动分析图像中作用显著，但将其应用于种群丰度估计时存在关键局限：单个个体可能出现在连续图像或视频帧中，导致重复计数；同时，模型可能因遮挡或临时消失漏检个体（假阴性），或误将背景元素识别为目标（假阳性）。对于稀有物种，这些错误会严重偏倚种群估计，误导保护管理决策。为此，研究人员提出利用多目标跟踪（MOT）技术，通过链接视频帧间的检测结果来获得唯一个体计数，但现有研究要么显著低估个体数，要么需额外后处理步骤。本研究旨在开发并评估一个完整的基于检测-跟踪框架，用于航空视频调查中巨型动物的自动计数，并以新喀里多尼亚的稀有儒艮为例验证其有效性。

### 主要技术方法

研究人员采用以下关键方法：1. 航空视频数据采集：在新喀里多尼亚西海岸Poé区域，使用搭载GoPro Hero Black 7摄像机的超轻型飞机进行6次航次调查，视频帧率24 fps，分辨率2.7K，目标飞行高度47 m，速度110 km·h^?1。2. 图像标注与预处理：所有视频由训练有素的观察员标记儒艮出现时间，提取图像（3帧/秒），并使用边界框手动标注儒艮，总计51,000张图像中仅149张含儒艮（99.7%为空）。按航次划分6折交叉验证，训练集、验证集、测试集独立。采用切片辅助超推理（SAHI）方法将图像切分为6个1024×1024像素的瓦片，并过滤空图像以减少计算量。3. 检测-跟踪框架：检测阶段使用YOLOv11（中型）模型，基于预训练权重进行微调，每个航次独立训练6个检测器，推理时结合SAHI与非极大值抑制。跟踪阶段基于OC-SORT（观察中心简单在线实时跟踪）算法，利用全局相机运动约束（CMC）预测个体位置，并通过关联步骤匹配检测与预测结果，生成轨迹，最终计数满足最小检测次数（8次）和置信度阈值的轨迹作为唯一个体数。4. 性能评估：比较框架与两种基线方法（简单检测总和、重叠修正基线）的计数精度，并量化假阴性、假阳性（误识别与重复计数）及高阶跟踪精度（HOTA）。

### 研究结果

#### 框架计数精度对比
与简单检测总和（+4676%误差，48倍高估）和重叠修正基线（+21.9%误差）相比，基于检测-跟踪框架的全局计数误差仅为-5.7%（-15个个体），直接输出每个航次的唯一个体数，平均季节性丰度指数为42个个体（±28标准差）。

#### 计数误差来源分析
误差因航次而异：航次207因误识别（海豚与漂浮物）导致+5.6%高估；航次211、212、215因漏检（分别-36.8%、-13.0%、-16.3%）低估；航次213误差为零但存在漏检（4个）、误识别（1个）和重复计数（3个）；航次214轻微低估（-3.7%）。所有航次共有35个个体漏检（占真实个体的13.2%），其中三分之二为与母亲重叠的幼崽；仅3个重复计数（1.2%）和17个误识别（6.8%）。

#### 跟踪精度评估
框架在所有航次中平均HOTA为0.69（±0.07），其中关联精度（AssA，均值0.76）高于检测精度（DetA，均值0.63），表明检测阶段是限制因素。航次207和211的HOTA最低（0.60和0.62），分别对应高误识别率和高漏检率；航次212和214的HOTA最高（0.76和0.75），对应较低的错误率。

### 讨论与结论

研究人员指出，基于检测-跟踪框架在虚警率极低（仅8%）的情况下实现了轻微负偏倚的计数，优于现有研究。漏检主要源于幼崽遮挡（通过点标注可缓解）、太阳耀斑与眩光、飞机转弯导致的采样面积变化；误识别主要来自其他物种（海豚、海龟）和漂浮物。HOTA分析表明检测阶段有待改进，而分离检测与跟踪的模块化设计便于灵活调整。未来可通过加装云台稳定相机、提高分辨率或采用联合检测-跟踪框架提升性能。研究结论翻译如下：总之，研究人员的自动化基于检测-跟踪框架处理航空视频调查以计数个体，并全面评估误差。应用于新喀里多尼亚西海岸的航空视频调查，该框架自动计数稀有和难以捉摸的儒艮，具有轻微负偏倚和极少假阳性，尽管空图像占主导。研究人员估计研究区域调查中的平均季节性丰度指数为42个儒艮个体（±28标准差），这是对该濒危种群的保守估计。一个前景是将航空视频调查扩展到新喀里多尼亚所有沿海水域，以获得整个儒艮种群的绝对丰度估计。重要的是，全群岛调查需同时使用多架飞机以避免个体移动导致的重见，并需考虑儒艮的密度梯度以及可用性偏倚和感知偏倚。总之，研究人员的基于检测-跟踪框架提供了一种可扩展的方法，用于监测巨型动物，促进种群丰度和趋势的评估，从而支持更明智的保护努力。尽管本文应用于视频，该框架可扩展至具有高重叠度的图像序列。该监测方法广泛适用于由飞机或无人机调查的大型动物，为其已训练好图像检测器但缺乏准确种群计数的物种提供解决方案。