《Ecological Informatics》:Automated bird flight pattern extraction and classification using machine learning
编辑推荐:
随着全球鸟类种群受到日益增长的人为压力影响,可靠的监测对于帮助阻止或逆转种群下降至关重要。现有的视觉鸟类监测方法,采用相机或雷达提供自动化和大规模监测数据,但面临多种问题。基于图像的物种分类仅在鸟类精细特征清晰时才有可能,而在实际监测环境中,由于遮挡和光线问题
随着全球鸟类种群受到日益增长的人为压力影响,可靠的监测对于帮助阻止或逆转种群下降至关重要。现有的视觉鸟类监测方法,采用相机或雷达提供自动化和大规模监测数据,但面临多种问题。基于图像的物种分类仅在鸟类精细特征清晰时才有可能,而在实际监测环境中,由于遮挡和光线问题,若不使用昂贵的高分辨率相机则难以实现。雷达和基于视频的方法分析数秒内的长期飞行行为,在实际监测环境中(尤其是远距离)可获得更可靠的结果,但仍需要昂贵的设备,且未考虑所有可能的飞行模式类型。研究人员提出一种新方法,利用廉价非专业相机轻松获取的视频来追踪广泛的鸟类飞行模式。作为概念验证,研究人员展示了该方法如何用于对四种鸟类(红鸢Red Kite、红隼Kestrel、黑头鸥Black-Headed Gull和雀鹰Sparrowhawk)进行分类,这四种鸟类代表了四种不同的飞行模式。分类的平衡准确率为0.5583,每种鸟类的召回率和精确率分别介于0.2640至0.7750和0.4583至0.5962之间。该概念验证研究展示了新的和现有的视觉鸟类监测系统如何利用飞行模式以更低的成本和更大的规模提供物种层面的见解。
**论文解读:基于机器学习的鸟类飞行模式自动提取与分类**
**研究背景**
全球约48%的鸟类物种正面临种群下降,主要驱动因素包括栖息地丧失、土地利用变化、退化以及气候变化等人为压力。可靠监测是制定有效保护政策的基础,但传统监测方法(如标记、人工点计数和样线调查)存在侵入性强、劳动密集和资源消耗大的问题。现有自动化视觉监测方法(如卫星图像、无人机和相机陷阱)虽能提升规模,但大多依赖静态图像进行物种分类,这要求高分辨率近距离图像以捕捉细微外观特征,在实际应用中因遮挡、光照和昂贵设备难以实现。雷达和视频系统虽能分析飞行行为,但雷达信号易受昆虫、蝙蝠和天气现象干扰,且仅关注拍打模式而忽略滑行行为,导致对大型滑翔鸟类识别不足;视频系统则需保持相机与鸟类的相对角度恒定。现有方法均未充分利用鸟类飞行模式提供的完整信息,限制了物种分类和行为分析的可能性。
**研究目的与意义**
为解决上述问题,研究人员开发了一种新颖方法,利用低成本非专业相机获取的视频,结合现成与自定义机器学习模型,同时分析拍打和滑行运动,实现对四种代表性飞行模式鸟类的分类。该研究以概念验证形式发表于《Ecological Informatics》,展示了利用飞行模式在更低成本和更大规模上提供物种层面见解的潜力,可助力公民科学项目、地方生物多样性监测和大型保护计划。
**主要技术方法**
研究人员使用了以下关键技术方法:(1)**鸟类检测模型(M1)**:采用在COCO(Common Object in Context)数据集上预训练的Single Shot MultiBox Detector(SSD)模型(基于ResNet-50),将多类输出转换为二元分类(鸟/非鸟),阈值设为0.1。(2)**动作分类模型(M2)**:基于ResNet-50架构,使用detecto模块进行迁移学习,训练区分上拍(upstroke)和下拍(downstroke)的自定义目标检测模型;训练数据来自NABirds(北美鸟类数据集)和2019 iNaturalist数据集,共8699张标注图像(5754个下拍、4421个上拍)。(3)**飞行模式特征提取算法**:通过时间序列标签(上拍/下拍/非),计算半拍周期(FP
1/2),识别拍打段和滑翔段,提取平均拍打时间、平均滑翔时间、拍打与滑翔比等特征。(4)**物种分类模型(M3)**:采用随机森林分类器,基于飞行模式特征对四种物种(红鸢、红隼、黑头鸥、雀鹰)进行识别;视频数据来自Macaulay Library,共80段飞行视频,每类物种40个5秒片段用于交叉验证。
**研究结果**
**3.1 鸟检测与动作分类性能**
研究发现,动作分类模型(M2)在区分鸟类与空背景帧时表现略优于检测模型(M1),AUC分别为0.9577和0.9404;但在区分鸟类与其他飞行物体(飞机、直升机、无人机)时,M2的AUC仅为0.7078,远低于M1的0.9069,因此最终采用M1进行鸟类检测(阈值0.1)。M1与M2组合后,精度达0.9983,召回率0.8382,特异性0.9795,表明M2可减少误报。M2在全帧数据集上区分上拍、下拍和空的准确率为0.8075,加权精度0.8157;在测试子集上准确率为0.7435,加权精度0.7486。
**3.2 飞行模式生成与物种分类**
研究人员生成了每个物种的飞行模式时间序列示例:红鸢(Red Kite)表现出典型滑行行为,迎风时以上拍滑行;红隼(Kestrel)显示快速拍打(每拍约1/15秒),符合悬停猎食行为;黑头鸥(Black-Headed Gull)拍打较慢(每拍约1/6秒),适应长时间拍打飞行;雀鹰(Sparrowhawk)交替出现拍打与滑行。物种分类模型(M3)的Group Shuffle Split交叉验证(10折,80/20训练-测试分割)结果显示,平衡准确率为0.5583;红鸢性能最佳(F1=0.6739,召回率0.7750,精度0.5962),雀鹰性能最差(F1=0.3350,召回率0.2640,精度0.4583)。排除雀鹰后,平衡准确率提升至0.7354,表明数据稀缺和过拟合是主要限制。
**讨论与结论**
**讨论部分**:M2在切换点(上拍与下拍交界处)分类易出错,但整体分类与实际飞行吻合。训练数据(如全帧图像)与真实视频数据(鸟类仅占小部分画面)的差异导致模型学习特征偏差,建议使用更贴近应用场景的数据集(如监控视频数据)并引入数据增强(缩放、旋转、模糊等)提升泛化能力。物种分类性能受限于训练数据量,尤其是雀鹰仅有7段原始视频,导致过拟合和个体间差异欠表征;此外,M1和M2的级联误差会放大下游分类偏差。处理时间是目前主要瓶颈(5秒视频约需4分钟处理),需通过模型压缩(剪枝、量化、蒸馏等)技术提升效率,以支持实时应用。尽管存在局限,生成飞行模式与预期物种特征一致,证明该方法可用于行为生态学(如研究红鸢狩猎行为)和健康监测(如通过飞行模式变化检测受伤)。未来结合精细化数据集和模型优化,该方法有望在风电场鸟类碰撞预防、保护地物种监测等场景中发挥重要作用。
**结论部分**:在本研究中,研究人员提出了一种新颖方法,通过分析从廉价非专业相机轻松获取的视频,结合现成和自定义机器学习模型,刻画鸟类的飞行模式。除了物种识别,该方法还可输出鸟类飞行的关键数据,用于研究野生和圈养个体的行为及健康监测。尽管研究人员展示了一个小规模概念验证系统,但预期通过覆盖更广泛物种的高保真度数据集,该新颖方法将能够在众多实际应用中为鸟类监测工作提供有用的额外维度。