基于两阶段深度学习流水线的无人机影像水鸟自动检测、分类与制图

《Ecological Informatics》:Automated waterbird detection, classification, and mapping from UAV imagery using a two-stage deep learning pipeline

【字体: 大 中 小 】 时间:2026年07月24日 来源:Ecological Informatics 8.5

编辑推荐:

  水鸟作为淡水生态系统生态变化的敏感指示物种。传统监测方法劳动强度大、空间范围有限、易受观察者偏差和干扰影响。无人机(UAV)影像结合深度学习(DL)为高效、可扩展的监测提供了有前景的替代方案。本研究评估了沿比利时12公里运河的完全自动化UAV工作流,用于检测、

  
水鸟作为淡水生态系统生态变化的敏感指示物种。传统监测方法劳动强度大、空间范围有限、易受观察者偏差和干扰影响。无人机(UAV)影像结合深度学习(DL)为高效、可扩展的监测提供了有前景的替代方案。本研究评估了沿比利时12公里运河的完全自动化UAV工作流,用于检测、分类和绘制水鸟地图。研究人员开发并评估了一种结合基于YOLO的检测和卷积神经网络(CNN)分类的两阶段流水线,并在不同飞行高度和地面采样距离(GSD)下进行了评估。模型性能进一步使用独立季节数据集进行评估,并分析了物体大小和栖息地复杂性的影响。检测模型实现了0.91的高精度和0.81的召回率,而分类器达到了0.90的加权F1分数。检测性能强烈依赖于GSD,在≤6.83 mm px?1(≤25 m高度)时获得最佳结果,在更高GSD值下检测性能显著下降。附加分析表明,较小的鸟更容易被遗漏,而高熵环境(如芦苇床)可能进一步降低检测可靠性。自动计数与手动计数之间的比较显示了差异,受环境条件和调查时间的影响。地理参考检测结果投影到正射影像上,实现了水鸟分布的空间显式制图。总体而言,基于UAV的深度学习为水鸟监测提供了一种有前景且可扩展的方法,同时强调了空间分辨率和栖息地复杂性在决定检测性能中的重要性。
**论文解读文章**

**研究背景**
淡水生态系统(如河流、湖泊和湿地)是生物多样性的关键载体,水鸟作为对环境变化敏感的指示物种,在生态监测中具有重要价值。然而,传统的人工监测方法耗时费力、空间覆盖有限,且易受观察者偏差和人为干扰影响,导致数据不准确。近年来,无人机(UAV)搭载高分辨率RGB相机结合深度学习(DL)技术,为高效、可重复的野生动物监测提供了替代方案。尽管如此,从UAV影像中检测小目标(如水鸟)仍面临挑战:有限的像素表示、复杂背景(植被、阴影、水面反射)以及空间分辨率变化等因素显著影响检测性能。此外,多数研究在非独立或部分重叠数据集上评估模型,缺乏对检测性能驱动因素(如空间分辨率、物体大小、栖息地复杂性)的系统分析,制约了自动化监测的可靠应用。

**研究目的与内容**
本研究旨在评估一种完全自动化的UAV工作流,能否可靠地检测、识别和绘制淡水运河中的水鸟,作为传统手动监测的实用且可扩展的替代方案。研究人员沿比利时Lieve运河12公里长的河段,采集了四个季节(3月、4月、7月、10月)的UAV影像,并同步进行人工计数。开发了一种两阶段深度学习流水线:第一阶段使用YOLOv8s模型进行二值检测(水鸟/背景),第二阶段使用EfficientNetB2卷积神经网络对检测到的鸟进行物种分类(骨顶鸡、黑水鸡、野鸭、凤头潜鸭)。模型在不同飞行高度(15–35 m,对应GSD 4.10–9.56 mm px?1)下评估,并在独立的三月数据集上进行外部验证。此外,通过控制下采样实验和广义线性模型(GLM)分析物体大小、图像熵(Shannon entropy)和局部亮度对检测性能的影响。最后,将检测结果地理参考投影到正射影像上,实现空间显式制图。

**主要技术方法**
- 数据采集:使用DJI Mavic 3 Multispectral UAV(仅RGB相机)沿运河24个400米段自动化飞行,80%航向重叠,同步人工计数。
- 数据集构建:在343张无人机影像上标注591只水鸟,训练/验证/测试按70/20/10划分;独立三月测试集含133只鸟。图像切分为320×320像素瓦片,仅保留含鸟瓦片和两倍数量的背景瓦片。
- 检测模型:YOLOv8s(小型变体),训练100轮,基于最高mAP选择权重,置信度阈值0.82(最大化F1分数)。
- 分类模型:EfficientNetB2,使用ImageNet预训练权重进行全网络微调,输入尺寸224×224。
- 性能分析:使用GLM(logit连接函数)评估物体地面面积、Shannon熵、局部亮度对检测成功率的影响;控制下采样实验模拟GSD从4到10 mm px?1,评估精度和召回率变化。
- 地理参考:基于UAV元数据(高度、偏航角、焦距)和GSD,将像素坐标转换为WGS84坐标,投影到正射影像上。

**研究结果**

**3.1 水鸟检测性能与验证**
在验证集上,YOLOv8s在置信度0.82时达到精度0.90、召回0.81、F1=0.85,AUC-PR=0.85。独立三月数据集上,精度降至0.84,召回保持0.79,F1=0.81。精度下降归因于早春植被稀疏导致的背景变化,增加假阳性;召回稳定表明检测灵敏度主要受物体可见性和空间分辨率驱动。

**3.2 水鸟物种识别性能与验证**
在验证集上,EfficientNetB2分类器实现加权精度0.91、加权召回0.89、加权F1=0.90。主要混淆发生在形态相似的骨顶鸡和黑水鸡之间。独立三月数据集上,性能提升至加权F1=0.95,因该数据集不含幼鸟等视觉模糊类别,降低了分类难度。

**3.3 GSD对检测与分类性能的影响**
采用GLM分析,召回率与GSD呈显著负相关(β=?0.390±0.166 SE,p=0.019),GSD每增加1 mm px?1,检测几率降低约32%。在15–25 m高度(GSD≤6.83 mm px?1)时,检测F1分数稳定在0.82–0.85;35 m高度(GSD=9.56 mm px?1)时F1降至0.40。控制下采样实验证实,召回率在约7 mm px?1后显著下降,而精度保持稳定。分类性能在所有GSD下均保持高F1(0.91–1),表明检测是分辨率限制的主要步骤。

**3.4 物体大小与图像纹理对检测性能的影响**
物体地面面积是检测概率的显著正预测因子(GLM p=0.017),较小鸟的置信度更低、漏检率更高。图像熵(代表背景复杂度)与检测置信度呈负相关趋势,但未达统计显著(p=0.196)。局部亮度在多元GLM中呈弱显著正效应(p=0.048),表明低光照区域可能增加漏检。

**3.5 端到端流水线性能**
管道整体召回=0.75(检测召回0.79 × 分类正确率0.952),精度≈0.80,F1=0.78,表明在独立季节数据集上保持了良好性能。

**3.6 手动与预测计数比较(7月与10月)**
7月:手动计数366只,自动检测220只(60%),Pearson r=0.62(p=0.0012),平均偏差?6.08只/段,显著低估(p<0.01)。10月:手动计数289只,自动检测325只(112%),Pearson r=0.87(p<0.001),平均偏差+1.50只/段,无显著差异(p=0.31)。差异受飞行高度、植被遮挡、调查时间顺序(7月手动在前,10月手动在后)及季节性行为影响。

**3.7 正射影像制图**
将检测边界框和物种标签地理参考投影到400米段正射影像上,实现了水鸟沿运河的空间分布精确可视化,支持物种分布与运河形态、植被结构的关联分析。

**讨论与结论**
讨论部分指出,UAV深度学习在检测小目标时性能受限于像素覆盖和背景复杂度,两阶段流水线(YOLO检测+CNN分类)有效分离了定位与细粒度分类任务,优于端到端多类检测器。检测性能强烈依赖于空间分辨率,建议飞行高度≤25 m(GSD≤6.83 mm px?1)。分类器对视觉相似物种(骨顶鸡与黑水鸡)存在混淆,幼鸟是主要误差来源。手动与自动计数差异受干扰、植被密度和季节行为共同影响,需谨慎解释。地理参考制图展示了空间分析的潜力,但移动动物可能因正射影像拼接伪影而丢失,因此检测应在原始图像上进行。

研究结论重申:UAV影像结合深度学习可支持淡水运河系统的空间显式水鸟监测,但需进一步跨水体验证。检测模型实现了高精度和保守但有生态意义的计数,分类模型有效区分4种水鸟,但视觉相似物种仍有挑战。检测性能主要受空间分辨率(GSD≤6.83 mm px?1)和物体大小驱动,栖息地复杂性呈负影响趋势但未显著。分类性能对GSD不敏感。UAV工作流在视觉受阻河段优于人工调查,且当飞行先于手动计数时与手动观测高度一致。地理参考输出为栖息地监测和时空分析提供了有价值的信息。仍需应对未充分代表类别、复杂环境和物种特征重叠等局限,但结果表明UAV-深度学习系统作为非侵入性生态监测工具具有强大潜力。未来通过更大数据集、时间跟踪、多光谱或热传感器可进一步提升准确性。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号