BirdNET和Perch在亚马逊地区物种清单中表现不佳,但可作为群落周转的代理

《Ecological Informatics》:BirdNET and Perch perform poorly for species inventories in Amazonia but can provide a proxy for community turnover

【字体: 大 中 小 】 时间:2026年08月03日 来源:Ecological Informatics 8.5

编辑推荐:

  全球机器学习鸟类声音分类器正越来越多地被整合到声学生物多样性监测工作流程中。然而,性能评估主要集中在温带地区,在热带系统中的了解甚少。这一差距在高度多样化的热带森林中尤为严重,因为测试数据集难以获取。研究人员针对巴西亚马逊的14,705个专家标注的鸣声,评估了

  
全球机器学习鸟类声音分类器正越来越多地被整合到声学生物多样性监测工作流程中。然而,性能评估主要集中在温带地区,在热带系统中的了解甚少。这一差距在高度多样化的热带森林中尤为严重,因为测试数据集难以获取。研究人员针对巴西亚马逊的14,705个专家标注的鸣声,评估了BirdNET v2.3和Perch v2.0的预测。两种分类器均表现出较弱的分类性能,BirdNET和Perch的精确率-召回率曲线下面积(PR-AUC)分别为0.07和0.12,主要原因是极低的召回率,在预测尺度上平均召回率得分仅为0.08±0.09(BirdNET)和0.11±0.13(Perch)。当检测结果按记录位点聚合时,性能有所提升,64%的常见检测物种至少满足一项实际监测应用的最低性能阈值。然而,雀形目鸟类的分类性能显著低于非雀形目鸟类,亚马逊地区物种最丰富的科表现不佳,表明存在潜在的分类学偏差。分类性能随鸣声频率升高而显著下降,但随信噪比和Xeno-Canto中可用训练数据量的增加而提升。尽管物种水平准确率较低,分类器输出保留了群落组成的有效模式,且在低置信度阈值下,预测的物种丰富度追踪了人工标注的丰富度。因此,分类器输出可被视为数据衍生的声学指数,而非可靠的物种水平检测。总体而言,研究结果表明,全球分类器尚无法支持新热带雨林可靠的物种水平生态推断,因此使用这些方法的研究应辅以大量人工验证。
**论文解读:BirdNET和Perch在亚马逊热带雨林鸟类声学监测中的表现评估与生态应用前景**

**研究背景与问题**

声学监测已成为评估生物多样性的有效工具,尤其在鸟类研究中,机器学习分类器(如BirdNET v2.3和Perch v2.0)凭借免费开源、覆盖全球50%以上鸟类物种的优势,被广泛整合到声学生态学工作流中。然而,现有性能评估多集中于温带地区,对热带系统(尤其是高多样性的亚马逊雨林)的评估严重不足。热带森林中鸣声的声学复杂性、物种重叠以及训练数据的稀缺性,使得全球分类器在热带地区的可靠性存疑。此前虽有研究声称BirdNET可在全球尺度提供可靠生物多样性见解,但这些结论可能基于有限数据或仅关注常见开阔地鸟类。因此,系统评估分类器在亚马逊等超多样化热带森林中的实际表现,对于指导声学监测实践至关重要。

**研究内容与结论**

研究人员在巴西亚马逊东部24个 terra firme 森林样点采集声学数据,利用专业鸟类学家对14,705个鸣声进行人工标注,共识别192种鸟类。随后,将BirdNET v2.3和Perch v2.0的自动分类结果与人工标注进行对比,评估其分类性能、群落生态学分析能力及潜在的分类偏差。主要结论:两种分类器在窗口尺度(3或5秒)上表现极差,召回率极低(平均仅0.08-0.11),但位点尺度聚合后,64%的常见物种可用于至少一种监测应用;分类性能受鸣声频率、信噪比和训练数据量显著影响,且雀形目鸟类(尤其物种丰富的科如蚁鸟科Thamnophilidae、霸鹟科Tyrannidae)表现显著低于非雀形目;尽管物种水平不可靠,分类器输出在低置信度阈值下能保留群落组成的相对模式(如Mantel相关和Procrustes分析显著),可作为声学指数使用;分类性能存在系统发育结构,但未发现与生态敏感性特征(如林下食虫性)直接相关。该论文发表在《Ecological Informatics》。

**主要关键技术方法**

1. **声学数据采集与预处理**:使用Audiomoth v1.2设备(16位、44.1 kHz格式)在巴西Santarém、Belterra和Mojuí dos Campos的24个样点录制黎明合唱,每个样点连续4天以上,选取60个1分钟样本进行人工标注。
2. **手动标注与机器学习预测**:由专家鸟类学家(NGM)在Raven Pro中手动标注所有可识别鸟类鸣声,生成14,705个标注;分别通过BirdNET Analyzer GUI(v2.3)和Chirpity GUI(v5.12.1)运行Perch v2.0,使用自定义物种列表(993种)和0.1最小置信度阈值,按3秒(BirdNET)和5秒(Perch)窗口分割预测。
3. **性能评估与统计分析**:计算精确率-召回率曲线下面积(PR-AUC)、马修斯相关系数(MCC)、F1分数等指标,在窗口、1分钟样本和位点三级聚合尺度评估;通过beta回归分析预测因素(鸣声频率、信噪比、Xeno-Canto记录数等);使用非度量多维尺度分析(NMDS)、Procrustes分析、Mantel检验和PERMANOVA评估群落组成;通过系统发育广义线性混合模型(PGLMM)和beta回归分析分类偏差。

**研究结果**

**3.1 模型性能**
- 两种分类器在窗口尺度PR-AUC极低(BirdNET: 0.07±0.08; Perch: 0.12±0.13),位点尺度提升至0.53和0.57。
- 在0.1阈值下,窗口尺度平均召回率仅0.08(BirdNET)和0.11(Perch),平均精确率为0.48和0.60,表明高误报但低漏检。
- 按使用类别评估:窗口尺度仅9种物种达标(主要Perch的“高特异性”类别),位点尺度64%的物种(122种中的78种)至少满足一个类别,其中“高特异性”类别最多(63种),“优秀”类别仅13种。

**3.2 分类性能预测因素**
- 最小鸣声频率显著负向影响最大F1分数(β=?0.42, p<0.001),信噪比(β=0.18, p<0.001)和Xeno-Canto记录数(β=0.36, p<0.001)显著正向影响,但记录数存在饱和效应。
- 模型间无显著差异(β=0.22, p=0.290),窗口长度与模型的交互作用不显著(p=0.903)。

**3.3 分类错误对群落数据的影响**
- BirdNET预测了361种(比人工标注的192种多88%),Perch预测217种(多13%)。
- 在0.1阈值下,预测丰富度与人工标注丰富度显著正相关(BirdNET R2=0.34, Perch R2=0.58),但BirdNET高估、Perch低估;0.9阈值时关系消失。
- NMDS分析:0.1阈值下,Mantel相关(BirdNET r=0.57, Perch r=0.45)和Procrustes相关(BirdNET r=0.47, Perch r=0.49)均显著;PERMANOVA发现BirdNET在0.1阈值下能检测到干扰驱动的群落结构(R2=0.28, p=0.009),Perch则无显著效应。

**3.4 分类偏差**
- 系统发育广义线性混合模型显示分类性能存在显著系统发育结构,系统发育方差从窗口到位点尺度增大(BirdNET: 1.76→2.59; Perch: 3.97→5.97)。
- 表现最好的科:巨嘴鸟科Ramphastidae、翠鸟科Momotidae、鸱鸮科Strigidae和鸠鸽科Columbidae(最大F1>0.7);表现最差的科:蚁鸟科Thamnophilidae、霸鹟科Tyrannidae、灶鸟科Furnariidae和蒂泰霸鹟科Tityridae(平均F1<0.5)。
- 雀形目分类性能显著低于非雀形目(β=?0.65, p<0.001),但林下利用、食性类群和模型类型无显著影响,且鸣声学习类型(鸣禽vs.亚鸣禽)无显著差异。

**讨论与结论**

**讨论总结**
尽管分类器在物种水平不可靠,但低置信度阈值下的输出可保留相对群落结构,因此可作为数据衍生的声学指数使用,而非确切的物种清单。分类性能偏差主要源于分类学(如雀形目表现差)而非生态敏感性特征,可通过扩充训练数据、区域微调或选择焦点物种缓解。此外,候选物种列表生成(基于eBird)可能引入谱系复杂性,导致混淆。人工标注虽为基准,但自身存在不确定性(如微弱鸣声被遗漏)。未来改进方向包括定制训练模型、贝叶斯多物种占用模型或向量搜索工具,但均需大量专家验证。在热带声学监测中,自动分类尚无法完全替代专家知识,但可作为声学指数与人工验证结合使用。

**研究结论翻译**
我们的结果表明,全球声学分类器目前无法为亚马逊热带森林的鸟类群落提供可靠的物种水平生态推断。尽管BirdNET和Perch捕获了一些广泛的群落结构,并对有限物种实现了高精确率,但其整体性能受到极低召回率的限制,在窗口尺度平均每十个存在中仅检测到约一个。特别是,自动分类模型生成的物种列表不可靠。这些发现与近期声称自动分类器可在全球尺度(包括亚马逊)提供可靠生物多样性见解的研究形成对比,后者可能因关注常见开阔地鸟类而给出过于乐观的结果。然而,我们的结果也表明,自动分类对于部分亚马逊物种至少可达到足够水平,尤其在跨时空尺度聚合时。分类成功主要受最小鸣声频率、记录质量和训练数据可用性预测。因此,在依赖自动分类的研究中,必须辅以广泛的人工验证,或将分类器输出作为数据衍生的声学指数而非真实物种记录。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号