《Avian Research》:Global assessment of spatial and temporal filters on BirdNET performance for monitoring bird communities
编辑推荐:
近年来,被动声学监测(passive acoustic monitoring, PAM)等自动化技术为广域鸟类群落调查提供了有力框架。BirdNET 是最广泛使用的鸟类声音识别人工智能工具,可识别全球 6000 多种鸟类,但物种过滤等用户自定义设置的影响仍缺乏
近年来,被动声学监测(passive acoustic monitoring, PAM)等自动化技术为广域鸟类群落调查提供了有力框架。BirdNET 是最广泛使用的鸟类声音识别人工智能工具,可识别全球 6000 多种鸟类,但物种过滤等用户自定义设置的影响仍缺乏系统评估。研究人员分析了全球 72 个地点、5047 分钟录音,以及由鸟类学专家标注的 1192 种鸟类,比较三种 BirdNET 输出后处理中的物种过滤策略:无过滤、空间过滤(某地点全年可能出现的物种)和时空过滤(某地点某周可能出现的物种)。结果显示,无过滤策略使 BirdNET 物种检出率(recall)最高,但精度(precision)很低且误识多;空间过滤与时空过滤大幅提高精度与综合性能,其中时空过滤在多数数据集和地区中表现最佳。在最优过滤方式下,研究人员进一步评估出现概率阈值(probability of occurrence threshold):约 0.05 的中间值在群落水平分析中使 BirdNET 性能最大化。研究表明,物种过滤是 BirdNET 工作流中关键但被低估的环节,研究人员的发现可指导后续研究根据研究目标与数据背景选择过滤策略。
研究背景方面,自动化与非侵入式方法在生物多样性监测中日益重要,其中被动声学监测(PAM)特别适用于鸟类等类群。BirdNET 基于卷积神经网络(convolutional neural network, CNN),最新 v2.4 模型可在 3 秒窗口中识别 6000 多种鸟类鸣声,其推理设置如最低置信度分数阈值、重叠(overlap)和灵敏度(sensitivity)已被证明会影响输出。除这些设置外,BirdNET 还允许通过空间过滤与时空过滤限制输出物种:空间过滤使用地点全年可能出现在 eBird 数据中的物种列表,时空过滤进一步加入录制周信息生成周级物种列表,并受出现概率阈值(probability of occurrence)控制。eBird 数据存在采样努力空间偏差,在欧、美、印度、澳洲覆盖较好,在非洲、亚洲等地覆盖较弱。此前全球研究多固定使用 0.02 的出现概率阈值,却未系统评估该值是否最优,也缺乏不同地理区域下物种选择策略对 BirdNET 描述鸟类群落能力影响的全球评估。因此,研究人员开展本研究,以明确不同物种列表配置与出现概率阈值如何影响 BirdNET 在鸟类群落刻画中的性能。
该研究发表在《Avian Research》。研究人员使用 World Annotated Bird Acoustic Dataset(WABAD, version 3)中 72 个地点、6 大洲、5047 分钟由本地专家在谱图上以边界框标注的录音数据,涵盖 1192 种鸟类。BirdNET-Analyzer v2.4.0 以图形用户界面运行,最低置信度 0.1,overlap 2 秒,sensitivity 1.0;无过滤输出全部 BirdNET 声学类别,空间过滤与时空过滤通过脚本调用 Python 后端生成物种列表并过滤输出,默认出现概率阈值 0.03,随后对时空过滤测试 0.01、0.02、0.03、0.04、0.05、0.10。性能评估在数据集水平进行,将预测分为真正例(true positive, TP)、假正例(false positive, FP)、真负例(true negative, TN)、假负例(false negative, FN),计算精度、召回率、F1 分数,并在置信度 0.10 到 0.99 上绘制精度-召回曲线,用召回率修正的精度-召回面积(recall-adjusted precision-recall area under the curve, PR AUC)比较配置。
关键技术方法上,研究人员采用 WABAD v3 多洲专家标注声景样本队列,以 BirdNET-Analyzer v2.4.0 默认推理参数分析;用脚本生成空间与时空物种列表过滤输出;以站点水平 TP、FP、TN、FN 计算精度、召回率、F1;用多置信度阈值构建 PR 曲线并以召回率修正 PR AUC 作主要比较指标;时空过滤下再扫掠出现概率阈值评估精度与召回率权衡。
- 3.
Results
全球尺度上,无过滤召回率 0.657 最高,但精度仅 0.186,F1 0.291;空间过滤召回率降至 0.632,精度升至 0.445,F1 0.522;时空过滤召回率 0.609,精度 0.471,F1 0.531。时空过滤在 72 个数据集中 61 个为最优,六大区域内部与跨区域收敛度高,非洲 3/4、亚洲 5/6、中南美洲 14/20、欧洲 24/27、北美 10/10、大洋洲 5/5 均指向时空过滤。时空过滤下,出现概率阈值从 0.01 提到 0.10 时,精度由 0.446 升至 0.516,召回率由 0.630 降至 0.559,F1 在 0.522 到 0.539 间较稳;0.05 阈值在精度与召回率间取得最好平衡。
- 4.
Discussion
研究人员指出,空间与时空过滤通过剔除大量错误预测显著提升 BirdNET 解释性与综合性能,时空过滤最适合多数全球鸟类群落调查,但物候监测、低丰度种、难识别种、受威胁种或新调查区可能因过滤丢失重要信号,此时应使用自定义物种列表。过滤降低预测数量,无过滤保留全量预测便于专家后验核查;研究人员建议未来 BirdNET 可将生物地理不合理预测重分类为近缘或声学相似本地种。区域数据不平衡使非洲、亚洲、大洋洲结论需谨慎,eBird 覆盖不足会削弱自动列表可靠性。研究人员建议用户在使用自动列表前校验,尤其用于物候、迷鸟和低收入数据区研究;并建议将群落分析默认出现概率阈值改为 0.05,同时扩大 eBird 与标注声学数据在代表不足区域的覆盖。
研究结论部分译为:物种过滤意味着在大规模自动化鸟类识别中,精度与灵活性之间存在权衡。空间过滤与时空过滤均较无过滤大幅提高精度,虽略减少正确预测物种数,但因剔除数远大于损失数,整体性能提升;时空过滤为最优策略,在多数数据集与六大区域中一致最优。中间出现概率阈值 0.05 通过 F1 最大化群落水平性能,过高阈值对召回率损害大于精度收益,过低则相反。结果可指导 BirdNET 调查设计,但配置选择应结合生态问题与数据背景。研究人员提醒自动列表在物候、稀有种与 eBird 弱覆盖区可能失效,推荐校验列表并扩展全球标注声学资源。