新颖类识别:一种用于生物声学数据中高效物种识别的人机交互方法

《Methods in Ecology and Evolution》:Novel class identification: A human-in-the-loop approach for efficient species recognition in bioacoustic data

【字体: 大 中 小 】 时间:2026年08月01日 来源:Methods in Ecology and Evolution 5.7

编辑推荐:

  被动声学监测(PAM)被广泛用于收集涵盖多种物种的大规模野生动物数据,但高效识别所有物种——特别是稀有和可能濒危的物种——而无需对整个数据集进行详尽的目视检查,仍是一个重大挑战。研究人员正式引入了新颖类识别(NCI)的机器学习任务,旨在尽可能多地识别类(如物种

  
被动声学监测(PAM)被广泛用于收集涵盖多种物种的大规模野生动物数据,但高效识别所有物种——特别是稀有和可能濒危的物种——而无需对整个数据集进行详尽的目视检查,仍是一个重大挑战。研究人员正式引入了新颖类识别(NCI)的机器学习任务,旨在尽可能多地识别类(如物种),同时尽可能少检查样本,并提出了一个用于评估整体性能和类存在特定性能的综合评估框架。NCI基于主动学习范式采用人机交互查询策略,而其高效识别类的目标与开放世界学习假设一致,并与新颖类发现的目标密切相关。借鉴文献中的见解,研究人员确定了四个有前景的查询方法家族:基于嵌入的方法、自监督学习、相似性学习和音频-语言模型。为了探索这些方向的潜力,初步实验评估了来自所确定查询方法家族的44种查询方法配置,涵盖五个多标签PAM数据集。结果表明,所提出的评估框架有效捕捉了整体性能和类存在特定性能,从而实现了不同方法的稳健比较。这些实验进一步表明,音频-语言模型达到了最高性能,为未来研究奠定了基础。研究人员的发现突显了深度学习方法在快速物种识别中的潜力,支持从大型PAM数据集中做出更快、更明智的保护决策。
**研究背景与问题**
全球生物多样性面临严重威胁,人为活动使物种灭绝速率比工业前水平高100-1000倍。快速准确的物种识别对保护行动至关重要,而被动声学监测(PAM)可大规模收集环境声景数据,但手动分析海量录音不可行,自动分析面临重叠叫声、环境噪声等挑战。现有机器学习方法(如主动学习、开放世界学习、新颖类发现)各有局限,无法高效识别新类。为此,研究人员提出新颖类识别(NCI)任务,旨在以最少样本检查识别最多新类(如物种或叫声类型)。该研究发表在《Methods in Ecology and Evolution》,为生物声学数据分析提供新框架。

**研究内容与结论**
研究人员正式定义了NCI任务,提出综合评估框架(包括定性可视化与定量指标),并基于文献总结出四类有前景的查询方法:基于嵌入的方法、自监督学习、相似性学习、音频-语言模型。通过初步实验评估44种配置在五个真实多标签PAM数据集上的性能,发现音频-语言模型表现最佳,Core-Set(基于嵌入的多样性采样)效果次之,且冻结预训练嵌入比微调更优。研究结论表明,深度学习可加速物种识别,支持更快的保护决策。

**主要关键技术方法**
研究人员使用五个人工标注的多标签PAM数据集(美国西海岸AADD、巴西AnuraSet、秘鲁BirdSet PER、欧洲ECOSoundSet、全球WABAD),标准化为2秒音频片段,采样率48kHz。查询方法包括:基于BirdNET嵌入的主动学习(Core-Set、HDBSCAN、K-means、Ratio-max、Dual-Classifier)、变分自编码器(VAE-Reconstruction、VAE-Classification)、相似性学习(弱相似性、强相似性)、音频-语言模型NatureLM-Audio(ALM-Classification、ALM-Taxa-OneStep、ALM-Taxa-TwoStep)。实验设置每批10个样本,最多500个样本,重复5次。评估指标包括速度提升因子(整体性能)、相对识别分数(类特定性能)和处理时间。

**研究结果**
**3.1 定性结果**
所有查询方法的学习曲线在早期迭代中快速上升,频繁类较早被识别,稀有类较晚。处理时间差异显著(对数尺度)。
**3.2 定量结果**
- **嵌入维度影响**:Core-Set在高维空间表现更好,HDBSCAN和K-means在低维空间更优,VAE方法无显著相关性。
- **层模式影响**:冻结嵌入整体优于微调,细微调仅在K-means和Dual-Classifier中产生例外。
- **查询方法比较**:Core-Set速度提升因子0.58(最优),相对识别分数0.54;音频-语言模型方法(Taxa-OneStep速度提升0.64,RIS 0.53)表现接近;相似性学习(Weak-Sim速度提升0.72)次之;VAE方法(Reconstruction速度提升3.08)最差。音频-语言模型存在过度自信问题,预测实体数远超实际,但仍有潜力。

**讨论与结论**
讨论指出:嵌入维度影响因方法而异,冻结嵌入更优因为微调偏向已知类,限制新颖类识别。音频-语言模型需通过层次训练或不确定性估计缓解幻觉。未来方向包括过滤非目标样本、利用先验知识、改进音频-语言模型集成。NCI的关键开放问题包括何时停止采样及查询大小的影响。研究局限在于仅评估物种级目标类,未涉及更细或更粗粒度注释。
**结论翻译**:为支持依赖大规模被动声学监测(PAM)数据集中高效物种识别的全球生物多样性监测工作,本文引入了新颖类识别(NCI)的机器学习任务,旨在最大化识别类(如物种或叫声类型)的数量,同时最小化检查的样本数。NCI被正式定义并置于相关机器学习任务中,提出了综合评估框架,通过定性可视化和定量指标评估整体和类存在特定性能。基于文献分析,确定了基于嵌入的学习、自监督学习、相似性学习和音频-语言模型四个有前景的查询方法家族。初步实验系统探索了这些方法的查询策略,在五个真实多标签PAM数据集上评估了44种配置。结果表明,维度影响不大,冻结嵌入略优于微调,Core-Set和音频-语言模型方法达到最高查询性能。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号