编辑推荐：
在生物多样性监测中，生物声学物种分类器性能存在不平衡问题。研究人员开展鸟类歌声分类中迁移学习方法及数据集特性影响的研究，发现微调与知识蒸馏表现良好，还明确了数据相关因素的作用，为生物声学识别发展提供方向。
在地球生物多样性的大舞台上，生物声学监测就像一位隐藏的 “幕后英雄”，借助机器学习的力量，自动识别动物声音，为评估生态系统健康状况贡献力量。其中，鸟类歌声分类因其在生物多样性监测和保护中的重要应用，备受关注。然而，生物声学物种分类器在不同物种和栖息地的表现并不均衡，尤其是在复杂的声音环境中。这是因为其发展依赖的训练数据存在诸多问题，如珍稀濒危物种数据匮乏、标注不完整等。同时，训练数据的局限性也凸显了迁移学习（Transfer learning）的重要性，它能利用预训练模型的知识，有效应对小样本和不均衡数据集的挑战。在此背景下，来自荷兰 Naturalis 生物多样性中心等机构的研究人员，开展了一项关于鸟类歌声分类中迁移学习方法和数据集特性影响的研究，研究成果发表于《Scientific Reports》。该研究对于推动自动生物声学识别、助力生物多样性保护意义重大。
研究人员为开展此项研究，主要运用了以下关键技术方法：数据方面，从 Xeno - canto、
Observation.org和 Dawn Chorus dataset 等多个数据源收集音频数据，并进行预处理，包括分割、生成梅尔频谱图等；模型训练采用迁移学习策略，如深度微调（Deep finetuning）、浅度微调（Shallow finetuning）和知识蒸馏（Knowledge distillation），并使用不同的预训练模型（如 BirdNET、PaSST、PSLA）；评估模型性能时，采用 F1 分数、平均精度均值（mAP）、受试者工作特征曲线下面积（AUROC）等指标 。
单标签分类
研究人员训练了四种不同的单标签分类器，使用 Xeno - canto 的预留数据和
Observation.org的数据集进行评估。结果显示，通过从 BirdNET 进行知识蒸馏的 PaSST 模型表现最佳，F1 分数达到 0.704。在
Observation.org数据集上，基于 BirdNET 骨干网络进行浅度微调的模型 F1 分数最高，为 0.52。这表明从 BirdNET 进行知识蒸馏可有效提升 PaSST 性能，且浅度微调在多类鸟类物种分类任务中效果良好。
多标签分类
训练多标签分类器并在 Xeno - canto 测试集和 Dawn Chorus 数据集上评估。在 Xeno - canto 测试集上，从 BirdNET 进行知识蒸馏的 PaSST 模型表现最优，mAP 达到 0.71，AUROC 为 0.95。在 Dawn Chorus 数据集上，基于 BirdNET 进行浅度微调的模型表现最佳，mAP 为 0.311，AUROC 为 0.836。此外，研究发现数据量对模型性能影响显著，数据量越多，模型平均精度得分越高。
次要标签的影响
探究使用 Xeno - canto 数据库中的次要（“背景”）标签训练对模型性能的影响。结果表明，引入次要标签虽未显著影响 mAP，但降低了精度，提高了召回率和 AUROC。对 10 种常见物种分析发现，训练时包含次要标签有助于模型识别作为次要标签的物种，但对前景实例的影响则有好有坏。
弱标记：片段选择的影响
比较使用和不使用检测器训练模型的性能。结果显示，使用能量基检测器在 Xeno - canto 衍生测试集和 Dawn Chorus 数据集上，mAP 有轻微提升，AUROC 变化不大；使用 PANNs 检测器则未发现明显增益，说明模型对 Xeno - canto 数据集的弱标记有一定鲁棒性。
研究结论和讨论部分指出，迁移学习在鸟类歌声分类中表现出色，无论是单标签还是多标签分类，CNN 还是 Transformer 模型。其中，跨模型蒸馏在 Xeno - canto 数据的域内评估中表现优于微调，但在泛化到新的音景数据集时，浅度微调的泛化能力更强。知识蒸馏虽计算成本较高，但能利用不同架构的知识，为自动生物声学识别发展提供灵活性。此外，鸟类特定的预训练通常表现更优，但基于通用音频数据集预训练的模型也能取得不错的效果。研究还发现，Xeno - canto 数据中引入次要标签可提高模型敏感性，但会增加误报风险。未来研究可结合迁移学习、基础模型和人在回路系统，开发更强大的生物多样性监测框架，助力大规模、高分辨率的生物多样性监测，推动生物声学研究和保护工作的发展。
