少标注、高精度：迁移学习与数据增强提升易危非洲海牛（Trichechus senegalensis）被动声学监测中的自动发声检测

《Remote Sensing in Ecology and Conservation》：Few Annotations, High Accuracy: Transfer Learning and Data Augmentation Improve Passive Acoustic Monitoring of the Vulnerable African Manatee

　　

监测难以发现且受威胁的物种仍是生态学与保护中的主要挑战，尤其是在浑浊水生环境中。被世界自然保护联盟（IUCN）列为易危（Vulnerable, VU）的非洲海牛（Trichechus senegalensis）仍难以通过视觉方法调查，这限制了对某分布和种群状况的可靠评估。被动声学监测（Passive Acoustic Monitoring, PAM）提供了一种有前景的替代监测工具，但所产生的海量音频数据要求对发声进行高效自动检测。在此，研究人员评估并比较了在刚果共和国 Conkouati-Douli 国家公园 52 个站点、13 个月内检测非洲海牛发声与出现情况的三种自动方法：(i) 在 Kaleidoscope 中实现的广泛使用的传统机器学习识别器，以及两种深度学习模型，(ii) 一种从声音视觉表征中的局部模式学习的卷积神经网络（Convolutional Neural Network, CNN），和 (iii) 一种纳入注意力层以捕捉更广泛声学背景的 Transformer 模型。研究人员进一步评估了训练数据集大小、迁移学习和数据增强在现实数据受限条件下对模型性能的影响。两种深度学习模型显著优于传统方法，达到 F₁-score 为 0.89，而 Kaleidoscope 为 0.49，主要由于在保持高精确率的同时具有更高的召回率。值得注意的是，深度学习模型仅使用 10% 的标注训练数据集（约 300 次发声）即可达到高性能，证明迁移学习和数据增强在标注工作量有限的生物声学应用中有效。可靠检测真实出现情况的能力对于监测受威胁且难以发现的物种尤为关键，因为漏检可能导致对栖息地占有、空间分布和种群状况的低估。通过最小化假缺失，基于深度学习的声学识别器即使在数据匮乏条件下也能为保护决策和长期监测提供更可靠的出现数据。

全球动物生物多样性下降，即“defaunation”，是人类影响地球的最令人担忧后果之一。最新 Living Planet Report 估计，1970 年至 2020 年，5000 多个物种的脊椎动物种群丰度平均下降 73%。淡水大型动物如哺乳动物尤其濒危，其下降速率超过陆地和海洋脊椎动物两倍以上。这些指标要求更好保护与监测淡水巨型动物，尤其是受威胁物种。非洲海牛（Trichechus senegalensis）沿西非和中非海岸及部分内陆水域分布，主要生活在淡水和微咸环境，通过取食水生植被和循环营养维持健康、高生产力水生生态系统。但人类压力与低繁殖率使其尤其面临灭绝风险；狩猎和渔网兼捕是种群下降主因。非洲海牛 2015 年被世界自然保护联盟（IUCN）列为易危（Vulnerable, VU），剩余个体少于 10,000，地理范围和栖息地质量均在下降。然而，其丰度评估主要基于访谈而非直接计数，原因包括稀有、浑浊水生栖息地和难以发现的行为。视觉或无人机调查等传统方法存在困难，粪便非侵入遗传采样虽有尝试，但系统监测仍受低排便可检测性限制。被动声学监测（Passive Acoustic Monitoring, PAM）可揭示物种出现和行为，但产生大量数据，需要专家审查；声音在某些环境中模糊或隐蔽，会产生假警报或漏检。自动学习工具可短时间检测发声。传统机器学习算法如 Kaleidoscope 被野生动物管理者广泛使用，而深度学习通常需要更多计算资源和技术专长。卷积神经网络（Convolutional Neural Network, CNN）利用频谱图或倒谱提取和识别发声模式；Transformer 使用注意力机制捕捉长距离依赖和全局声学背景。深度学习模型需要大量标注数据，而生物声学长期缺乏大型标注数据集，因此迁移学习和数据增强被用于克服限制。此前已有七项研究将 CNN 用于海牛发声自动检测，但仅一项针对非洲海牛；仅一项 Transformer 模型用于安提瓜海牛发声检测；尚无研究比较深度学习模型与传统机器学习方法在生物声学调查中检测海牛存在的性能，且这些方法在标注减少时能否保持高效尚不清楚。因此，研究人员在刚果共和国 Conkouati-Douli 国家公园（CDNP）52 个站点、13 个月、约 600 个录音日中，比较 Kaleidoscope、CNN 和 Transformer 三种自动检测方法，并评估训练数据集大小、迁移学习和数据增强的影响。结果显示，两种深度学习模型性能相似并显著优于 Kaleidoscope，F₁-score 为 0.89，而 Kaleidoscope 为 0.49，主要由于召回率更高且精确率保持较高。深度学习模型仅用 10% 标注训练集（约 300 个发声）即可达到高性能，表明迁移学习和数据增强在少标注生物声学应用中有效。可靠检测真实出现对监测受威胁、难以发现物种尤为关键，因为漏检会低估栖息地占有、空间分布和种群状况；通过减少假缺失，基于深度学习的声学识别器可为保护决策和长期监测提供更可靠的出现数据，即使在数据匮乏条件下。

关键技术方法（约250字）：样本队列来源为刚果共和国 Conkouati-Douli 国家公园（CDNP）52 个站点、13 个月、约 600 个录音日。构建空间独立训练/验证/测试集：43 站点训练、6 站点验证、3 站点测试；测试集 1498 个 51–60 s 文件，含 319 个真实海牛发声与 311 个真实负样本；训练集含 3056 个海牛发声和 2880 个负片段。比较 Kaleidoscope 高级分类器、ResNet-50 卷积神经网络（Convolutional Neural Network, CNN）和 Dasheng-base Transformer。ResNet-50 使用 ImageNet-1k 预训练，Dasheng 使用 272k 小时通用音频预训练。数据增强采用 mix-up，在 60% 批次中混合样本。训练集子采样 2%、5%、10%、25%，重复 5 次；指标为精确率（precision）、召回率（recall）和 F₁-score。

研究结果：

3.1 数据增强与迁移学习的影响：研究人员通过在全注释数据集上比较不同训练设置来评估数据增强与迁移学习对两个深度学习模型的影响。无迁移学习时，Dasheng 表现差（precision=0.62，recall=0.28，F₁=0.38）。有迁移学习但无数据增强时，Dasheng precision 与完整设置相似（0.88 vs. 0.89），但 recall 较低（0.67 vs. 0.90），F₁ 较弱（0.77 vs. 0.89）。ResNet 在无迁移学习或无数增强时达到的性能可比但较弱；precision 更受无迁移学习影响（0.85 vs. 0.95），recall 更受无数增强影响（0.71 vs. 0.84）。同时使用迁移学习和数据增强时，ResNet 与 Dasheng 的 F₁ 完全相同，ResNet precision 更高（0.95 vs. 0.89），Dasheng recall 更高（0.90 vs. 0.84）。后续分析仅考虑同时使用迁移学习和数据增强的深度学习模型。

3.2 模型比较性能：研究人员通过在全注释数据集上训练三种模型并在平衡测试数据集上评估来比较性能。三种方法的 precision 大致相似，从 Dasheng 的 0.89 到 ResNet 的 0.95；这表明识别器标记的发声中约 5%–11% 为假警报。相比之下，深度学习模型的 recall 约为 Kaleidoscope 的 2.5 倍（Dasheng 0.90，ResNet 0.84 vs. Kaleidoscope 0.33）；Kaleidoscope 漏掉约 70% 真实发声，而 Dasheng 仅漏掉 10%。因此，Dasheng（0.89）和 ResNet（0.89）的 F₁-score 远高于 Kaleidoscope（0.49），两个深度学习模型相似。

3.3 训练数据集大小的影响：研究人员通过对完整训练集进行子采样，对两个深度学习模型在 2%、5%、10%、25% 训练集大小下各进行五次独立训练和测试。Kaleidoscope 对训练集大小大体不敏感，precision 高（0.84–0.91），recall 低（0.32–0.33）。深度学习方法随训练集增大而明显改善。在 2% 训练集（仅 59 个发声）时，深度学习 precision 低（Dasheng 均值 0.53，ResNet 0.62），而 Kaleidoscope 为 0.84；所有方法 recall 均低（32%–52%），深度学习略高。在 5% 时，两个深度学习模型超过 Kaleidoscope：precision 约 0.8，recall 更高，平均 F₁-score 为 Dasheng 0.77、ResNet 0.73。在 10% 时，深度学习接近平台（F₁=0.83–0.84 vs. 100% 时 0.89），远超 Kaleidoscope（F₁=0.47），precision 相似（0.84–0.86 vs. 0.86），recall 更高（0.80–0.83 vs. 0.32）。Dasheng 从 10% 到 25% 未改善（F₁=0.84），recall 均值下降至 0.78，低于其潜力；ResNet 在 25% 达到潜力（F₁=0.88），precision 0.90，recall 0.86。每个训练子样本的 Wilcoxon-Mann–Whitney 检验显示 Dasheng 与 ResNet 无显著差异。总体而言，更大训练数据集改善深度学习模型，且一旦使用 ≥5% 训练集，两者均超过 Kaleidoscope。

讨论部分：全训练集下，深度学习 F₁ 高于 Kaleidoscope，主要由于更好的 recall，precision 相似。已有研究也支持 CNN 常优于传统自动检测软件；本研究中预训练 ResNet-50 的 F₁ 高于一些无预训练 CNN；传统软件如 PAMGuard 也显示低 recall。训练集由初步 Kaleidoscope 分类器检测的发声组成，可能具有更高信噪比（Signal-to-Noise Ratio, SNR），而测试集为手动注释，可能包含低 SNR 发声；mix-up 通过加权平均合成低 SNR 正样本，改善噪声下表现。Transformer 在文献中有时超过 CNN，但本研究中 CNN 与 Transformer 无明显差异，可能因为任务为单一声型的二分类，较简单；其优势可能在多标签分类等更难任务，但更复杂模型需更多计算资源和训练数据。训练集大小方面，深度学习对数据量敏感，尤其在 ≤10% 时；迁移学习加数据增强可克服大数据需求，仅 10% 数据（约 300 个发声，约 5.5 小时音频）接近最高性能。与许多使用更大训练集的研究比较，强调预训练模型和数据增强在少标注时的重要性。迁移学习减少收敛时间，数据增强计算成本低；深度学习可朝标注和计算节约发展。但深度学习能源需求和 CO₂ 排放需关注，建议报告能源和碳足迹。局限：注释数据集跨一年 49 站点，捕获广泛生物声和噪声条件；即使子采样仍保留多样性，10% 子集包括 46 站点和 11 个月；若同等标注来自更短时间或更少站点，性能可能更低。未包括需要手动特征选择的方法，如决策树和随机森林；但深度学习通常对鸟类、海洋哺乳动物和鱼类等表现更优，更噪声稳健，避免手工特征，独特受益于迁移学习和数据增强。保护意义：选择高 precision 还是高 recall 取决于研究目标；物种分布建模通常偏好 precision，而监测稀有、入侵或易危物种需要高 recall，避免漏掉真实出现，假阳性可通过额外调查识别。减少假缺失改善占有率和密度估计，有助于保护区设计与保护目标一致。研究表明无论研究重点，深度学习模型更合适，因其 precision 如经典分类器而 recall 更好。识别器应作为海量音频的过滤器，并由人工验证，不应盲用，以免假阳性误导生态推断。应用于更大空间数据可帮助保护措施考虑海牛关键区域；尽管国家禁猎，CDNP 内推定栖息地位于整体保护区之外。需进一步研究个体声学特征，结合捕获–再捕获建模，监测种群密度和动态，从而更稳健评估 IUCN 状态。采用这些工具的障碍是管理者和生态学家缺乏机器学习专业知识；未来应优先用户友好、基于深度学习的识别器，并整合端到端数据处理到现场设备，减少人工干预和专业知识，改善实时监测。

研究结论翻译：研究人员清楚表明，两个深度学习模型表现相似，并显著优于 Kaleidoscope。其次，研究人员指出，尽管深度学习在训练集规模减小时表现出性能下降，但与 Kaleidoscope 相比，其在低数据条件下仍达到高绩效。本研究通过利用数据增强和来自预训练模型的迁移学习，即使在少量标注（约 300 次发声）下也提供了可操作工具。