基于对比语言-音频预训练（CLAP）框架的提示增强局部少样本鸟声分类方法

《Avian Research》：A prompt-enhanced CLAP framework for local few-shot bird sound classification

　　

被动声学监测（PAM）因非侵入性与长期连续观测能力，已成为生态监测中的重要手段。然而在实际区域监测中，通用鸟声分类模型受栖息地异质性、鸟类群落组成差异及局部标注样本稀缺制约，难以直接迁移至特定区域并保持稳定性能。针对此问题，研究人员提出一种面向局部少样本场景的提示增强鸟声分类方法。该方法以对比语言-音频预训练（CLAP）模型为基础，从文本语义提示与音频特征提示两个维度提升局部鸟声声学特征的表征与判别能力。为验证有效性，研究人员在广州市白云山、石门国家森林公园及万咀头湿地公园采集鸟声录音构建局部数据集，并与提示学习音频语言模型（PALM）基线、微调BirdNET模型及原始BirdNET模型进行对比。实验表明，在每物种仅用16段3秒鸟声片段训练的少样本设定下，所提方法在GZ82局部数据集上取得82.07%的Top-1准确率，分别较微调BirdNET、PALM基线与原始BirdNET提升2.32%、6.26%与17.89%。结果证实，融合提示学习与音频-文本对齐的少样本建模策略可有效提升区域鸟声分类性能，为局部鸟类多样性监测与珍稀鸟类声学调查提供技术支持。

研究背景方面，鸟类作为生态系统重要组分，其群落变化可反映环境与生物多样性动态，而鸟类种特异性鸣声为声学监测提供稳定信源。被动声学监测（PAM）具备非侵入、连续、大范围覆盖优势，尤其适用于隐秘、夜行性或难调查鸟群。现有深度模型如Cornell BirdNET（覆盖超6000种）、Google Perch（约15000分类单元）在北美、欧洲表现良好，但因鸟类鸣声存在地理方言变异、群落组成与声学环境随区域变化，其在非洲、亚洲等训练数据受限区性能明显下降。同时局部标注数据稀缺，传统原型学习在相似种与噪声下不稳定，迁移学习依赖单预训练提取器且极端低资源下判别力不足。为此研究人员开展一项面向广州本地少样本鸟声分类研究，提出提示增强CLAP框架PCANet，并在《Avian Research》发表，论证融合文本语义与音频特征提示及特征相似度融合可显著提升局部适应性。

关键技术方法上，研究人员于2022至2024年在广州白云山（城市森林）、石门国家森林公园（南亚热带常绿阔叶林）、万咀头湿地公园（城市湿地）部署LBird-01211被动声记录仪（32kHz/16bit，24h连续），经专家听辨与谱图核验构建GZ82数据集：保留82种、4551段3秒WAV，按原始录音事件分层划分，每物种训练16段（极稀种1:3），共1232训/3319测。方法以Pengi初始化CLAP双编码器（HTSAT音频编码+Swin Transformer窗口注意力，CLIP ViT-B/16文本编码），在音频侧以线性层生成可学习音频提示向量逐块注入Swin块，文本侧为每物种构造5条含音色/音高/时序描述的提示并拼接可学习token/attention/embed提示，决策阶段融合音频-文本点积相似度y_CLIP与训练集类心余弦相似度y_similar（α=0.5加权）得最终分。

研究结果部分，首先模块消融（3.1节）显示完整PCANet（文本提示+音频提示+相似度计算）在GZ82达AUROC 0.9777、Recall 0.7967、Precision 0.8433、mAP 0.8311、F1 0.7905、Top-1 0.8207；去计算模块降至0.7578，去音频提示降至0.7446，去文本提示降至0.5785，证明双提示与相似度模块均必要；其中后提示（post prompt）贡献大于前提示，单独后提示Top-1达0.8087，接近完整版。相似度模块不仅提速收敛，30轮全模即超无该模120轮。α敏感分析中α=0.5最优，α=1.0时Top-1跌至0.7388。

3.2节模型对比中，原始BirdNET Top-1仅0.6418、F1 0.6482；BN-transfer（本地微调）Top-1 0.7975、F1 0.7143；PALM基线Top-1 0.6719、F1 0.6317；PCANet全面占优，较BN-transfer提升Recall 5.75%、Precision 5.76%、mAP 5.91%、F1 7.62%、Top-1 2.32%，较PALM提升更显著。11近缘种（如Turdus eunomus与Turdus pallidus、Cyanopica cyanus与Garrulax sannio）降维可视化显示PCANet音频-文本特征间距最小、类界最清，BN-transfer在Phyllergates cuculatus与Centropus sinensis间仍混叠，PCANet可分离。

3.3节训练数据局部性影响表明，加Xeno-canto公开数据40种/种至训练集，BirdNET微升、PALM与PCANet反降（PCANet Top-1由0.8207降至0.7825），证明公开数据方言偏移干扰局部提示学习；完全用公开数据训练时三模型均崩塌（PCANet Top-1 0.3709），但BirdNET精度反高于本地训练，说明通用模型靠公开数据保底而局部模型依赖本地样本。3.3.3节五极稀种（如Emberiza elegans仅1训段）PCANet平均仍优于BN-transfer，但Spinus spinus等因样本极少获0准确率，文本特征聚拢、音频特征散乱、跨模态对齐弱。

讨论部分指出，音频提示缺失主要损Recall与F1，因边界正样本响应变弱；文本提示通过跨模态语义约束补音频少样本表征不足，后提示作用于输出空间对齐故效大于前提示；特征相似度模块显式建模类内一致与类间分离，非单纯加速。结论翻译：研究人员提出PCANet，一种基于CLAP的局部少样本鸟声分类模型，通过音频提示、文本提示与特征相似度融合决策，在每物种16段3秒样本下于广州GZ82数据集取得82.07% Top-1准确率，优于PALM、微调及原始BirdNET；构建的广州三生境数据集与实验证实本地数据对区域适应至关重要，公开数据增补反而损害局部提示学习；该融合策略为低资源区域鸟类声学监测提供可快速部署方案。