《Scientific Reports》：Bioacoustic raw-audio transformer effectively and efficiently encodes mixed sample rate data
编辑推荐：
深度学习已被广泛应用于生物声学领域，通过专门设计和训练的模型，能够实现对多种发声动物的行为与生态学研究。所谓的基础模型（foundational models）可以泛化至新物种或新任务，但需要更大且更多样化的训练数据集。然而，动物发声的频率范围极为广泛，这带来
深度学习已被广泛应用于生物声学领域，通过专门设计和训练的模型，能够实现对多种发声动物的行为与生态学研究。所谓的基础模型（foundational models）可以泛化至新物种或新任务，但需要更大且更多样化的训练数据集。然而，动物发声的频率范围极为广泛，这带来了一个难题：生物声学数据集通常以不同采样率（sample rate）记录，以捕捉不同的频率范围。若将这些数据合并用于训练通用型模型，随着以高分辨率数据扩展频率范围，训练成本将急剧上升，甚至令生物声学研究者难以承受。为解决这一问题，研究人员采用了一种最先进的Transformer模型animal2vec，并使用了一个包含多种采样率及发声频率覆盖广泛物种的自建数据集开展实验。研究人员设计了一种能够提供采样率归纳信息的位置编码（positional encoding），但发现该模型天然能够补偿由采样率变化引起的感受野（receptive field）中的时间拉伸效应，且其性能与标准的升采样（upsampling）方法相比无显著差异。这为在广泛的生物声学数据集上训练强大模型以及开发更具泛化能力的生物声学工具开辟了新的可能性。
论文解读：基于原始音频Transformer的混合采样率生物声学数据高效编码方法研究
一、研究背景与问题
近年来，深度学习技术在生物声学领域得到了广泛应用，推动了动物发声检测、物种识别及生态监测等研究的发展。尤其是以Transformer架构为代表的深度模型，凭借其强大的序列建模能力，在鸟类声音识别等任务中取得了显著成效。然而，生物声学领域面临一个独特挑战：不同动物物种的发声频率范围差异极大，从非洲象的次声波（低于10 Hz）到蝙蝠、海豚及部分昆虫的超声波（超过100 kHz），跨度极大。为有效捕捉不同频率范围的声音，研究者通常需采用不同的采样率进行录音，这导致生物声学数据集普遍存在采样率不一致的问题。
当前主流的基础模型（foundational models）通常依赖将训练数据统一重采样至单一采样率，以保持输入数据的一致性。然而，当训练数据涵盖极宽的频率范围时，这种标准化策略面临严重瓶颈。例如，若将高频昆虫录音与低频鸟类录音合并训练，若将昆虫录音降采样则会丢失关键的超声信息，而将鸟类录音升采样至昆虫录音的采样率则会导致数据量急剧膨胀，训练成本高到难以承受。此外，Transformer架构的核心注意力机制（attention mechanism）的计算复杂度随输入序列长度呈二次方增长，高采样率数据会进一步加剧计算负担。因此，如何在混合采样率数据集上高效训练Transformer模型，成为制约生物声学基础模型发展的关键问题。
二、研究内容与结论
针对上述问题，研究人员基于最新开发的animal2vec模型，构建了一个包含猫鼬（meerkat）和鸟类（bird）声音的混合采样率数据集，采样率范围覆盖8 kHz至48 kHz，共包含22个类别（11种猫鼬叫声类型与11种鸟类物种）。研究人员对比了两种数据处理策略：一是将所有录音统一升采样至48 kHz的标准化方案；二是直接以原始采样率导入音频的混合采样率（mixed-SR）方案。此外，研究人员还设计了一种新型采样率位置编码（SR-encoding），旨在向Transformer网络显式传递采样率信息。
实验结果表明，采用混合采样率方案训练的animal2vec模型在分类任务上取得了与升采样方案相当甚至更优的性能。具体而言，使用可学习位置编码（learnable positional encoding）的模型在混合采样率数据集上达到了0.828的mAP，而在升采样至48 kHz的数据集上仅为0.759。值得注意的是，研究人员设计的SR-encoding在混合采样率数据上表现不佳（mAP仅为0.156），表明该模型天然能够补偿采样率变化带来的时间拉伸效应，无需额外的采样率编码信息。在计算成本方面，混合采样率方案的训练时间仅为升采样方案的三分之二（10至11.1天对比14.9至16.7天），显著降低了训练开销。
进一步实验显示，自监督预训练（self-supervised pre-training）加微调（fine-tuning）的训练范式在混合采样率数据上表现优异，而完全监督训练（fully supervised training）的性能则大幅下降（mAP从0.828降至0.527）。在强标注的猫鼬声音事件检测（sound event detection, SED）任务中，混合采样率方案同样优于升采样方案，且无位置编码（noPE）的模型表现略优于可学习位置编码模型。此外，研究人员还发现，升采样至48 kHz后，8 kHz原始录音的性能显著下降，这可能是由于升采样引入的插值伪影所致。
三、关键技术方法
研究人员使用了animal2vec模型，该模型基于data2vec 2.0的自蒸馏（self-distillation）自监督预训练框架，采用卷积特征提取器（convolutional feature extractor）直接处理原始音频波形。为适应混合采样率数据，研究人员对模型进行了五项修改：启用特征向量填充以应对变长输入；禁用Sinc层以避免采样率变化对滤波器频率响应的影响；禁用类间学习（between-classes learning）以避免不同采样率样本混合干扰；降低特征提取器分辨率以减少Transformer序列长度；禁用事件检测并采用时间轴最大池化以适配弱标注数据。数据集方面，训练数据一半来自MeerKAT数据集（主要为8 kHz猫鼬录音，约17%为44.1和48 kHz手持麦克风录音），另一半来自xeno-canto数据库的11种常见鸟类录音（采样率不低于16 kHz，超过48 kHz的文件被降采样），所有文件截断至最长两分钟并切分为10秒片段。
四、研究结果
分类性能：混合采样率方案在分类任务上达到0.828 mAP，优于升采样方案的0.759 mAP。SR-encoding在混合采样率数据上表现不佳（0.156 mAP），但在升采样数据上（等效于标准正弦位置编码）达到0.765 mAP，略优于可学习位置编码。无位置编码模型在混合采样率数据上达到0.820 mAP，在升采样数据上为0.705 mAP。注意力图分析显示，除SR-encoding外，其他位置编码训练的模型均能有效利用跨音频文件的上下文信息。
计算成本：混合采样率方案的训练时间（预训练加微调）为10至11.1天，升采样方案为14.9至16.7天，混合采样率方案将训练时间缩短至升采样方案的三分之二。
完全监督训练：跳过自监督预训练直接进行监督训练，整体mAP从0.828降至0.527。在鸟类子集中，低采样率类别性能下降尤为显著。
声音事件检测：在强标注的猫鼬数据上，混合采样率方案的可学习位置编码模型达到0.878 mAP，无位置编码模型达到0.886 mAP；升采样方案分别为0.779和0.798 mAP。混合采样率方案在事件检测任务上同样优于升采样方案。
有效批量大小差异：由于混合采样率数据集的平均采样率（30 kHz）低于升采样数据集（48 kHz），在固定音频样本数的情况下，混合采样率方案的每批次有效音频秒数更高（1476秒对比954秒），这可能对训练性能产生积极影响。
五、讨论与结论
研究结果表明，animal2vec模型能够原生适应混合采样率数据，无需额外的采样率编码信息即可有效补偿采样率变化带来的时间拉伸效应。这一发现为在广泛生物声学数据集上训练基础模型提供了新的可能性，避免了升采样带来的数据膨胀和计算成本增加。研究人员指出，混合采样率方案不仅显著降低了训练时间和计算资源消耗，还在分类和事件检测任务上取得了与升采样方案相当甚至更优的性能。该研究的代码、模型权重和数据集均已开放获取，为生物声学领域的研究者提供了可直接使用的工具和资源。这一方法有望推动更具泛化能力的生物声学基础模型的发展，使缺乏机器学习专业知识和计算资源的研究者也能受益于高性能AI工具。
