《Smart Agricultural Technology》：Semi-Supervised Audio Transformers for Non-Invasive Welfare Monitoring in Pig Farming: A
BEATs-Based Approach
编辑推荐：
本研究提出了一种用于商业化育肥猪舍的非侵入性声学监测框架。该框架分两步运行：模型一（Model I）将猪（Sus scrofa）的叫声与猪舍噪声分离，模型二（Model II）将保留的叫声分类为报警性（alarming）或非报警性（not alarming）。
本研究提出了一种用于商业化育肥猪舍的非侵入性声学监测框架。该框架分两步运行：模型一（Model I）将猪（Sus scrofa）的叫声与猪舍噪声分离，模型二（Model II）将保留的叫声分类为报警性（alarming）或非报警性（not alarming）。两个模型均对一秒片段采用BEATs音频Transformer（Bidirectional Encoder Representation from Audio Transformers, BEATs）进行两阶段自适应。在第一阶段（Phase 1），仅冻结编码器，只训练分类头（classifier head）；在第二阶段（Phase 2），微调整个网络，并将来自未标注录音的高置信度、类别平衡的伪标签（pseudo-labels）加入标注数据。在五折交叉验证中，Phase 2将猪检测准确率从93.0%提高至96.5%，将报警叫声分类准确率从88.0%提高至94.9%。在独立留出测试集上，模型分别达到95.7%和94.5%的准确率，优于基于MFCC（Mel-frequency cepstral coefficients, MFCC）的分类器和微调后的HuBERT模型。在训练中未见过的录音月份上，准确率降至约85%（Model I）和87%（Model II），且仅使用单一数据来源（农场或公共）训练的模型无法迁移至另一来源。消融实验（ablation）表明，Phase 2的增益主要归因于编码器微调，而非伪标签。在对15个自动标记事件的回顾性评估中，两名兽医分别确认60.0%和73.3%的事件为报警性。两名兽医在共同评估的11个事件上的一致性为81.8%，Cohen's kappa为0.42。因此，该框架被提出作为一种离线验证的、片段级（clip-level）决策支持工具，用于将专家注意力引导至标记时段，而非实时警报系统。
本文解读了一项面向猪场非侵入性福利监测的研究。全球养猪业集约化导致猪群规模扩大、人畜比例失衡，人工观察难以实现持续精准的福利评估。商业猪舍环境噪声复杂，传统声学特征如MFCC（Mel-frequency cepstral coefficients，梅尔频率倒谱系数）和卷积神经网络在长时程建模及噪声鲁棒性上存在局限，而深度学习又依赖大规模人工标注数据，制约了精准畜牧业（Precision Livestock Farming, PLF）的发展。为此，研究人员提出一种基于BEATs音频Transformer的分层半监督监测框架。该框架由Model I（猪/非猪分类）和Model II（报警/非报警分类）顺序组成，采用两阶段训练：Phase 1冻结编码器，仅训练分类头；Phase 2微调整个网络，并加入从10,788个未标注片段（约3小时音频）中生成的置信度阈值化、类平衡伪标签。数据来自一个私人商业猪场（约150头猪，四个全向麦克风，15个月录音）和六个公共音频库。五折交叉验证显示，Phase 2将Model I准确率从93.0%提至96.5%，Model II从88.0%提至94.9%；留出测试集分别达95.7%和94.5%，优于MFCC+SVM、MFCC+随机森林和微调HuBERT。消融表明主要增益来自编码器微调；留下月份和跨源评估显示泛化受限；兽医对15个自动标记事件确认60.0%~73.3%为报警。因此，该框架被定位为离线验证的决策支持工具，而非实时警报系统。
研究人员采用的关键技术方法包括：（1）BEATs骨干模型，其通过迭代教师-学生循环预测离散音频令牌，获得语义丰富的预训练表示；（2）两阶段训练策略：Phase 1用监督交叉熵训练线性分类头，Phase 2用FixMatch风格一致性损失微调全网络，以弱增强视图生成软伪标签，强增强视图预测并与软标签计算KL散度，同时采用置信度阈值和1:1类平衡；（3）数据来源为私有农场录音（约150头猪，四个麦克风，15个月）和公共语料（AudioSet、ESC-50、Soundwel、BBC Sound Effects、Freesound、FSD50K），标注由一名经验丰富的兽医完成；（4）评估方法包括五折分层交叉验证、独立留出测试、留下月份评估、跨源评估、消融实验及兽医回顾性验证。
研究结果部分的主要发现如下。4.1 总体分类性能：五折交叉验证中，Phase 2相比Phase 1在Model I上准确率提高3.5个百分点，Model II提高6.9个百分点；测试集准确率分别为95.7%和94.5%。4.2 模型一（猪/非猪）：测试集上猪类召回率97.3%、精度94.6%，仅漏检26个猪片段，错误偏向保留非猪片段，适合作为第一级门控。4.3 模型二（报警/非报警）：测试集报警类召回率95.3%、精度95.1%，宏F1为0.943，漏检率与误报率接近。4.4 与基线比较：相同数据划分下，所提模型在两个任务上均优于MFCC+SVM、MFCC+随机森林和微调HuBERT，表明BEATs预训练表示的优势。4.5 训练动态：Phase 1收敛稳定，Phase 2出现轻度过拟合，早停机制抑制了验证损失波动。4.6 半监督阶段消融：仅进行监督微调（无伪标签）已获得大部分Phase 2增益；伪标签在交叉验证中最多增加0.2个百分点，测试集增加0.5~1.9个百分点。4.7 伪标签审计：Model I的伪标签使训练集扩大约58%；Model II因高阈值和类平衡仅保留120个伪标签，最终模型的提升主要来自低置信度测试片段，说明标注数据起主要作用。4.8 留下月份泛化：留出整月时Model I和Model II平均准确率降至86.6%和87.4%，比随机片段划分低约7~10个百分点，表明随机划分对时间泛化估计偏乐观。4.9 跨源泛化：仅用私有数据训练的模型对公共数据几乎不迁移，仅用公共数据训练的模型对农场数据召回率低（Model II报警召回率15.3%），说明模型学习了来源特定结构而非通用声学特征。4.10 兽医验证：采用动态3σ阈值和双麦克风一致共识自动标记的15个事件中，兽医1确认60.0%、兽医2确认73.3%为报警，两者在11个可判定事件上原始一致性81.8%，Cohen's kappa为0.42（PABAK为0.64），支持标记事件与福利问题的相关性，但样本量有限。4.11 错误分析：t-SNE可视化显示残差错误集中在类别边界；Model I错误主要源于与猪频带重叠的背景噪声，Model II错误则源于高唤醒呼噜和短尖啸等连续边界的叫声。
讨论部分指出，Phase 2准确率提升主要来自微调预训练编码器，因为每折已有数千条标注数据，而伪标签高置信度筛选偏向简单样本，对Model II几乎没有贡献；模型在时间泛化和跨源迁移上明显下降，说明需要目标猪场的标注数据或更多样的背景声学数据。兽医验证提示自动标记事件与真实福利事件相关，但专家间一致性中等，故框架只能作为决策支持工具，不能独立诊断。结论部分总结，研究人员开发并验证了一种两阶段分层框架，将BEATs音频基础模型适应于猪叫声监测，以缓解标注数据稀缺瓶颈。Phase 2将五折交叉验证准确率从93.0%提至96.5%（猪检测）、从88.0%提至94.9%（报警分类）；测试集准确率为95.7%和94.5%。消融显示增益主要来自编码器微调，伪标签贡献较小；留下月份评估和跨源实验表明泛化受限；兽医回顾确认60.0%~73.3%的标记事件为报警。该框架作为离线验证的决策支持工具，可引导专家关注福利相关时段，而非实时警报系统。
