编辑推荐：
在复杂室内养猪环境中，准确识别母猪个体哺乳行为颇具挑战。研究人员开展了基于 Transformer 的音频 - 视觉多模态融合用于母猪哺乳行为精细识别的研究。结果显示该方法对一般哺乳行为识别准确率达 98.42%，精细行为达 94.37% ，有助于提升养猪管理水平。
在养猪产业的大舞台上，母猪的哺乳行为可是关乎猪宝宝们生存和成长的关键环节。想象一下，一群小猪仔围绕着母猪，努力获取营养，茁壮成长。然而，在现实的室内养猪环境中，诸多 “小怪兽” 却阻碍着人们精准了解母猪的哺乳情况。比如，灯光变幻无常，猪栏的栏杆时不时遮挡视线，还有其他母猪的叫声来 “捣乱”，这些因素让准确识别每头母猪的哺乳行为变得困难重重。而且，仅仅依靠视频信息，就像只用一只眼睛看世界，难免会有遗漏，因为复杂的环境会让视频画面出现各种干扰。同时，单独分析音频信息也不容易，背景噪音和个体识别难题让人头疼。因此，找到一种能精准识别母猪哺乳行为的方法迫在眉睫，这不仅能帮助养猪人更好地照顾母猪和小猪，还能提升整个养猪产业的效益。
为了解决这些问题，华南农业大学的研究人员挺身而出，开展了一项极具创新性的研究。他们提出了基于 Transformer 的音频 - 视觉多模态融合（TMF）框架，致力于实现对母猪哺乳行为的精细识别。经过一系列严谨的实验和分析，研究取得了令人瞩目的成果，相关论文发表在《Artificial Intelligence in Agriculture》上。这一研究成果意义非凡，为深入理解母猪的健康状况和哺乳意愿提供了有力支持，有望助力养猪管理水平迈向新台阶。
研究人员在这项研究中用到了几个关键技术方法。首先是设计了专门的音频 - 视觉数据采集系统，包括能同步捕捉音视频的摄像头和自主开发的声音源定位系统。在特征提取阶段，分别利用预训练的 Inflated 3D ConvNet（I3D）网络和预训练音频神经网络（PANN）获取视频和音频特征。此外，还构建了 Unimodal Self - Attention Enhancement（USE）模块、Audio - Visual Interaction Enhancement（AVIE）模块，并采用自适应动态决策融合策略，实现对多模态信息的高效处理和精准决策。
下面来详细看看研究结果：
- USE 和 AVIE 模块的效果：通过消融研究发现，在单模态音频 PANN 模型和视频 I3D 模型中引入 USE 模块，准确率分别提高 3.37% 和 1.31%。在音频 - 视觉多模态融合 TMF 模型中，同时集成 USE 和 AVIE 模块时性能最佳，准确率达到 98.42%，F1 分数为 98.28%。去除不同模块会导致不同程度的性能下降，这充分表明了两个模块在提升模型性能方面的关键作用。
- 自适应动态决策融合策略的性能比较：将提出的自适应动态决策融合策略与传统融合策略对比，TMF 方法展现出卓越的性能，准确率达到 98.42% ，F1 分数为 98.28%，且变异性最小，证明该策略能更有效地处理多模态数据。
- 与其他方法的比较：与单模态方法以及其他融合方法相比，TMF 优势明显。如单模态音频 PANN 方法准确率仅 77.78%，而 TMF 达到 98.42% ，充分体现了多模态融合以及 TMF 独特设计的优势。
- 与以往研究的比较：与之前主要依赖视频且需精细注释的研究方法不同，TMF 利用 Transformer 技术融合音视频信息，在识别母猪哺乳行为上准确率大幅提升，达到 98.42%，还能识别带召唤哺乳声音的行为，超越了以往方法。
- 精细母猪哺乳行为识别的性能：在 Dataset 2 上评估精细母猪哺乳行为识别的准确性，使用声音源定位系统（SSLS）时，模型总体准确率达到 94.37%，F1 分数为 94.15% ，相比不使用时性能显著提升，尤其是对不带召唤哺乳声音的哺乳行为分类准确率提升明显。
- 长视频中的统计分析：通过对未修剪的日长视频测试，TMF 模型能有效预测母猪全天的哺乳行为，并清晰区分带召唤哺乳声音和不带召唤哺乳声音的行为。统计结果还显示不同母猪的哺乳行为存在差异，这表明 TMF 模型在实际养殖环境中的监测能力可靠。
在研究结论和讨论部分，该研究首次运用音频 - 视觉多模态融合方法识别母猪哺乳行为，具有诸多优势。其提出的 TMF 框架通过 USE 和 AVIE 模块增强了模态内和模态间的关系，利用瓶颈原理减少冗余和噪声，自适应动态决策融合策略也优于传统方法。此外，声音源定位系统有效降低了多笔环境中的噪声干扰，成本效益高。然而，研究也存在一些局限性，如在大型猪场多母猪同角度时可能出现误判，活动前后的识别存在模糊性，计算复杂度较高等。尽管如此，这项研究为理解母猪的哺乳行为提供了新的视角和有力工具，对养猪产业的发展有着重要的推动作用。未来，研究人员可针对这些局限性进一步优化，有望让该技术在养猪领域发挥更大的价值，助力养猪产业实现智能化、精细化管理。
