多模态融合技术在精准畜牧业行为监测中的应用：深度学习、姿态估计与传感器集成策略的系统综述

《Information Fusion》：Multimodal Fusion for Precision Livestock Behavior Monitoring: A Systematic Review of Deep Learning, Pose Estimation, and Sensor Integration Strategies

　　亮点
• 对精准畜牧业中用于动物行为识别的深度学习进行了系统的基于PRISMA的回顾（2020–2026年）。
• 基于Transformer的模型在各种牲畜物种上的平均准确率达到94.4%（95%置信区间：91.96–96.76%）。
• 多模态融合使准确率比单模态系统提高了10.3个百分点（p < 0.001）。
• 姿态估计提高了细粒度的跛行检测准确性，报告的准确率为94–100%。
• 可解释的人工智能方法提高了模型的透明度以及利益相关者对农场部署的信任度。
• 自适应多模态融合被认为是下一代可部署系统的核心范式。

引言
动物行为分析已成为现代畜牧业管理的核心组成部分，为了解动物的生理和心理状态提供了无创的窗口。进食、运动、休息和社会互动等行为模式与健康状况、应激反应和生产结果密切相关[1]。在集约化和半集约化生产系统中，对这些行为的持续监测能够早期发现疾病、福利问题和环境压力因素。在精准农业的更广泛框架内，行为分析作为数据驱动决策的关键层次，补充了来自营养、遗传和环境传感的信息[2]。从观察性饲养向定量行为表型分析的转变反映了向客观、高分辨率数据流的转变，这些数据流可以指导适应性管理策略。随着畜牧业规模扩大和复杂性的增加，对可靠、自动化、连续行为监测的需求也随之增加，使行为分析成为下一代农业系统的关键组成部分[3]。
尽管传统的行为监测方法很重要，但它们存在一些固有的局限性，限制了其在现代生产环境中的应用。虽然手动观察被广泛使用，但它需要大量劳动力且容易受到观察者偏见的影响，导致数据集之间的一致性较差，可重复性也有限[1]。评分系统和行为清单虽然结构化，但往往依赖于离散的采样间隔，无法捕捉到短暂或微妙的行为变化。早期的基于传感器的方法，包括加速度计和基本的视频跟踪，提高了数据收集的频率，但在解释复杂的时空交互方面仍然有限。这些系统通常会产生片段化或模糊的输出，尤其是在行为在不同个体和环境背景下重叠或变化时[4]。此外，整合异构数据源仍然是一个持续存在的挑战，降低了传统方法在大型动态农业系统中的有效性[5]。
深度学习的最新进展显著推动了自动化行为识别的发展。卷积神经网络能够从视觉输入中有效提取空间特征，支持动物检测、姿态估计和个体识别[6]。循环神经网络和长短期记忆模型将这种能力扩展到了序列数据，有助于建模时间依赖性和行为动态[7]。最近，基于Transformer的架构和混合方法在捕捉长期时间关系和复杂交互模式方面表现出色[8]。与此同时，多模态人工智能通过传感器融合整合了包括视频、音频、热成像和可穿戴传感器数据在内的异构数据流，生成统一的表示，从而提高了系统的鲁棒性并减少了分类的不确定性。最新证据表明，与单模态方法相比，多模态融合显著提高了检测的敏感性和特异性，特别是对于复杂的健康状况[9]。因此，深度学习和多模态框架提高了精准畜牧业中动物行为分析系统的准确性、可扩展性和实时应用性，如图1所示。
将这些先进分析方法整合到精准农业中对于畜牧业管理具有重要意义。行为监测系统可以支持疾病（包括跛行、代谢疾病和压力相关状况）的早期检测，从而及时干预并改善治疗效果[10]。最近的研究表明，多模态系统增强了检测能力；例如，集成的基于视频和传感器驱动的方法对跛行和其他健康指标的检测准确率超过了90%[11]。结合深度学习模型的姿态估计进一步将跛行检测的准确率提高到94–100%，具有高精度[12]。此外，连续的行为评估通过量化活动模式、社会互动和环境反应，有助于客观评估福利[13]。当与自动决策支持系统结合时，行为数据可以为管理策略提供信息，包括喂养优化、环境控制和密度调整。这些能力提高了生产力和动物福利，同时促进了资源效率和可持续性。当前将精准畜牧业与工业4.0框架相结合，实现了智能挤奶、自动化喂养和持续健康监测[2]。随着全球对动物衍生产品需求的增加以及对道德生产的关注，智能行为监测系统变得越来越重要。
然而，仍有一些研究空白限制了深度学习和多模态AI在这一领域的充分实现。一个主要挑战是缺乏代表多种物种、行为和环境条件的大型、标准化、标注的数据集[2]。在受控或有限数据集上训练的模型往往无法泛化到实际农场环境中，在这些环境中，光照、遮挡和动物密度的变化很大[14]。虽然多模态系统具有潜力，但它们引入了与数据同步、对齐和计算成本相关的额外复杂性[9]。最新证据表明，特别是在特征级别和混合方法上，多模态融合策略在鲁棒性和可靠性方面明显优于单模态系统[9]。然而，仍然存在一些持续的挑战，包括对遮挡的敏感性、高计算要求以及在密集或动态农场环境中的鲁棒性降低[14]。许多现有研究集中在孤立的任务上，而不是能够全面理解行为的综合框架上。这些限制突显了需要标准化评估协议、更大且更多样化的数据集，以及提高在商业农场条件下的鲁棒性、可扩展性和实际部署的途径[2]。
与主要关注个别深度学习技术的现有回顾不同，本研究采用多模态视角，将数据融合视为未来进步的关键驱动因素。2025-2026年系统回顾的最新证据表明，多模态融合是克服单模态方法局限性的关键方法，特征级别和混合融合策略在各种牲畜物种中表现出更强的鲁棒性。在此背景下，本回顾提供了2020-2026年间深度学习和多模态人工智能方法在精准农业中用于动物行为分析的全面综合。它考察了从传统观察技术到先进计算模型的方法演变，重点关注其基本原理、性能特征和应用领域。回顾进一步评估了多模态融合策略，强调整合互补数据源（包括视觉、基于传感器的数据和生理数据）可以增强在不同环境条件下的行为推断。此外，还讨论了关键技术挑战，包括数据限制、模型可解释性和实际应用中的限制，以提供一个关于当前进展和部署障碍的平衡观点。

部分摘录
回顾方法
本系统回顾遵循PRISMA 2020指南（系统回顾和元分析的首选报告项目），以确保透明度、严谨性和可重复性。所采用的方法为识别、评估和综合有关精准畜牧业中深度学习和多模态人工智能方法用于动物行为分析的证据提供了一个结构化的框架。

传统行为监测方法
传统行为监测方法长期以来一直是畜牧业中动物行为分析的支柱，提供了观察和解释动物活动的结构化方法。这些方法基于经典行为学，已被广泛用于通过行为观察和活动分类来评估健康、福利和生产力[1]。早期的精准农业框架为系统化的数据收集和解释提供了初步机制。

深度学习用于行为识别
深度学习已成为自动化动物行为识别的主导范式，能够从高维数据中提取复杂模式，而几乎不需要人工构建的特征。与传统方法不同，深度学习模型直接从原始输入中学习层次化表示，使它们特别适合于动态、非结构化农场环境中的行为表型分析[2]。

姿态估计用于行为识别
姿态估计已成为推进动物行为识别的重要方法，通过检测和跟踪解剖关键点来实现对身体运动和姿态的细粒度分析。与依赖于全局外观特征的传统基于图像的方法不同，姿态估计专注于检测结构地标和建模动物身体的空间配置[88]，[127]。

基于传感器的行为检测
基于传感器的行为检测已成为精准畜牧业中动物监测系统的重要组成部分，提供了无需人工干预的连续、自动的数据收集。这些系统依赖于可穿戴和环境传感器来捕捉运动模式、生理信号和空间活动，将原始传感器输出转化为支持大规模活动分类和健康监测的行为指标[20]，[155]。

多模态深度学习
多模态深度学习已成为推进动物行为识别的核心范式，通过将异构数据源整合到统一的分析框架中来[5]。与依赖于单一数据流的单模态系统不同，多模态方法结合了来自视频、姿态估计、音频、热成像和可穿戴传感器的互补信息，以改善行为推断。这种整合在畜牧业环境中特别相关，因为行为在这种情况下更为复杂。

多模态行为识别的数据集
数据集的可用性和质量对于推进动物行为分析至关重要，特别是对于深度学习和多模态人工智能等数据驱动的方法。在精准畜牧业中，数据集为行为识别模型的训练、验证和基准测试提供了基础。在过去十年中，开发了多个公开和半公开的数据集，涵盖了各种物种、行为和传感模式。

可解释的人工智能在行为识别中的应用
可解释的人工智能已成为动物行为分析不可或缺的组成部分，特别是在深度学习模型越来越多地应用于精准畜牧业的情况下。尽管这些模型在行为识别方面表现出高性能，但其决策过程仍然不透明，限制了利益相关者的信任和实际应用。在农业应用中，决策直接影响动物福利、健康管理和经济结果。

挑战
在精准农业中部署深度学习和多模态人工智能用于动物行为分析伴随着重大的技术、组织和实际挑战，这些挑战限制了其广泛的采用和实际效果。尽管在模型开发和数据获取方面取得了显著进展，但从受控实验环境向动态实际农场环境的过渡仍然非常复杂。

未来研究方向
精准农业中的动物行为分析未来的研究必须优先推进核心技术和方法论范式，以减少对大型标注数据集的依赖，同时提高模型的鲁棒性和部署效率。本节概述了六个关键的研究前沿及其在实现实用、可扩展行为监测系统方面的战略重要性。

结论
随着深度学习和多模态人工智能的整合，精准畜牧业中的动物行为分析经历了重大变革。本回顾强调了从传统监测方法（如手动观察、基于传感器的跟踪和基于规则的系统）到捕捉复杂行为动态的先进数据驱动方法的进步。虽然传统方法提供了基础性的见解，但它们在某些方面仍然存在局限性。

利益冲突
作者没有直接或间接与提交发表的工作相关的任何财务或非财务利益。

作者贡献声明
Musharaf Hassan：撰写——原始草稿、验证、方法学、数据管理、概念化。
Liying Cao：撰写——审阅与编辑、方法学、数据管理。
Hari Mohan Rai：撰写——原始草稿、方法学、数据管理、概念化。
Anwar Ghani：撰写——审阅与编辑、监督、方法学、数据管理、概念化。

利益冲突声明
作者声明他们没有已知的利益冲突或个人关系可能影响本文报告的工作。