一种基于Swin-Transformer和LSTM的方法，用于在多种环境中识别牛的行为

《Italian Journal of Animal Science》：A Swin-Transformer and LSTM-based method for cow behaviour recognition in diverse environments

　　摘要
本研究采用深度学习技术来辅助识别视频监控场景中奶牛的日常活动。首先，为了克服环境限制，在不同的光照和天气条件下（白天、夜晚、光线变化、雨天）收集数据。其次，提出了YOLOv5-SF算法：将Swin-Transformer自注意力机制引入YOLOv5的C3模块以优化参数并提高计算效率，同时将卷积层中的SiLU激活函数替换为FReLU，以增强模型捕捉空间特征的能力。实验表明，该模型在五种主要日常行为上的mAP值为0.965，并在不同环境中表现出出色的鲁棒性。此外，结合了StrongSORT多目标跟踪算法为每头奶牛分配唯一且一致的ID，并使用LSTM时间序列模型来预测行为数据。通过与手动统计的比较和分析，深入揭示了奶牛的行为模式。本研究为精准畜牧业的动物行为监测提供了一种高效可靠的技术解决方案。

亮点
- 研究了在各种场景下基于图像的奶牛行为识别方法。
- 开发的Yolov5-SF模型在检测细节方面表现出色。
- 该模型非常适合多场景目标行为识别。

关键词：
Swin-Transformer；奶牛；行为识别；多场景

引言
奶牛的日常活动行为至关重要，因为它与它们的健康、牛奶生产和后代繁殖密切相关。在中国，奶牛养殖在畜牧业发展中占据重要地位，对改善人们的食物结构、提高生活质量和增强身体健康起着重要作用。随着国民生活水平的不断提高和国内乳制品行业的增长，对优质乳制品的需求日益严格。然而，中国当前的大规模奶牛养殖存在一些问题（Chen等人，2021年；Bloch等人，2023年；Cueva等人，2023年；Teng等人，2025年）。精细管理仍然粗放，缺乏快速感知奶牛压力行为的方法，自动化控制也不够完善。这些缺点对奶牛养殖业的可持续和高效发展构成了重大挑战。
深度学习凭借其在模式识别和数据分析方面的显著能力，已成为一种强大的工具，并被广泛应用于动物行为识别领域。该技术使奶牛场仅通过低成本视频监控就能获得高度可靠的行为识别结果。尽管如此，仍有许多障碍需要克服。获取大规模和多样化的奶牛行为数据集是一项艰巨的任务。奶牛的行为在不同环境中表现出显著差异。例如，在牧场环境中，奶牛可能表现出更活跃的觅食和游荡行为，而在封闭的牛舍中，它们的活动可能更受限制，主要集中在进食和休息上。进食环境、健康状况等因素都增加了行为识别的复杂性。生病的奶牛可能会表现出异常姿势、活动水平降低或进食模式变化。在实时性能方面，能够准确识别奶牛行为对于及时干预至关重要。然而，这需要能够快速处理和分析数据的高响应识别系统。
Alameer等人开发了一种基于GoogLeNet的深度学习模型，用于自动识别猪的进食行为；仅通过视觉监控就能以超过99.4%的准确率检测到这些微妙的变化（Alameer等人，2020年）。尽管具有创新性，但其实施需要安装特定的传感器、摄像头和其他硬件设备。在某些环境中，如偏远或条件恶劣的养殖地点，购买、安装和维护这些硬件受到经济和技术因素的限制，从而限制了其实际应用性。Xue等人利用Yolov3和Yolov5训练奶牛监测的数据集；大多数行为的准确率高于95.3%（Xue，2021年）。然而，这些数据集来自公共集合，可能无法充分代表现实世界场景的多样性。公共数据集可能缺乏不同奶牛场的特定细微差别和变化，如品种差异、管理实践和当地环境条件。Cheng等人提出了基于Yolov5的羊行为识别模型，提高了部署效率（Cheng等人，2022年）。在该模型中，研究人员根据数据特征分布划分数据集。每种行为类型只需要少量图像即可实现0.967的识别精度和0.965的召回率。然而，在进行实时奶牛行为监测的场景中，识别和反馈的潜在延迟可能导致系统失效。在拥有数百或数千头奶牛的大型奶牛场中，即使是在检测到健康问题或异常行为方面的轻微延迟也可能导致严重后果。Bai等人引入了一种改进的Yolov5s方法，用于奶牛的多尺度行为识别，结合了Transformer注意力机制和SE注意力机制，奶牛多尺度行为识别的平均准确率比YOLOV5s高出1.2个百分点（Bai等人，2022年）。然而，其在夜间和雨天条件下的有效性尚未得到全面验证。夜间能见度降低和雨天天气会扭曲奶牛和农场环境的外观，给准确行为识别带来独特挑战。Zhao等人提出了一种融合视觉和超宽带（UWB）定位的个体奶牛识别系统，提高了复杂牛舍布局中的跟踪精度。实验数据显示，UWB定位系统的未优化范围误差平均值为0.18米，标准差为0.047米（Zhao等人，2025年）。Giannone等人开发了一种基于YOLOv8的自动化奶牛识别和进食行为分析模型，在计算进食区域的停留时间方面表现出稳健性能，准确率为85%，召回率为62%（F1分数为0.72），IoU为0.5（Giannone等人，2025年）。Bumbálek等人对包括体纹、二维码项圈和用YOLOv8实现的数字标记在内的牛识别方法进行了比较评估；mAP50-95值均高于0.7（Bumbálek等人，2025年）。这些研究强调了提高动物监测系统准确性、适应性和实际应用性的持续努力。

总之，现有的动物行为检测研究主要集中在相对均匀的环境中，忽视了自然环境中不同气候条件带来的挑战。由于奶牛行为的多样性和复杂性，识别奶牛行为尤为复杂。需要考虑多个变量，这使算法设计和模型训练变得复杂。为了突破这些限制，本文基于以往的研究，对奶牛在各种自然环境中的日常活动进行了研究，包括白天、夜晚、光线变化以及雨天和阴天。通过将注意力机制集成到深度学习模型中，研究人员发现该模型表现出显著的鲁棒性。所有结论都是通过将相同数据与其他四种深度学习模型进行比较得出的。基于多场景数据收集和训练，该模型有潜力彻底改变奶牛养殖环境中的实时监测，从而提高大规模奶牛养殖操作的精细化管理水平。这项研究不仅有助于科学理解奶牛行为，还为开发更高效和可持续的奶牛养殖实践铺平了道路。例如，通过准确检测奶牛的早期疾病或压力迹象，农民可以立即采取纠正措施，如调整饮食、提供医疗治疗或改善生活条件。这不仅减少了因健康问题导致的牛奶产量损失，还提高了乳制品的整体质量。此外，行为识别的自动化程度提高可以释放劳动力资源，使农民能够专注于农场管理的其他方面，如繁殖计划和基础设施改进。

材料与方法
本文使用的数据都是序列数据，可以捕捉事件或观察之间的时间关系。同时，序列数据有助于对随时间变化的动态变化进行建模。这种建模有助于计算机算法理解数据点之间的上下文关系。序列化数据使算法分析和建模构建更接近现实世界场景，从而更准确地理解和预测数据行为。因此，在构建数据集时，应注意样本的多样性。数据集应包含不同的场景、光照条件、背景等元素，以增强模型的鲁棒性，并确保其在不同环境条件下的高效识别能力。鉴于奶牛行为的多样性和复杂性，本研究通过实地收集和监控数据构建了一个涵盖各种光照条件和场景的奶牛行为数据集。

实验数据来自中国晋中的普远泰奶牛场。该农场占地面积约为300亩（约20公顷），目前饲养着2000多头荷斯坦奶牛。奶牛场主要包括三个主要部分：活动区、进食区和挤奶区（图1）。监控数据视频是在2022年7月底和2023年3月初使用带三脚架的摄像头拍摄的，以捕捉单个和多头奶牛的行为特征。每个视频片段长约3-5分钟，分辨率为720p/30 fps，照片的统一大小为3024×4032像素。此外，还安装了多个带有4G网络的远程监控摄像头，分辨率为1920×1080像素。摄像头安装在2.00米的高度和65°的角度，配备了支持360度旋转的云台（PTZ）功能。集中视频录制是在2023年3月的夜间和2023年4月初的雨天进行的，每个片段录制约5-10分钟。在这项研究中，我们共获得了103段奶牛行为数据视频，包括58段实时收集的视频和45段监控视频。

图1. 奶牛场平面结构示意图。
该图展示了划分为功能区域的智能农场布局。顶部是浅蓝色的“活动区”，上面有几个奶牛图标和一个“水通道”，旁边有多个摄像头位置。右侧是浅黄色的“进食区”，内有喂食槽和额外的摄像头。下方是粉红色的“挤奶区”，显示了一个L形走廊，带有指示“入口”和“出口”之间流动的方向箭头，也有摄像头。左侧有一条道路，图例标识了各个区域和摄像头位置。

实验数据在四种场景下收集：白天环境、夜晚环境、光线变化以及雨天和阴天。这产生了43段白天的奶牛行为视频、28段夜间的视频、15段光线变化时的视频以及17段雨天和阴天的视频，总计9小时的日常活动视频。经过视频预处理和逐帧图像筛选后，共获得了4655张图像，分别对应于四种场景的1307张、1189张、1176张和983张图像。随后，这些图像被统一处理成608×608像素的jpg图像，并使用LabelImg注释软件对图像进行注释并存储为xml文件。

识别奶牛行为的标准
本文收集的数据来自现实生活场景，涵盖了奶牛的日常行为。由于奶牛性格温和且养殖数量不断增加，它们的行为受到周围同伴和外部因素的影响（Proudfoot等人，2018年；Achour等人，2020年；Fuentes等人，2020年；Noriaki等人，2021年；Leliveld等人，2022年；Stenfelt等人，2022年）。奶牛表现出多种行为，因此需要为它们的日常行为制定严格的定义和统一的标准，以提高机器学习识别奶牛行为的准确性。通过观察和文献回顾，奶牛的日常行为被分为四种主要和常见的类型：站立、行走、躺下和饮水（图1）（Chen等人，2020年；Cockburn，2020年；Wu等人，2020年；Balasso等人，2021年；Leliveld等人，2022年；Stenfelt等人，2022年）。站立行为通常发生在奶牛吃完食物之后，此时奶牛的四条腿垂直于地面并保持静止，有时左后腿和右后腿略微分开。这种姿势被定义为站立行为。行走行为是通过在挤奶厅入口或出口拍摄的奶牛行走视频观察到的，其中奶牛的前后腿显示出高度的平行或交叉。这种行为被定义为行走。躺下是奶牛的常见行为。进食或饮水后，奶牛需要反刍或休息，因此它们的身体与地面接触，四肢向腹部收起。这种姿势被识别为躺下行为。饮水行为通常在饮水槽附近观察到，或者通过监控摄像头捕捉到奶牛饮水的场景。当奶牛的嘴巴明显伸入饮水槽并保持一段时间时，这种行为被定义为饮水。值得注意的是，奶牛在饮水时保持站立姿势，使得站立行为成为较为频繁的行为类型之一（Achour等人引用2019；Li等人引用2019；Bezen等人引用2020；Wang等人引用2020；Wang引用2021；You等人引用2021）。在本文中，奶牛行为图像包含五个标签（图2）：头部、站立、行走、躺下和饮水。在标注数据时，只要奶牛表现出任何行为，并且奶牛的面部特征可识别，整个面部和耳朵都会被标注为“头部”。由于被标记为“头部”的奶牛在图像中通常还有其他行为，因此图2列出了两张“饮水”的图像，而不是单独列出具有“头部”行为的奶牛。图3展示了关于奶牛行为的标注信息。图2. 奶牛行为演示。显示全尺寸图3. 标签图奶牛行为标注信息。阅读此图的详细描述。图像展示了一个牛舍，里面有几头荷斯坦奶牛，有些躺着，有些站着。绿色点表示它们的位置和活动，通过左侧的标注界面进行标记，该界面具有文件处理选项。右侧面板列出了诸如“躺下”、“站立”和“饮水”等标签。牛舍结构和饮水槽也可见，形成了一个在晴朗天空下的典型牲畜观察场景。显示全尺寸

伦理批准
动物实验方案严格遵循ARRIVE指南，并得到了山西农业大学机构动物护理和使用委员会的机构审查委员会的批准（协议代码SXAU-EAW-2024C.VZ.003027251和2024.3.29）。在整个实验过程中，所有程序的实施都以最小化动物的痛苦和不适为目标，使它们感到舒适，严格符合ARRIVE指南。

优化的Yolov5网络结构
Yolov5是一种高效的对象检测算法，采用单阶段端到端网络结构。它包括卷积层、上采样层、特征融合模块和预测头。Yolov5的特点是轻量级和快速推理，同时保持高检测精度。‘BackBone’网络使用CSPDarknet53提取图像特征，特征融合模块捕获多尺度对象信息。‘Head’网络预测对象的边界框和类别，多个预测头检测不同尺度的对象。‘Neck’网络是Yolov5算法目标检测架构中的关键组成部分。它位于‘BackBone’（主干网络）和‘Head’（预测头）之间，主要负责多尺度特征融合和增强。最终输出通过非最大值抑制过滤检测结果。本实验主要关注使用奶牛行为数据集的研究。由于奶牛是大型目标，原始的Yolov5模型已经在识别方面取得了良好的结果。为了进一步提高模型性能并在不同场景下改善识别能力，解决诸如低识别精度和受气候条件影响等问题，研究人员对模型进行了微调，并将Swin-Transformer自注意力机制模型引入‘BackBone’网络的C3模块中，形成了C3STR模块（Wang等人引用2023）。此外，为了提高模型的识别精度，原始Conv层中的SiLU激活函数被FReLU激活函数替换。在整体架构方面，该模型严格遵循多尺度检测框架，保持与YOLOv5相同的下采样策略和特征图尺度（最终输出特征金字塔为80×80、40×40和20×20）。卷积核大小主要为3×3，辅以必要的1×1卷积进行调整。进行了消融实验和比较实验来展示优化模型的性能。结果表明，优化模型（图4）能够准确识别奶牛行为，有效识别不同场景下的多种目标行为。图4. 优化YOLOv5模型结构。阅读此图的详细描述。该图描绘了一个分为四个主要部分的神经网络架构：输入图像（640×640×3）、Backbone、Neck和Head。Backbone包含标记为CBF和C3的顺序块，由ConCat和UpSample层支持。Neck将Backbone的输出连接到Head，多个ConCat层合并这些输出。Head显示三个特征图维度：80×80×256、40×40×512和20×20×1024。内部块定义揭示了CBF和C3STR的结构，展示了Conv、Bn和Swin-Transformer等组件，说明了数据在网络中的流动和转换。显示全尺寸

模型优化
Swin-Transformer是一种基于窗口注意力机制的视觉注意力模型。它以分层方式处理输入序列，从而降低计算复杂性。输入图像被划分为一系列固定大小的不重叠补丁，每个补丁作为一个窗口，在其中应用窗口注意力机制。Swin-Transformer的结构采用自注意力机制，仅在局部窗口范围内进行计算，而不是全局计算。这有助于降低计算复杂性，并使模型能够更高效地处理大型输入图像（图5）。为了促进不同窗口之间的信息交换，引入了窗口移动操作。通过移动窗口，模型可以在不同窗口之间传输信息，有助于捕捉全局上下文。图5. Swin-Transformer结构。阅读此图的详细描述。该图将Swin Transformer架构呈现为一个多阶段流程图。它从标记为“Images”的输入开始，尺寸为H×W×3，表示高度、宽度和颜色通道。第一阶段包括“Patch Partition”，然后是“Linear Embedding”，接着是“Swin-Transformer Block”，最后是“Patch Merging”。这个过程在四个阶段重复进行，尺寸逐渐减小：第一阶段为H/4×W/4×C，第二阶段为H/8×W/8×2C，第三阶段为H/16×W/16×4C，第四阶段为H/32×W/32×8C。每个组件都清晰标记，展示了数据通过架构的结构化流动。显示全尺寸

Swin-Transformer通过深度和宽度的平衡增强了模型的表达能力。通过增加层次结构和多头注意力机制，模型可以更好地捕捉输入图像的复杂特征。这些窗口以非重叠的方式均匀划分图像。假设每个窗口包含M×M个补丁，计算具有H×W补丁的图像的全局多头自注意力（MSA）模块和基于窗口的模块的计算复杂性如下公式所示：(1) MSA = 4HWC2 + 2(HW)2C。FReLU（灵活的修正线性单元，图6）是一种激活函数，与传统ReLU（修正线性单元，图6）激活函数相比具有灵活性。FReLU有助于更好地处理负输入，并通过在负值区域引入非零均值来增强网络的表达能力。FReLU包含可学习参数，允许网络根据数据特征自适应调整激活函数的形状。这有助于网络更好地适应不同的数据分布，并提高模型的灵活性。图6. ReLU（x）和FReLU（x）激活函数的比较。阅读此图的详细描述。该图并排显示了两个图形。左侧面板将relu(x)函数表示为沿x轴平坦的实线，对于负x值，然后对于正x值以45度角上升。右侧面板展示了frelu(x)函数，对于负x值在x轴下方为实线，对于正x值在x轴上方为虚线蓝色线，并带有标记为‘b’的垂直偏移标记。这表明了两个函数在偏离x轴的转折点的高度差异。两个图形都水平标有‘x’轴，各自的函数名称垂直标出。显示全尺寸

FReLU的设计考虑了卷积神经网络（CNN）中的空间感知。通过允许激活函数在空间上自适应变化，FReLU可以更好地捕捉图像中不同位置的特征。与一些复杂的激活函数相比，FReLU的设计相对简单，引入的可学习参数较少。这有助于减少模型参数的数量并降低过拟合的风险。传统的ReLU激活函数表现出输出对称性，即对于正负输入输出相同。FReLU通过引入可学习参数打破了这种对称性，使网络能够更灵活地处理正负输入。其数学表达式如下：(2) FReLU(x) = {x + b, 如果 x > 0; b, 如果 x ≤ 0}。

StrongSORT算法
对于奶牛行为的在线实时跟踪，本研究采用了StrongSORT算法（Du等人引用2023）。在DeepSORT框架（Wojke等人引用2017）的基础上，该算法通过集成几个高级模块进行了系统增强。如图7所示，这些模块包括更强大的ReID特征提取网络（ResNeSt50）、外观特征增强模块（ECC）、指数移动平均（EMA）更新策略和具有噪声尺度自适应机制的卡尔曼滤波器（NSA Kalman）。核心工作流程如下：首先，对象检测模型（YOLOv5-SF）解析输入视频帧以定位奶牛并获得它们的边界框。随后，外观特征提取网络和运动估计模块并行处理数据，分别生成稳健的外观嵌入向量和预测运动状态。在数据关联阶段，算法采用改进的匹配策略，通过结合外观相似性和运动一致性来计算关联成本，并通过门控机制过滤可靠的匹配。最终，这个过程完成了轨迹的初始化和更新。图7. StrongSORT算法。阅读此图的详细描述。流程图展示了一个带有标记框的计算模型。“BoT + ResNeSt50”输入到“EMA”，而“ECC”连接到“NSA Kalman”。这两个中心节点分别产生标记为“cost”和“gate”的输出。这些输出汇聚到“Vanilla Matching”。红色箭头指示组件之间的流动方向，直观地引导读者了解图中的关系。显示全尺寸

实验结果分析
深度学习模型建立在PyTorch深度学习框架之上，运行在配备Ubuntu的计算机上。实验环境包括Ubuntu 18.04操作系统和Tesla K80 GPU（24 GB）。在本研究中，使用的优化器是Adam，深度学习模型的最大训练周期设置为300，输入批量大小为16（Tang和Huang引用2022）。深度学习模型的训练集、验证集和测试集按8:1:1的比例划分，分别得到3725、465和465个样本。本文采用消融实验选择了一个优化的Yolov5模型，并通过比较实验进一步验证了优化后的Yolov5网络模型优于其他网络模型。模型训练后的性能通过精确度、召回率和平均精确度（mAP）进行评估。其数学表达式如下：(3) Precision = TPTP + FP (3) (4) Recall = TPTP + FN (4) (5) mAP = ∑i=1kAPi (5) 如表1所示，在基于YOLOv5的奶牛行为识别实验中，我们系统评估了五种激活函数（SiLU、Swinish、Mish、GELU和FReLU）对模型性能的影响。实验结果表明，FReLU在所有评估指标上表现最佳，全面超越了其他激活函数。值得注意的是，尽管YOLOv5的默认激活函数SiLU已经具有竞争力（精确度0.903、召回率0.893、mAP 0.938），但FReLU显著提高了召回率和mAP，同时保持了高精度，表明它在复杂行为识别任务中具有更强的特征捕获和泛化能力。表1。使用不同激活函数的比较结果。下载CSV显示表格如表2所示，不同的窗口大小对模型性能有显著影响：当窗口大小为7（默认值）时，模型达到了最高的精确度（0.923）、召回率（0.946）和mAP（0.965）；当窗口大小调整为6、8或9时，这三个指标都有一定程度的下降。这一结果验证了窗口大小为7是该模型的最佳选择，因为它可以更好地平衡捕捉局部特征和全局依赖性的能力，从而提高奶牛行为识别任务的综合性能。表2. Swin-Transformer不同窗口大小的比较结果。下载CSV显示表格根据实验结果（表3），原始的Yolov5模型相比三个改进后的模型具有更多的参数和更大的模型大小。在引入Swin-Transformer模块后，我们观察到模型参数数量显著减少，同时mAP值提高了0.85%。此外，模型大小减少了4.3 MB。在进一步改进模型时，我们将Conv层中的SiLU激活函数替换为FReLU函数。尽管模型参数数量略有增加，但精确度、召回率和mAP指标都有所提高。表3. 消融实验的比较。下载CSV显示表格通过将这两种改进融入Yolov5模型，我们观察到它的参数数量在四个模型中最少。此外，它的精确度、召回率和mAP值也是最高的。模型大小减少到了10.5 MB，表明优化后的模型更加轻量级，识别准确性也更高。这进一步表明优化后的模型非常适合移动应用，为后续研究提供了便利。实验选择了目前流行的DETR（Shen等人，引用2023年）、EfficientDet（Liu等人，引用2022年）、Faster-RCNN（Li等人，引用2022年；Jia等人，引用2023a，引用2023b）、Yolov5对象检测模型以及Yolov5 + Swin-Transformer + FReLU模型（以下简称Yolov5-SF模型），在相同的实验数据和训练参数下进行比较分析。不同模型的比较结果显示在表4和图8中。图8. 模型训练的mAP和损失值比较。阅读此图的详细描述该图由两个面板组成。面板A显示了一个折线图，比较了五种模型的平均精确度（mAP）与训练周期的关系：Efficientdet（浅蓝色）、Faster-rcnn（橙色）、DETR（绿色）和Yolov5（红色）以及Yolov5-SF（紫色）。mAP值的范围是从0到1，Efficientdet和DETR接近1.0，而Faster-rcnn稳定在0.8左右。面板B绘制了损失值与训练周期的关系，显示出下降趋势。Yolov5和Yolov5-SF表现出最低的损失值，接近于零，而Efficientdet则波动较大。插图突出了早期的损失趋势，表明大多数模型的损失值下降迅速。表4. 在不同模型上使用奶牛行为数据集的实验结果比较。下载CSV显示表格通过比较使用奶牛场行为数据集训练五种对象检测模型期间的mAP和损失值，可以观察到EfficientDet模型的性能提升相对较慢。尽管其在50个训练周期后的准确性逐渐提高，但100个周期后mAP值变得不稳定。另一方面，Faster-RCNN模型在五种模型中表现出最低的准确性。仔细比较后发现，DETR模型和两种Yolov5模型都取得了相当好的结果。原始Yolov5模型在前50个周期内的准确性低于其他两种模型，且其准确性提升相对较慢。然而，DETR模型和Yolov5-SF模型的表现非常出色，它们的准确性值持续稳定上升，使它们在这些比较模型中名列前茅。总体而言，DETR模型和Yolov5-SF模型在训练过程中表现出色，准确性值持续提高，使它们在mAP评估中脱颖而出。观察损失图（图8）可以发现，在前50个训练周期内，EfficientDet、Faster-RCNN和DETR的损失曲线都呈现下降趋势并逐渐收敛。与表现更优的Yolov5-SF模型相比，Yolov5-SF模型的初始损失值较低，并且在训练过程中收敛得更快，从而获得了更显著的结果。与Yolov5模型相比，Yolov5-SF模型的初始损失值更低，并在整个训练过程中始终保持较低的损失值。这表明Yolov5-SF模型在训练初期能更好地适应数据，表现出更优的性能，这对于提高模型的训练效率和准确性至关重要。总之，Yolov5-SF模型在训练过程中的表现最为突出，其准确性值持续提高，在mAP评估中脱颖而出。同时，它在观察损失曲线方面也表现出更优的性能。研究人员使用了四种深度学习算法模型：EfficientDet模型、Faster-RCNN模型、DETR模型和改进后的Yolov5-SF模型进行比较，以找出行为识别结果（图9）。奶牛的四种日常行为通过五种标签进行了识别。显然，在白天场景中，Yolov5-SF模型的识别性能最佳，平均每秒帧数（fps）为23.5，是四种模型中最高的。它可以清晰地识别各种奶牛行为，且识别结果与实际奶牛行为基本一致。EfficientDet模型排名第二，因为也能清晰地识别奶牛行为。然而，在视频输入后，它无法准确显示锚框内的内容，未能达到预期效果。Faster-RCNN模型在白天识别奶牛行为方面表现良好，但在夜间表现较差，无法准确识别奶牛行为。DETR模型的表现最差，对奶牛行为的区分不够准确，识别结果也不理想。其fps也是四种模型中最低的。在白天和夜间场景中，由于奶牛场环境和其他因素的干扰，它容易出错。Yolov5-SF模型在上述条件下能够准确识别奶牛行为。EfficientDet模型在白天表现较好，但在夜间或光线不足的条件下表现不佳，容易将其他物体误识别为奶牛行为。Faster-RCNN模型在夜间也会混淆奶牛行为，错误地将饮水槽下的杂物识别为奶牛的头部。其识别准确性低于其他三种模型。DETR模型的表现最差，存在识别错误和失败。它在识别多目标奶牛行为或小目标时效果不佳。图9. 不同算法行为的比较。通过实验比较和分析，很明显Yolov5-SF模型在奶牛行为数据集上的识别效果最佳，优于EfficientDet、Faster-RCNN和DETR模型。它能够准确识别奶牛行为，并在不同场景中有效识别多个目标行为，展现出最佳的模型鲁棒性。基于之前的实验，对具有不同特征的训练样本进行了分类。特别是针对各种环境下的奶牛行为数据，我们从数据集中选择了以下四种类型的行为数据：正常白天条件、夜间条件、光照变化以及雨天和阴天。这四种不同类型的训练样本与其识别效果进行了比较，以测试Yolov5-SF模型。为了评估Yolov5-SF模型的识别性能，我们从不同的训练样本中选择了相应的测试集。在这个实验中，我们采用了精确度、召回率和mAP值，阈值设为score_threshold = 0.5，以及混淆矩阵（图10）。通过比较不同场景的结果，我们发现Yolov5-SF模型适用于在各种环境中识别奶牛行为。图10. 从四种行为检测中获得的混淆矩阵。阅读此图的详细描述该图包含六个面板，展示了计算机视觉模型识别的奶牛及其活动。每个面板包括边界框和置信度分数。- 面板A：白天场景，奶牛被标记为“行走”（0.89）、“站立”（0.91）和“躺下”（0.91）在户外。- 面板B：夜间视角，奶牛主要“站立”（0.95）在室内。- 面板C：单色场景，奶牛主要“躺下”（0.94）和“站立”检测（0.96）。- 面板D：牛棚中的奶牛，标记为“站立”（0.90）和“躺下”（0.95）。- 面板E：白天户外，显示多种行为，包括多个“站立”和“躺下”检测。- 面板F：奶牛展示复杂活动，包括“行走”（0.90）、“躺下”（0.70）和“头部”（0.50）。该模型在不同光照条件下评估奶牛行为。根据表5，当score_threshold设置为0.5时，在白天阳光充足的情况下，精确度、召回率和mAP值高于其他三种场景。在训练模型时，奶牛在白天阳光充足时的行为准确性更好，白天奶牛的数据集在测试中也优于其他三个类别，平均mAP值为0.90。通过观察测试数据，可以捕捉到奶牛的各种行为特征，背景中的小目标行为也能被准确识别。白天的行走行为明显高于其他三种环境，主要是因为奶牛在白天更活跃，由于需要定期手动挤奶，奶牛的行走标签数量明显高于其他三种环境。因此，白天的精确度、召回率和mAP值高于其他三种环境。同样，也可以观察到奶牛在白天的站立行为也高于其他三种环境。站立行为是奶牛日常活动中最常见的。由于奶牛在饮水时也是站立姿势，因此站立行为的标签数量最多。通过观察发现，夜间光照不足以及雨天和阴天的mAP值分别为0.84和0.82，明显低于其他两种环境。主要原因是在这两种环境中，奶牛大多处于躺下状态，站立行为较少。召回率也低于正常白天和其他光照条件下的环境，表明模型未能正确识别实际目标。奶牛的躺下行为在四种环境中的精确度、召回率和mAP值最高，表明在不同环境中识别奶牛的躺下行为效果最佳。在比较四种不同环境下的饮水行为时，夜间和雨天及阴天的奶牛饮水数量明显低于白天和光照条件不同的环境。夜间饮水行为可以更好地被识别，因为监控摄像头安装在饮水槽上方。然而，在雨天和阴天，奶牛大多躲在牛棚内，饮水行为显著减少，使得雨天和阴天的识别效果最低。表5. score_threshold = 0.5时，不同场景下每种行为的P、R和mAP值。下载CSV显示表格通过观察奶牛场的摄像头和现场照片（图11）在不同环境中的情况，可以明显看出奶牛的主要行为是站立和躺下，因此在不同环境中的识别效果相对较好。奶牛饮水行为的识别标准相对严格。“饮水”要求奶牛的嘴巴深入并接触饮水槽，通常是在奶牛站立时。因此，“饮水”标签的数量明显少于其他标签。我们需要关注的另一个方面是，在选择测试数据集时，白天的数据集明显高于其他类别的数据集，这也是影响评估指标的一个重要因素。图11展示了不同环境中奶牛的行为识别结果。请阅读该图的详细描述。这个混淆矩阵热图可视化了分类模型在五个类别（头部动作、行走、躺下、站立和饮水）上的表现，以及背景的假阴性情况。x轴代表真实标签，y轴代表预测标签。深蓝色单元格表示高准确性，其中“饮水”类别的准确率最高，为1.00，其他类别的准确率范围从0.95到0.01。对角线外的单元格显示了误分类情况，背景的误分类率高于主要行为类别。右侧的颜色渐变表示从浅蓝色到深蓝色的准确性级别。

总之，通过对四种不同场景下奶牛行为识别结果的分析和比较，Yolov5-SF模型能够在各种场景中获得高准确率，尤其是在白天的表现最佳。其他三种场景下的识别效果也满足了奶牛场精细管理的准确性要求。

基于上述实验，我们可以得出结论：Yolov5-SF模型能够准确识别不同环境中的各种行为特征。需要注意的是，该实验使用的精确度和召回率值对应于mAP = 0.5。与表示面积指标的AP不同，精确度和召回率会随着不同的阈值而变化。默认情况下，本实验中计算的精确度和召回率对应于0.5的阈值（此处定义为score_threshold）。由于计算mAP需要捕捉几乎所有的预测框，因此定义了score_threshold来表示在计算mAP时对应的特定阈值。为了评估模型在不同mAP值下的表现，我们考虑了mAP@0.3、mAP@0.5、mAP@0.7以及mAP@0.5:0.9的平均值（范围从0.5到0.9，步长为0.1）。从四个不同环境中选取了1039个样本进行比较。在不同阈值下（图12），Yolov5-SF模型能够在多种场景中进行行为识别。当阈值设置在0.3到0.7之间时，提高阈值要求预测框更加准确才能被视为正样本。观察到的精确度值始终超过90%，表明模型能够正确识别预测中的真实目标。同时，召回率值保持在大约90%左右，反映了模型在监控目标方面的全面性。mAP值始终超过90%，表明模型在准确性和全面性方面表现良好。总之，结果证实Yolov5-SF模型能够准确识别奶牛的行为，并适用于各种场景下的行为识别。

图12展示了四个不同阈值下的比较结果。请阅读该图的详细描述。条形图显示了四个阈值（mAP@0.3、mAP@0.5、mAP@0.7和mAP@0.5:0.9）下的精确度、召回率和mAP性能指标。精确度（橙色）在mAP@0.3和mAP@0.5时达到0.94的峰值，而召回率（绿色）在同一阈值下达到0.91。mAP（紫色）的值较低，其中mAP@0.7的最高值为0.9，mAP@0.5:0.9的最高值为0.8。数值在条形图上方有明确标注。

为了评估多目标跟踪算法在自然场景中的准确性，本研究收集了15段现场视频，时长从30秒到1分钟不等，每段视频包含3到8头奶牛。这些视频用于多目标跟踪验证。通过将基于YOLOv5-SF训练的奶牛行为识别模型加载到StrongSORT跟踪算法中并处理输入视频，获得了带有行为标签的跟踪结果。通过将算法输出的行为标签与实际标记的奶牛行为进行比较，评估了跟踪准确性。可视化结果如图13所示。结果表明，该算法能够有效地在自然场景中实现奶牛的连续跟踪和行为识别，并具有良好的实际应用可靠性。

图13展示了奶牛行为跟踪的结果。请阅读该图的详细描述。该图包含了一个九格的图像序列，来自一个牛棚，每格显示奶牛的不同姿势：行走、站立和躺下。每头奶牛都被包含在带有唯一ID、活动标签（例如，“id:1 walk 0.92”、“id:2 lie 0.83”）和置信度的识别框中。环境特征包括泥泞的地面和牛棚结构，清晰地展示了奶牛在各个格子中的移动和活动，用红色和橙色框表示。

根据图13，视频中总共观察到了三头奶牛。在第一组视频帧中，算法准确识别了奶牛的行走行为，没有出现任何误识别，预测框能够精确地勾勒出奶牛的身体轮廓。在第二组视频中，尽管相机发生了移动，奶牛ID1仍然保持站立姿势，其身份ID没有改变。这表明即使遇到遮挡，算法也能稳定地保持目标ID并准确识别行为。同时，处于躺下姿势的ID2也被成功识别并持续跟踪。随着相机的移动，视频中出现了一头站立的奶牛ID3。在这个过程中，尽管ID2的位置发生了变化，但其身份和行为仍然能够被连续且准确地识别和跟踪。上述结果表明，该算法在面对相机移动、目标姿势变化和部分遮挡时仍表现出良好的跟踪鲁棒性和行为识别准确性。

在这项研究中，我们采用了基于LSTM的神经网络模型对奶牛行为数据进行深入分析和预测。通过综合考虑奶牛的行走、站立、饮水和躺下等行为模式，旨在准确预测奶牛未来的行为变化。模型的输入数据应该是所使用数据的特征数量。在本研究中，奶牛的四种行为被作为特征数量，即特征数为4。由于跟踪过程中获得的数据是帧数据，因此帧数据被用作LSTM模型的数据点。神经网络被编译，具体参数设置如表6所示。

实验数据是通过跟踪奶牛的行为获得的。在跟踪奶牛的行为后，将输出帧数据和行为数据。所有实验数据都来自单个奶牛。奶牛的跟踪视频时长从30秒到2分钟不等。输出的行为数据以25 fps的速率记录。获取数据后，对其进行预处理并对其进行统计分析。获得了51秒的视频数据，共1266帧数据。所有数据都被统一组织并汇总记录在Excel表格中。对于行为数据，行为是单特征数据，即它既是特征也是标签。考虑了选定视频中单头奶牛的各种行为。由于奶牛在饮水时是站立的，因此在分析行为特征时，如果存在饮水行为，它直接被识别为特征3，而不包括在站立行为中，如表7所示。

表7显示了行为数据统计信息。RMSE和MAPE被用作模型的评估指标。如以下公式所示：(6) RMSE=1/n∑i=1n(y?i?yi)2 (6) (7) MAPE=100%n∑i=1n|y?i?yi|yi| (7) 在构建LSTM神经网络层的过程中，神经元数量和层数决定了模型预测结果的质量。如表8所示，通过比较隐藏神经层中的神经元数量，可以看出当数量设置为70时可以获得最佳结果。RMSE和MAPE值分别为0.022和0.029。

根据图14，在模型训练过程中，损失值收敛得很好。模型学习了训练数据中的模式和规则，并对数据有非常好的拟合效果。总体而言，可以观察到奶牛的真实行为和测试值（即预测行为）基本一致。行走和饮水行为的识别效果很好（即特征1和3），而站立行为的识别效果较差（特征2）。主要原因是奶牛在饮水时首先靠近水槽，然后保持站立姿势饮水。同样，在饮水后，它们首先抬起头部并保持站立姿势，然后开始行走动作。在饮水前后，行为处于模糊状态的一段时间，因此站立行为的预测效果会有波动。

本研究提出的YOLOv5-SF模型结合了多目标跟踪和LSTM时间序列预测，在奶牛行为识别任务中实现了超过90%的召回率和0.965的mAP。关于这种高性能表现，我们从三个方面进行了深入讨论：数据、模型和方法集成。首先，数据收集策略是性能的基本保证：通过在白天、夜晚、光线变化和雨天等不同环境中收集数据，并使用翻转、天气模拟和亮度调整等增强方法，有效地模拟了真实的繁殖场景复杂性，使模型能够学习更通用的特征，避免因单一环境导致的过拟合。其次，模型架构的改进直接提高了识别准确性：引入的Swin-Transformer自注意力机制使网络能够捕捉全局上下文信息，特别适合在复杂背景下的奶牛姿势识别；同时，FReLU激活函数替代SiLU增强了对空间细节的敏感性。这些改进共同作用，使模型即使在光线变化或部分遮挡的情况下也能稳定地定位目标。此外，多目标跟踪和LSTM预测的集成扩展了研究的应用价值：StrongSORT算法为每头奶牛分配了唯一的ID，并在帧间保持一致性，为个体行为分析提供了基础；LSTM模型对行为序列的预测结果与手动统计相匹配，揭示了奶牛日常活动的潜在模式，这对精准畜牧业的健康监测和管理决策具有实际意义。

尽管取得了优异的结果，但本研究仍存在某些局限性：尽管数据集涵盖了各种环境，但尚未包括极端天气条件（如大雪、雾）或不同品种的奶牛；模型的计算复杂性较高，实时部署需要进一步轻量化；LSTM预测的准确性取决于历史数据的长度，需要深入挖掘长期行为模式。未来的工作将集中在扩展多场景数据集、探索更高效的轻量级网络结构以及引入更多行为类别以提高系统的通用性。

本研究旨在解决在复杂农场环境中监测奶牛行为的挑战，特别是环境均匀性和气候条件对识别准确性的影响问题。为此，提出了一个自动化分析框架，该框架结合了改进版的YOLOv5-SF模型、StrongSORT多目标跟踪技术和LSTM时间序列预测算法。通过构建多样化的数据集，并在YOLOv5的C3模块中引入Swin-Transformer自注意力机制来优化参数，同时将卷积层中的SiLU激活函数替换为FReLU激活函数以提高空间特征捕捉能力，该框架显著提升了牛行为识别的准确性和鲁棒性。实验结果表明，所提出的系统在平均精度（mAP达到0.965）、召回率和跟踪稳定性方面均优于现有方法，为牛行为监测提供了一种高效且可靠的非侵入式解决方案。本研究的贡献包括：构建了适用于动物行为分析的多环境多样化数据集；针对复杂的农业环境提出了优化的检测策略，通过改进注意力机制和激活函数实现了高精度的行为识别；结合多目标跟踪和时间序列预测技术，实现了对个体牛行为的连续跟踪和趋势分析。

**数据可用性声明**
文本中所包含的数据均已提供。