《AgriEngineering》：Cattle-CLIP: A Multimodal Framework for Dairy Cattle Behaviour Recognition from Video
编辑推荐：
监测奶牛行为可为动物健康、生产力和福利状况提供有价值的见解。然而，在真实农场环境中进行稳健的行为识别仍面临诸多挑战，主要源于若干数据相关的限制，包括高质量标注的家畜视频数据集稀缺，以及大规模预训练语料库与农业监控录像之间存在显著领域差距。为应对这些挑战，本文提
监测奶牛行为可为动物健康、生产力和福利状况提供有价值的见解。然而，在真实农场环境中进行稳健的行为识别仍面临诸多挑战，主要源于若干数据相关的限制，包括高质量标注的家畜视频数据集稀缺，以及大规模预训练语料库与农业监控录像之间存在显著领域差距。为应对这些挑战，本文提出Cattle-CLIP，一种基于对比语言-图像预训练（Contrastive Language-Image Pretraining, CLIP）的域自适应视觉-语言框架，将奶牛行为识别重新表述为跨模态语义对齐任务，而非纯粹的视觉分类问题。Cattle-CLIP并非直接微调视觉骨干网络，而是引入时序整合模块，将图像级对比预训练扩展至基于视频的行为理解，从而实现跨时间的一致语义对齐。为最小化网络规模预训练数据与真实奶牛监控场景之间的领域差异，研究人员采用定制化数据增强和面向行为特化的提示词（prompts）。此外，研究人员构建了CattleBehaviours6，一个经过筛选且行为一致性的视频数据集，包含1905个标注片段，涵盖六种室内行为：进食（feeding）、饮水（drinking）、站立自我理毛（standing-self-grooming）、站立反刍（standing-ruminating）、躺卧自我理毛（lying-self-grooming）、躺卧反刍（lying-ruminating），以支持模型训练与评估。该数据集不仅作为所提方法的基准，还提供了标准化的行为谱（ethogram）定义，为未来家畜行为分析研究提供了实用资源。研究人员在全监督和少样本（few-shot）学习范式下评估了Cattle-CLIP的性能，特别针对数据受限环境下的行为识别——这是家畜监控中重要但研究尚不充分的任务。实验评估表明，该模型在全监督任务中六种行为的准确率达到96.1%，同时在进食、饮水和站立反刍行为上实现了高精确率与召回率。此外，在有限标注数据条件下，该模型保持了良好的少样本性能，凸显了多模态学习在数据受限奶牛行为识别中的潜力。
论文解读：Cattle-CLIP——面向奶牛行为识别的多模态框架
一、研究背景与问题
奶牛在全球农业中扮演着重要角色，尤其作为乳制品的主要来源。2024年全球乳制品市场规模达9471.1亿美元。奶牛行为已被越来越多地视为健康状况、生产力和整体福利的重要指标，受到养殖者、兽医和研究人员的广泛关注。行为变化如探索性活动、繁殖行为、采食饮水习惯及社交互动，通常被视为健康障碍（如乳腺炎）及生理状态（如发情、妊娠）的早期指标。因此，监测和识别奶牛行为对于精准畜牧业中优化生产效率、提升福利水平及改善环境可持续性至关重要。
现有奶牛行为识别方法主要分为三类：接触式、非接触式和混合式。接触式系统利用可穿戴传感器（如惯性测量单元IMU）采集行为数据，虽精度较高，但可能对动物造成应激，且易受磨损、湿气渗透和硬件退化等外部因素影响。混合方法结合可穿戴传感器与视觉系统，如多模态数据融合算法在五种行为上达到98.80%的准确率，但需在动物身上附加额外设备。完全非接触式方法利用摄像头采集数据，具有无应激和成本效益优势，但已有方法多依赖手工特征或聚焦于单一或粗粒度行为类别，缺乏区分细微或模糊行为的能力。
近年来，深度学习模型逐渐取代传统机器学习方法。基于CNN和LSTM的模型在捕捉视频时空动态方面表现良好，Transformer架构则因其建模长程依赖的能力在多种动物行为识别任务中取得成功。视觉-语言模型（VLM）如CLIP、ALIGN和Flamingo利用语言的语义丰富性和多模态数据集的可用性，在全监督、少样本和零样本场景中均展现出强大性能。然而，大规模视频-语言数据集因采集成本高昂而稀缺，现有研究多聚焦于桥接预训练图像-语言模型与视频表示学习，在人类动作数据集和野生动物行为数据集上验证了其泛化能力，但应用于奶牛行为分析的研究仍基本空白。现有3D-CNN方法通常依赖大规模标注视频数据集学习有效的时空表示，在标注家畜视频数据稀缺且获取成本高昂的农业环境中，其泛化能力受限。
二、研究内容与意义
针对上述问题，研究人员提出Cattle-CLIP，一种整合文本语义与视频表示的多模态框架，用于奶牛行为识别。该框架通过轻量级时序整合模块聚合帧级特征，建模时间上一致的行为模式；引入定制化数据增强策略以提升对姿态变化、空间变形和摄像机视角变化的鲁棒性；采用领域特化的行为提示词以增强视觉与语言模态间的对应关系。在全监督识别之外，Cattle-CLIP还应对数据稀缺场景，通过基类到新类的迁移策略将语义知识从特征良好的基类行为迁移至新行为，并利用重放机制缓解灾难性遗忘。
研究有两项主要目标：第一，开发并评估Cattle-CLIP这一多模态视觉-语言框架，用于从监控视频中识别六种室内奶牛行为，探究时序特征整合、领域特化视觉增强和行为导向文本提示是否提升全监督识别性能，以及所提基类到新类迁移策略是否能在有限标注数据下支持新行为识别同时保持对已学行为的性能；第二，构建并公开发布CattleBehaviours6数据集，提供标准化行为定义和基准数据划分，为奶牛行为识别方法的开发与比较提供可复用资源。
三、关键技术方法
研究人员构建了CattleBehaviours6数据集，视频采集于2024年10月27日至2025年4月20日期间，在英国布里斯托尔兽医学院John Oldacre中心进行，该中心为拥有约200头荷斯坦-弗里西亚奶牛的商业奶牛场的60摄像头研究平台。数据采集覆盖20个非连续记录日，使用7个不重叠的摄像机视角，涵盖不同天气条件和一天中不同时段。视频分辨率从1280×720到1920×1080像素不等，帧率在16至25帧/秒之间变化。标注流程采用T-Rex Label自动标注奶牛位置，YOLOv11用于检测模型训练，ByteTrack用于获取个体奶牛跟踪标识和运动轨迹。基于检测框和轨迹，从完整录像中提取50帧的固定长度视频片段，确保每个片段理想情况下包含一头中心奶牛。最终数据集包含1905个片段（约5小时录像），每个片段标注六种基本行为之一，按6:2:2比例在片段级别随机划分为训练集、验证集和测试集。
Cattle-CLIP方法基于CLIP框架，采用ViT-B/16变体。图像编码方面，将输入图像分割为不重叠的16×16像素块，经共享卷积投影获得图像级token序列，前置可学习的[CLS]分类嵌入并添加位置嵌入，经Transformer层编码后，最后一层的[CLS]token通过投影矩阵映射至共享视觉-语言潜在空间。文本编码方面，类别描述被格式化为自然语言提示模板，附加[EOS]token标记句子结束，经文本编码器处理后，最终文本嵌入由最后一层[EOS]token经投影矩阵计算得出。训练过程中，模型通过带温度参数的对比交叉熵损失优化图像嵌入与对应文本嵌入间的余弦相似度。为将CLIP扩展至视频理解，研究人员对输入视频中K个采样帧分别提取特征后通过平均池化聚合，生成统一的视频表示。
定制化增强方面，研究人员移除了随机裁剪操作以避免截断奶牛头部等关键信息区域，采用填充（fill）操作保持原始宽高比后再调整至目标分辨率，使用常数填充技术将采样帧标准化为正方形，随后应用翻转、颜色抖动和灰度变换等增强手段。领域特化文本提示方面，研究人员发现CLIP模型将"ruminating"一词拆分为"ru"、"min"和"ating"三个子词token，破坏类别名的语义完整性，因此将该词替换为行为定义中更易被模型识别的"chewing"短语，其他行为保留原始类别名。
四、研究结果
4.1 全监督评估
Cattle-CLIP在所有行为类别上达到96.1%的整体准确率。模型在进食和饮水行为上表现优异，精确率/召回率分别为0.97/1.00和0.98/0.98。然而，模型在区分躺卧自我理毛和躺卧反刍方面存在一定困难，可能源于其捕捉细粒度时序特征的能力有限。摄像机特定评估显示两组摄像机整体准确率分别约为95.5%和96.7%。在时间上留出的测试集上，模型达到94.6%的整体准确率，与主评估结果的微小差异被认为可接受且在预期范围内。
4.2 与现有技术比较
研究人员将Cattle-CLIP与Video Swin、X-CLIP和EVL等先进视频方法进行比较，使用各自研究报告中默认的最优超参数。Cattle-CLIP取得最高整体准确率，证明了其相对现有方法的有效性。
4.3 消融研究
研究人员在原始视觉编码器后仅添加时序整合层的vanilla模型基础上，逐步加入定制化增强和文本提示组件。结果表明，填充增强策略和针对动物行为定制的语义可理解提示在缩小领域差距方面发挥关键作用，分别带来相对vanilla模型4%和2%的性能提升，两者结合实现总计6%的性能提升。
4.4 少样本评估
研究人员采用两阶段基类到新类少样本学习策略，以留一法方式将六种行为逐一作为数据稀缺行为处理。所提少样本模型在低样本设置下相比单阶段基线模型取得竞争性或更优的识别性能。在站立自我理毛和站立反刍任务中，所提模型随训练样本减少性能逐渐下降，表现出更强的数据稀缺容忍度，而单阶段基线模型则出现更急剧的性能下降，在仅两个样本可用时甚至无法维持有效识别能力。所提少样本模型在五种行为类别上仍保持有效识别能力，展现出对严重类别不平衡和训练数据不足的更强抵抗力。以进食为数据稀缺行为时，所提模型达到0.94的召回率和0.96的精确率，而对应基线模型仅达到0.64的召回率。在躺卧反刍和站立反刍等数据受限行为上，所提模型将召回率分别从0.29和0.47提升至0.77和0.68。饮水和躺卧自我理毛行为未观察到明显性能差异，可归因于这些行为与其他主导类别之间的内在相似性。
五、讨论与结论
讨论部分指出，与依赖视觉特征和任务特定分类器的传统方法相比，Cattle-CLIP整合时序视频表示与行为相关文本语义，使模型能够利用多模态预训练的语义知识并适应奶牛监控视频的特定视觉特征。与先前研究相比，区分共享相似视觉特征的姿态依赖行为是更细粒度的识别问题，尤其仅依赖视频数据时，评估奶牛行为识别方法时应考虑行为粒度和感知模态而非仅关注绝对准确率。基类到新类实验表明，知识迁移可减少奶牛行为识别模型对大量标注的依赖，为视频奶牛行为识别中欠表征行为类别的少样本学习提供了证据。
研究存在若干局限性：缺乏持久个体身份标识，当前片段级评估未证明对完全未见奶牛的泛化能力；研究仅在单一农场的荷斯坦-弗里西亚奶牛上进行，不同品种、饲养系统、摄像机视角和背景下的性能有待验证；当前行为谱包含六种互斥行为，某些奶牛行为可能同时发生，部分类别主要通过细微时序运动线索区分；高度数据受限的少样本设置下性能对所选适应样本敏感；从研究工具转化为工业应用需在边缘设备上进行评估和优化。
未来方向包括：评估Cattle-CLIP对未见奶牛的泛化能力，跨多个农场、不同生产系统和品种的泛化性能验证；扩展行为谱以表示并发和复合行为，如分别标注姿态和活动以显式表示组合；用时间注意力或专用时空融合模块替换平均池化，以改进细粒度行为识别，特别关注躺卧自我理毛与躺卧反刍这类共享姿态但头部和嘴部运动细微差异的行为对。
研究结论表明，通过轻量级时序建模和领域感知适应策略，本研究证明了将视觉-语言表示迁移至基于视频的奶牛行为分析的可行性。在全监督评估之外，基类到新类实验进一步展示了多模态语义监督在标注样本有限条件下行为识别的潜力。CattleBehaviours6作为具有标准化行为定义和基准划分的精选视频数据集发布，所提框架和数据集为可扩展、数据高效的自动化奶牛行为监测研究提供了基础。
