基于交叉验证设计评估机器学习与深度学习模型对多类别不平衡奶牛行为预测的性能比较研究

本文针对传统随机交叉验证（CV）在评估奶牛行为预测时可能因数据泄露导致性能高估的问题，研究人员系统比较了留出法（hold-out CV）与留牛交叉验证（LCO CV）两种设计下，三种机器学习（ML）模型（KNN、RF、GB）和两种深度学习（DL）模型（MLP、CNN）对四类奶牛行为（GRZ、MOV、RES、RUS）的预测表现。结果表明，留出CV下ML模型表现更优（准确率0.94-0.95），但留牛CV更真实反映模型泛化能力，其中MLP模型在预测新个体时展现出竞争优势（准确率0.82）。研究强调块交叉验证在动物行为预测评估中的重要性，为精准畜牧业中的行为监测提供了方法论参考。

　　

在现代化畜牧业发展中，准确监测奶牛行为已成为评估动物健康、福利和生产效率的关键手段。传统人工观察方式不仅耗时耗力，还容易引入主观误差。随着精准畜牧业技术的发展，可穿戴式三轴加速度计传感器为奶牛行为监测提供了自动化、客观化的解决方案。然而，如何利用传感器数据准确预测各类行为（如采食、反刍、运动等），仍面临重要挑战——特别是在模型评估方法上，广泛使用的随机交叉验证可能存在数据泄露风险，导致模型性能被高估，而更能反映实际应用场景的块交叉验证研究仍显不足。

为此，研究团队在《Smart Agricultural Technology》发表了最新研究，系统分析了不同交叉验证设计对机器学习（ML）与深度学习（DL）模型预测多类别不平衡奶牛行为的影响，并比较了五类预测模型的性能差异。

研究人员主要采用以下关键技术方法：使用公开数据集（来自6头肉牛、22,987条记录）中的三轴加速度数据；通过滑动窗口法（窗口1秒、步长0.5秒）提取20个特征指标；使用三种ML模型（KNN、RF、GB）和两种DL模型（MLP、CNN）；分别采用留出交叉验证（5种训练测试比）和留牛交叉验证（L1CO、L2CO、L3CO）评估模型性能；以准确率、宏F1分数等指标综合评价行为分类效果。

1. 数据预处理与特征提取

研究人员从原始X、Y、Z轴加速度数据中推导出加速度幅值、俯仰角、滚转角和信号幅值面积四个瞬时特征，再通过滑动窗口方法计算均值、最大值、最小值和方差等统计量，最终筛选出20个特征用于模型构建，有效处理了特征间的共线性问题。

2. 预测模型性能比较

在留出交叉验证中，所有模型都表现出较高性能，其中ML模型（KNN、RF、GB）的准确率达到0.94–0.95，F1分数为0.93–0.94，略优于DL模型（MLP、CNN）的0.90–0.92准确率和0.89–0.91 F1分数。然而在留牛交叉验证中，所有模型性能明显下降，准确率降至0.72–0.82，F1分数为0.64–0.76。值得注意的是，MLP模型在留三牛验证（L3CO）中表现出最佳性能（准确率0.82，F1分数0.76），甚至优于部分ML模型。

3. 交叉验证设计的影响

研究表明，留出交叉验证由于可能将同一奶牛的数据同时放入训练集和测试集，引入了数据依赖性问题，导致性能评估过于乐观。而留牛交叉验证通过以奶牛为块划分数据，更好地反映了模型在新个体上的泛化能力，提供了更真实的性能评估。

4. 行为特异性分析

对四种行为的特异性分析发现，在留出验证中，所有模型对休息站立（RES）和采食（GRZ）行为的预测性能最高（F1分数0.93-0.96），而在留牛验证中， ruminating while standing (RUS) 行为的预测性能最低（F1分数约0.49-0.51），表明该类行为可能更具个体特异性。

研究表明，交叉验证设计显著影响奶牛行为预测模型的性能评估。随机交叉验证（如留出法）可能因数据泄露导致性能高估，而块交叉验证（如留牛法）能更真实地反映模型在新个体上的预测能力。虽然机器学习模型在传统验证中表现稍优，但深度学习模型（特别是MLP）在应对新个体预测时展现出竞争潜力。研究建议在动物行为预测研究中优先采用块交叉验证设计，以提高结果的可信度和实际应用价值。这一发现对推进精准畜牧业中的动物行为监测技术具有重要意义，为开发更可靠的自动化行为识别系统提供了方法论基础。