自动挤奶系统数据的多阶段分析：整合描述性、预测性和规范性分析方法以优化乳品健康管理

《Biosystems Engineering》：A multi-stage analysis of automatic milking system data: Integrating descriptive, predictive, and prescriptive analytics for dairy health management

　　朱俊生|埃尔莎·瓦索尔|凯文·M·韦德
麦吉尔大学动物科学系动物福利与人工智能研究与创新主席（WELL-E），魁北克省圣安妮德贝尔维尤，H9X 3V9，加拿大

**摘要**
本研究利用了来自自动挤奶系统（AMS）记录的全面数据集，其中包含了各种挤奶参数和奶牛健康指标的详细信息。分析的关键指标之一是体细胞计数（SCC），这是检测奶牛临床乳腺炎的关键标志。研究分为三个阶段：描述性分析、预测性分析和规范性分析。在描述性分析阶段，对极端值和可能错误的值进行了彻底检查，探讨了基本的相关性和趋势，并调查了错误值背后的原因。在预测性分析阶段，重点是对SCC超过2,000,000个细胞/毫升的情况进行预测。比较了静态方法和时间序列方法，结果发现时间序列方法的表现更好，其3天曲线下面积（AUC）达到了85%，而静态模型仅为72%。这突显了将时间动态纳入预测模型以改进SCC预测的重要性。在规范性分析阶段，探索了强化学习（RL）作为决策支持工具的作用。测试了三种固定方法——基线方法、SCC检测方法和细菌检测方法——以及一种Q学习代理。结果表明，最佳管理策略因牛群而异，但训练集和测试集之间的一致性证实了不同RL代理的可靠性。通过为RL代理配备预测模型，可以使它们将预测结果转化为实际的经济收益。

**科学影响声明（S4IS）**
本研究建立了一个数据驱动的框架，用于解释AMS牛奶质量指标，直接将传感器数据与农场的关键管理决策联系起来。此外，我们创新的强化学习集成方法生成了动态的、最优的疾病控制策略，为农场顾问和乳制品行业提供了所需的决策支持工具，以提高管理效率。这些发现通过促进早期检测和有针对性的干预措施，减少了不必要的抗生素使用，同时保持了牛奶质量和牛群健康，从而促进了动物福利。这项工作支持可持续的畜牧业管理，并有助于提高食品安全和乳制品生产效率。

**术语表**
**缩写**
AMS：自动挤奶系统
ARIMA：自回归积分滑动平均
AUC：曲线下面积
CM：临床乳腺炎
DIM：产奶天数
LSTM：长短期记忆
MDP：马尔可夫决策过程
MLP：多层感知器
RL：强化学习
ROC：接收者操作特征
SCC：体细胞计数
SCM：亚临床乳腺炎
ReLU：修正线性单元

**希腊字母**
π：策略下的价值函数
Eπ：策略下的期望值
Gt：时间步t的累积奖励

**1. 引言**
牛乳腺炎是影响奶牛的最重要疾病之一，其特征是乳腺发炎。它可以分为两种类型：临床乳腺炎（CM）和亚临床乳腺炎（SCM）。临床乳腺炎有明显的症状，如乳房肿胀、发热、发红和疼痛以及异常的牛奶分泌。相比之下，SCM没有可见的症状，因此更难以检测，但仍会导致牛奶产量和质量的下降（Riekerink等人，2008年）。从经济角度来看，乳腺炎是乳制品行业中最昂贵的疾病之一，会导致牛奶产量减少、淘汰率增加、治疗成本增加以及管理受影响奶牛所需的人工成本增加。它还会对牛奶质量产生负面影响，导致牛奶加工厂的处罚。亚临床乳腺炎的相关成本尤其隐蔽，因为它可能持续存在而未被发现，从而造成持续的经济损失（Aghamohammadi等人，2018年）。有效管理乳腺炎，特别是其亚临床形式，至关重要。传统的检测方法包括体细胞计数（SCC）测试，该方法测量牛奶中的白细胞数量，这是炎症的关键指标。细菌培养也被用来识别引起感染的病原体。然而，这些方法可能耗时且劳动密集。技术的进步引入了基于传感器的系统，能够持续监测奶牛的健康状况，包括乳腺炎的检测。这些系统使用各种参数，如牛奶的电导率、颜色、温度和酶水平，从而更早、更准确地检测乳腺炎（Anglart等人，2020年，2021年）。

近年来，自动挤奶系统（AMS）的采用改变了奶牛养殖方式，使奶牛能够按照自己的节奏进行挤奶，无需人工直接干预。这一变化对乳腺炎管理具有重要意义。AMS配备了先进的传感器和数据收集系统，提供关于牛奶质量、乳房健康和奶牛整体福利的实时信息（Abdul Ghafoor & Sitkowska，2021年；Bonestroo等人，2022年）。将乳腺炎检测集成到AMS过程中，提高了乳腺炎的早期识别和治疗能力。

**2. 材料与方法**
**2.1. 数据集**
数据来自魁北克52个Lely品牌的AMS奶牛场，由Lactanet（加拿大乳制品卓越网络）提供。大多数农场的机器人每三次访问会采样一次SCC记录。数据集包括基本的牛群信息，如挤奶机器人的数量，以及奶牛信息，如品种、泌乳次数、泌乳开始和结束日期、产奶天数（DIM）和出生日期。AMS特有的其他变量包括每日访问次数、访问日期、时间、每次访问的持续时间、挤奶时间、流量、牛奶重量和温度，以及各种牛奶成分因素，如脂肪和蛋白质百分比以及SCC。由于本研究中的所有AMS都是Lely机器，SCC记录是通过农场操作员准备的反应剂获得的（Bennedsgaard，2017年）。由于准备试剂的时间和程序不一致，这些SCC记录的可靠性低于实验室SCC记录。然而，由于数据量庞大，使用Kolmogorov-Smirnov方法测试了SCC分布，显示出合理的均值和方差。表1列出了每个变量的简要描述。

**表1. 自动挤奶系统（AMS）的数据变量简要描述**
| 变量名称 | 变量说明 |
| --- | --- |
| herd_ida | 牛群识别编号 |
| stall_no | 农场机器人的ID |
| anm_ida | 动物识别编号 |
| anb_cd | 品种 |
| lact_no | 泌乳次数 |
| lact_start_date | 泌乳开始日期 |
| lact_end_date | 泌乳结束日期 |
| dim | 产奶天数 |
| birth_date | 奶牛出生日期 |
| milkng_code | 二进制代码，表示数据是否错误记录 |
| box_time | 奶牛在机器人中的时间（分钟） |
| prep_time | 挤奶准备时间（分钟） |
| milkng_date | 挤奶日期和时间 |
| lr_milk_time | 左后部挤奶时间（分钟） |
| lf_milk_time | 左前部挤奶时间（分钟） |
| rf_milk_time | 右前部挤奶时间（分钟） |
| rr_milk_time | 右后部挤奶时间（分钟） |
| milk_time | 挤奶时间（四个时间段中最长的一个） |
| milk_flow_avg | 平均牛奶流量（千克/分钟） |
| milk_flow_max | 最大牛奶流量（千克/分钟） |
| mk_wgt | 牛奶产量（千克） |
| ft_pcnt | 脂肪百分比 |
| pt_pcnt | 蛋白质百分比 |
| cc | 体细胞计数（细胞/毫升） |
| milkng_temp | 牛奶温度（°C） |

**2.2. 描述性分析方法**
本节概述了用于从AMS收集的数据中获取洞察的描述性分析方法。由于使用的许多技术都是标准的统计方法，因此重点在于清晰地说明目标（Wackerly等人，2008年）。描述性分析包括四个部分：极端值的检查和解释；牛奶产量的检查；机器人生成的错误代码的检查；以及奶牛和机器人访问偏好的检查。
第一个目标是使用领域特定的解释来检查极端值。极端值可能表明SCC水平异常、牛奶产量不正常或AMS传感器读数异常。通过结合领域知识，评估这些异常值是否反映了真实问题或自然变异。其次，使用DIM曲线来检查不同胎次的牛奶产量。DIM曲线将牛奶产量与产犊后的天数进行对比。这种分析有助于了解牛奶产量在整个泌乳周期和不同胎次的奶牛之间的变化。对曲线的可视化对领域专家至关重要，因为可以立即评估奶牛的长期效率和健康状况，这通常能揭示仅通过峰值产量无法检测到的管理或生理问题。第三，检查AMS机器人生成的错误代码，无论是单个奶牛层面还是机器人层面。AMS机器人偶尔会因挤奶失败、传感器故障或机械问题等原因生成错误代码。识别错误代码出现的模式有助于维护AMS的效率，从而进行有针对性的维护和故障排除。由于记录失败可能是由奶牛或机器人引起的，因此需要进一步调查以确定错误是随机的还是成簇出现的。为此进行了运行测试（显著性水平α = 0.05）（Wald & Wolfowitz，1940年）。第四，使用堆叠条形图来可视化和分析AMS机器人对特定奶牛的访问偏好。这种方法可以清楚地显示挤奶访问中的任何不平衡或效率低下。了解这些偏好有助于优化奶牛流动和改善挤奶计划。

**2.3. 预测性分析方法**
预测阶段专注于预测SCC激增，特别是当SCC水平超过2,000,000个细胞/毫升时，这表明可能存在健康问题（de Jong等人，2024年；Hussein等人，2018年）。预测过程包括两个关键部分：趋势的可视化和激增的预测。

**2.3.1. SCC激增前的趋势可视化**
为了在SCC激增之前可视化模式，将数据序列分为2周的周期，并将周期分为两类：一类是SCC激增发生的周期，另一类是没有激增的周期。然后绘制这些类别，以可视化差异和相似之处。此外，通过对2周周期内的每一天进行t检验（p = 0.05），分析时间依赖变量和时间独立变量的重要性。以这种方式可视化数据有助于识别可能先于SCC激增的模式。通过比较激增和非激增的类别，可以检测出可能预测未来激增的趋势或异常现象。t检验通过突出时间依赖变量和非时间依赖变量来细化这一分析，从而指导选择合适的模型。2.3.2. 用于预测的平稳模型和时间序列模型采用了三种平稳模型：逻辑回归、决策树和多层感知器（MLP）。选择逻辑回归是因为其简单性和可解释性；选择决策树是因为它们能够捕捉非线性关系；选择MLP是因为它们能够模拟复杂模式。为了考虑时间序列动态，通过添加前两周数据的平均值、方差和斜率来增强这些模型。虽然平稳模型能够有效处理时间独立变量，但结合这些时间统计信息可以提高它们捕捉时间依赖趋势的能力，从而提高预测性能。使用了三种时间序列模型：自回归积分滑动平均（ARIMA）、长短期记忆（LSTM）和变换器（Box & Jenkins, 1968; Géron, 2022; Hamilton, 2020; Schmidhuber, 2015）。ARIMA可以处理时间依赖变量，而LSTM和变换器可以处理时间依赖和时间独立变量。ARIMA是一种传统的时间序列模型，非常适合基于过去值进行预测，因此非常适合捕捉SCC数据中的趋势和季节性。变换器和LSTM在学习复杂的时间模式和变量之间的关系方面表现出色。当检查具有时间依赖性和非线性交互的数据时，这些模型非常有用，并且对于捕捉SCC波动的复杂动态和准确预测激增至关重要。由于强化学习（RL）算法将每个牛群视为一个独立的环境，因此按牛群划分并不是一种合适的方法。相反，应用了一种时间分割方法来测试预测和规范算法的鲁棒性。数据集包括2022年的所有数据；11月和12月的数据（约占所有数据的28%）被分配到测试集中。在预测阶段进行超参数调整时，使用9月和10月的数据（约占所有数据的22%）作为验证集。为了稳健地预测SCC激增，对每个模型使用验证集进行了全面的超参数调整过程。对于传统的机器学习模型，如逻辑回归和决策树，探索了逆正则化强度（C：0.001-100）和树参数（max_depth, min_samples_split: 2-20; criterion: Gini/entropy）的具体范围。多层感知器（MLP）涉及更广泛的架构交叉验证，包括隐藏层的数量（1-5）和神经元数量（64-512），主要使用‘ReLU’（修正线性单元）激活函数和‘Adam’优化器。同样，时间序列模型，如ARIMA，通过自相关函数分析和赤池信息量准则（p, q: 0-5; d: 0-2）确定其最佳阶数。深度学习时间序列模型，包括LSTM和变换器，也进行网络配置的交叉验证。基于变换器的模型包括普通变换器、Autoformer和PatchTST。所有模型都使用2-4层、2-8个注意力头、FFN大小为64-512，以及Adam优化器。Autoformer通过自相关进行序列分解，而PatchTST应用时间补丁（2-5天）以增强对AMS数据中噪声的鲁棒性（Wu et al., 2021; Nie, Nguyen, Sinthong, & Kalagnanam, 2023）。详细信息显示在表2中。表2. 模型配置概述，总结了用于预测体细胞计数（SCC）激增的每个机器学习和深度学习模型的具体参数设置和输入特征。（AIC：赤池信息量准则，ACF：自相关函数，FFN：前馈网络）。模型参数设置输入特征逻辑回归L1正则化（C = 0.001–100），求解器 = ‘lbfgs’19：所有变量作为具有时间感知特征的多变量输入决策树max_depth = 2–20，min_samples_split = 2–20，criterion = [‘gini’, ‘entropy’]19：所有变量作为具有时间感知特征的多变量输入多层感知器隐藏层 = 1–5，神经元 = 64–512/层，ReLU，Adam，批量大小和dropout变化19：所有变量作为具有时间感知特征的多变量输入ARIMA p, d, q 在 (0–5, 0–2, 0–5)；通过ACF和AIC选择1：仅历史SCC（单变量）LSTM1–5个LSTM层，每层64–512个单元，密集输出，批量大小 = 32/64，epochs = 10–150，Adam优化器18：所有变量作为多变量输入变换器普通变换器（编码器/解码器层 = 2–4，注意力头 = 2/4/8，FFN大小 = 64–512，Adam优化器）18：所有变量作为多变量输入Autoformer（编码器层 = 2–4，注意力头 = 2/4/8，FFN大小 = 64–512，通过自相关进行序列分解，Adam优化器）PatchTST（变换器层 = 2–4，注意力头 = 2/4/8，FFN大小 = 64–512，补丁长度 = 2–5天，Adam优化器）最初考虑将所有18个变量（体细胞计数（SCC）、脂肪百分比、蛋白质百分比、产奶天数、最小时间、时间方差、最大奶流量、奶温、准备时间、挤奶间隔时间、左后时间、左前时间、右前时间、右后时间、泌乳阶段、访问次数和泌乳次数）作为模型的输入。为了给平稳模型（逻辑回归、决策树、多层感知器）赋予时间背景，从预测点之前的14天时间窗口中提取了额外的时间感知特征，特别是体细胞计数（SCC）值的平均值、平均值加上标准差以及平均值加上斜率。这种增强旨在为这些本质上是时间独立的模型赋予时间背景。这个14天窗口是数据窗口策略的关键组成部分，在其中从最新数据点开始向后进行线性搜索来标记数据，如图1所示。例如，给定一系列SCC值，提取以SCC超过2,000,000细胞/毫升为结束日的窗口，并将其标记为“SCC激增”组。相反，如果14天窗口的最后一天的数据没有此类警报，则将其归类为“健康”组。下载：下载高分辨率图像（326KB）下载：下载全尺寸图像图1. 通过向后线性搜索进行14天窗口分类策略以检测SCC激增（定义为超过2,000,000（10^3刻度中的2,000）。如果窗口最后一天的SCC值达到或超过阈值，则该窗口被分类为“SCC激增”（窗口1），否则如果低于阈值，则被分类为“健康”（窗口2）。为了保持时间独立性并防止数据泄露，实施了非重叠窗口策略。这种系统方法确保了训练和评估数据的清晰分离。对于单变量ARIMA模型，仅使用历史SCC值，而深度学习模型（MLP、LSTM、变换器）利用所有可用变量作为多变量输入。关于特征重要性分析，来自透明模型（如使用L1正则化的逻辑回归）的初步见解表明，某些与挤奶时间相关的变量（例如，左侧、右侧、前方和后方的挤奶时间）的系数趋于零，表明在线性背景下它们的单独预测能力较低。然而，基于树的模型（如决策树）和其他非线性模型表明，当考虑它们的复杂交互时，所有变量都对预测性能有贡献。因此，为了利用这些非线性关系并避免过早排除潜在有价值的信息，所有变量都保留在MLP、LSTM和变换器模型的最终配置中。为了进行稳健的模型评估和泛化，考虑了数据分割和类别不平衡问题。此外，认识到SCC激增事件属于少数类别，因此探索了缓解类别不平衡的策略。本研究使用了上采样和下采样方法。常用的评估指标包括敏感性、特异性和AUC（ROC曲线下面积）来比较不同的预测算法。2.4. 规范分析方法应用了一种强化学习（RL）方法来辅助奶牛群的乳腺炎管理。RL方法基于马尔可夫决策过程（MDP）框架，旨在通过最大化奖励来优化决策。在这项研究中，奖励被定义为与奶牛的健康和牛奶产量相关，以加元表示。开发了四个代理——三个采用固定策略，一个使用Q学习——来比较在不同情况下的不同策略和行动。2.4.1. 乳腺炎管理的马尔可夫决策过程制定强化学习是一种机器学习范式，其中代理通过与环境互动来学习做出决策。代理的目标是通过根据当前环境状态选择行动来最大化累积奖励。学习过程通常被建模为MDP，它为不确定性下的决策提供了一个数学框架（Sutton & Barto, 2018）。MDP由状态、行动、转移概率和奖励定义，如图2所示。下载：下载高分辨率图像（148KB）下载：下载全尺寸图像图2. 马尔可夫决策过程（MDP）展示了强化学习的核心组成部分：代理、环境、行动A（At表示时间步t的行动）、状态S（St表示时间步t的状态）和奖励R（Rt表示时间步t的奖励）。代理通过采取行动、接收奖励并在状态之间转换与环境互动。为乳腺炎管理的MDP如图3所示。状态代表奶牛的健康状况，包括“健康”、“亚临床乳腺炎”和“临床乳腺炎”。可能的行动包括评估SCC、进行细菌测试、提供抗生素或非抗生素治疗或不采取任何行动。保持健康会产生正奖励，因为牛奶产量更高，而处于亚临床或临床状态会导致奖励降低，因为牛奶产量和/或质量下降。最后，转移概率描述了奶牛从一个状态转移到另一个状态的可能性，例如从健康状态转移到亚临床乳腺炎或从亚临床乳腺炎转移到临床乳腺炎。下载：下载高分辨率图像（504KB）下载：下载全尺寸图像图3. 乳腺炎管理的马尔可夫决策过程表示。状态和行动由节点表示，转移概率和奖励与链接相关联。CM：临床乳腺炎，SCM：亚临床乳腺炎。术语后的正号或负号表示正奖励或负奖励。例如，奶牛最初处于健康状态，产生全产量和质量的牛奶。她可能会发展成亚临床乳腺炎，导致牛奶产量和/或质量下降，从而降低奖励。RL代理可以通过测试SCC来检测亚临床乳腺炎并采取行动进行测试或治疗。如果奶牛发展成临床乳腺炎，则需要更积极的行动，由于牛奶扣留和治疗成本，奖励进一步降低。奖励是通过从数据集中提取信息和选择相关文献来确定的。（Divers & Peek, 2007; El-Sayed & Kamel, 2021; Kibebew, 2017; Rushton, 2009）。表3显示了特定环境参数的范围。表3. 马尔可夫决策过程的环境参数，使用基于数据集计算或从文献中获取的值（Divers & Peek, 2007; El-Sayed & Kamel, 2021; Kibebew, 2017; Rushton, 2009）；列表显示了该参数的合理左右界限和中间最常见的值。环境参数值抗生素治疗扣留的牛奶天数[15, 20, 25]非抗生素治疗扣留的牛奶天数[1, 2, 3]发展成临床乳腺炎的概率来自数据集发展成亚临床乳腺炎的概率来自数据集从亚临床乳腺炎发展成临床乳腺炎的概率来自数据集从临床乳腺炎发展成亚临床乳腺炎的概率来自数据集临床乳腺炎自愈的概率[0.0025, 0.00375, 0.005]亚临床乳腺炎自愈的概率[0.0025, 0.005, 0.01]感染革兰氏阳性细菌的概率[0.5, 0.7, 0.9]感染革兰氏阴性细菌的概率[0.1, 0.3, 0.5]抗生素治疗的治愈率[0.85, 0.9, 0.95]非抗生素治疗的治愈率[0.7, 0.8, 0.9]保持健康的奖励（加元）来自数据集发展成亚临床乳腺炎的成本（加元）[10, 15, 20]SCC测试的成本（加元）[1, 2, 3]细菌测试的成本（加元）[5, 10, 15]抗生素治疗的成本（加元）[200, 400, 600]不使用抗生素治疗的成本（加元）[50, 100, 200]产奶天数来自数据集2.4.2. 固定策略代理和Q学习代理在强化学习中，最优价值函数遵循贝尔曼方程：(1)vbest=maxπvπ(s)=maxa∑s′,rp(s′,r|s,a)[r+γvbest(s′)]其中vbest是最佳行动，等于最大价值函数maxπvπ(s)的策略。它可以通过最大转移概率p(s′,r|s,a)来计算：从状态s开始，采取行动a，接收奖励r，并转移到s′，然后将r+γvbest(s′)乘以折扣因子γ。在这项研究中，开发了三个固定策略代理和一个灵活的Q学习代理来评估各种行动集。固定策略代理包括基线方法、SCC测试方法和细菌测试方法。基线方法等待奶牛发展成临床乳腺炎后再应用抗生素治疗。它代表了一种最小干预的反应策略。细菌测试方法进行细菌测试，并在检测到革兰氏阴性细菌时应用非抗生素治疗。这种方法旨在减少抗生素的使用，同时仍然有效管理乳腺炎。SCC测试方法使用了性能最佳的预测分析模型。当模型预测在未来三天内SCC会激增时，就会进行实际的SCC测试。早期检测可以及时采取干预措施或在情况恶化之前进行细菌测试，从而可能改善结果。最后，Q学习代理根据观察到的奖励动态学习每个状态下的最佳行动，遵循贝尔曼方程（公式（1））。与固定策略代理不同，它随着时间的推移调整其策略以最大化累积奖励。Q学习代理还配备了模型的预测结果作为其可用的决策选项之一。请注意，52个农场中的每一个都作为一个独特的、独立的MDP环境。强化学习代理被训练来找到特定于该农场独特特征（例如，疾病发生、牛奶产量）的最佳动态策略。因此，农场之间没有数据泄露，因为为农场A学习的策略永远不会应用于农场B。这里不适用留一法交叉验证，因为强化学习的结果本质上是特定于牛群的。

牛奶产量经过脂肪和蛋白质的校正，以确保不同奶牛之间的数据一致性。代理在多代理环境中运行，其中一头奶牛的亚临床乳腺炎可能会影响附近的奶牛。这增加了决策过程的复杂性，因为代理必须考虑感染的潜在传播。乳腺炎从一头奶牛传播到另一头奶牛的过程在MDP中被概率化建模。这个强化学习实验的流程如图4所示。在评估方面，比较了训练集和测试集中代理的性能排名，并进行了Kendall等级检验，显著性水平为0.05，以评估训练集和测试集之间的一致性（Rice & Rice, 2007）。这种评估有助于评估代理的策略是否能够有效地推广到新数据，并在不同牛群中保持其有效性。

下载：下载高分辨率图像（828KB）
下载：下载全尺寸图像

图4. 马尔可夫决策过程（图3）的示意图，结合了AMS数据和领域文献来开发和评估乳腺炎管理策略。四个强化学习代理——基线、SCC测试、细菌测试和Q学习——被设计为与MDP交互，每个代理都会产生以加元计的经济结果，反映了它们在管理乳腺炎方面的具体策略的有效性。

3. 结果
3.1 描述性分析的结果
3.1.1 描述性统计
表4显示了每个变量的基本描述性统计信息：基于胎次和泌乳阶段的计数、平均值和标准差。胎次分为三类：第一胎、第二胎和第三胎及以上；泌乳阶段分为三类：(DIM <100)、(100 ≤ DIM <200) 和 (DIM ≥200)。观察到了一些简单的趋势。例如，SCC随着胎次和泌乳阶段的增加而增加。每日牛奶重量随胎次增加而增加，但随着泌乳阶段的增加而减少。最小挤奶时间在第一胎和第一泌乳阶段达到峰值。每季度挤奶时间的方差与SCC的趋势相同。最大流量在第二胎和第二泌乳阶段达到峰值。脂肪百分比随胎次和泌乳阶段的增加而增加，而蛋白质百分比相对稳定在约3.2%。
牛奶温度也相对稳定（约38.5°C）。挤奶准备时间随胎次的增加而减少，可能是由于对挤奶系统的舒适度和熟悉度提高。挤奶时间的箱线图与牛奶重量的箱线图趋势相似。前四个乳区的挤奶时间与后四个乳区的趋势相似，但在第二胎时略有减少。所有牛群都没有出现最大值和最小值的异常迹象。

表4. 所有牛群关于胎次和泌乳阶段的统计摘要。除非另有说明，单位为每次挤奶访问的分钟数（分钟/次挤奶）。计数的单位为（x10^5）。

参数
每日牛奶重量（千克）
挤奶时间方差
脂肪百分比
牛奶温度（°C）
总箱线时间
左前乳区挤奶时间
右前乳区挤奶时间
SCC（细胞/毫升）
挤奶时间
牛奶流量（千克/分钟）
蛋白质百分比
左后乳区挤奶时间
右后乳区挤奶时间

所有牛群
计数
9.51
32.11
32.10
32.10
32.10
32.11
32.11
32.05
32.10
32.11
32.10
32.10
32.10
32.10
32.10

平均值
274
12.52
22.47
1.12
4.40
4.00
3.25
38.51
2.62
6.93
3.73
3.08
3.69
3.08

标准差
53
74.15
1.39
2.28
1.44
1.06
0.53
2.80
0.87
2.10
1.88
1.59
1.87
1.57

3.2 第二胎
计数
2.86
10.64
10.64
10.64
10.64
10.64
10.64
10.64
10.62
10.64
10.64
10.64
10.64
10.64
10.64
平均值
171
11.00
2.46
0.81
4.03
3.94
3.23
38.39
2.68
6.71
3.53
2.99
3.49
2.99

标准差
41
3.27
1.34
1.69
1.32
1.03
0.56
3.09
0.90
1.97
1.71
1.51
1.71
1.51

3.3 第三胎及以上
计数
4.09
12.68
12.68
12.68
12.68
12.68
12.68
12.68
12.68
12.68
12.68
12.68
12.68
12.68
12.68
平均值
355
13.66
2.53
1.49
4.56
4.07
3.27
38.57
2.58
7.24
3.97
3.23
3.93

标准差
62
64.54
1.47
2.90
1.49
1.07
0.51
2.54
0.85
2.28
2.07
1.70
2.05
1.67

3.2.1 泌乳阶段1
计数
3.32
11.73
11.73
11.73
11.73
11.73
11.73
11.73
11.73
11.73
11.73
11.73
11.73
11.73
11.73
平均值
239
13.03
2.70
1.18
4.31
3.68
3.25
38.59
2.62
7.20
3.96

标准差
52
54.49
1.50
2.41
1.49
0.99
0.55
2.84
0.86
2.26
2.01
1.71
2.00

3.2.2 泌乳阶段2
计数
2.97
10.03
10.03
10.03
10.03
10.03
10.03
10.03
10.03
10.03
10.03
10.03
10.03
平均值
270
12.77
2.50
1.10
4.47
3.96
3.22
38.51
2.61

标准差
52
83.98
1.34
2.29
1.44
0.97
0.49
2.57
0.84
2.05
1.83
1.54

3.2.3 泌乳阶段3
计数
3.22
10.35
10.34
10.34
10.34
10.34
10.35
10.35
10.33
10.34
10.34
10.34
平均值
312
11.70
2.19
1.09
4.42
4.41
3.29
38.43
2.63

标准差
55
43.78
1.26
2.10
1.39
1.08
0.56
2.96
0.92

图5展示了所有变量的相关矩阵。四个乳区的挤奶时间、箱线时间和最小挤奶时间彼此呈正相关。访问次数与牛奶重量呈正相关。至于负相关，最大流量与所有时间相关变量呈负相关，除了准备时间。挤奶错误代码与最小挤奶时间和牛奶温度呈负相关。这个挤奶代码是由机器生成的错误代码，可能是由于挤奶不成功或不完整造成的。大多数相关关系都是直观的，除了这个挤奶错误代码，在传统的挤奶过程中没有进行探讨。这将在3.1.4节进一步讨论。

下载：下载高分辨率图像（1MB）
下载：下载全尺寸图像

图5. 代表所有变量相关矩阵的热图。颜色强度表示相关强度，其中红色表示r = 1，深蓝色表示r = -1。（关于此图例中颜色的解释，请参阅本文的网页版本。）

3.1.2 极值检查
为每个变量识别了极端值，并随后与领域专家和ICAR标准进行了手动验证，以确认其生物学相关性（Bucek等人，2015年）。这不仅仅是一个统计练习；在生物学背景和ICAR标准的指导下进行的手动验证过程使我们能够区分代表真正生物学极值的记录和由特定AMS错误（例如，DIM计数错误、传感器故障或试剂问题）引起的记录。在这次专家审查和验证之后，所有超过设定阈值的异常数据点在进一步分析之前都被移除，包括相关矩阵。重要的是，这种对系统引起的错误的详细检查定义了AMS的操作限制和测量可靠性约束，为领域专家提供了关于数据质量和现场系统性能的重要非统计见解。表5显示了极端值及其影响的列表。

表5. 被检查参数的极端值及其影响的记录。

3.1.3 牛奶产量曲线
图6显示了第一胎、第二胎和第三胎及以上每月的每日牛奶产量（千克/天）。前八个月的每日牛奶产量从第一胎、第二胎和第三胎及以上逐渐增加，但正如预期的那样，第二胎和第三胎及以上的最后四个月下降得更快，且低于第一胎。还注意到标准差随着胎次的增加而增加。垂直绿色条形似乎较短，但刻度较大。这些挤奶曲线与传统挤奶曲线相似（Blowey，2016年）。

下载：下载高分辨率图像（691KB）
下载：下载全尺寸图像

图6. （a）第一胎，（b）第二胎，（c）第三胎及以上的每日牛奶产量。x轴代表泌乳天数（0 - 400天），y轴表示牛奶产量（千克/天）。绿色条形表示标准差，说明了不同胎次之间牛奶产量的变化。（关于此图例中颜色的解释，请参阅本文的网页版本。）

3.1.4 AMST的记录错误
Lely AMS为挤奶程序生成一个二进制错误代码；0表示正常（无错误），而1表示错误。在总共134个机器人中，只有8个被发现有随机错误，这表明大多数错误代码是有原因的；问题仍然是错误是由动物还是机器引起的。为了回答这个问题，计算了每头奶牛出现错误代码1的次数（图7）。大多数奶牛的代码1出现次数<0.01（1%），少数例外>0.5（50%）。发现这些奶牛处于第三泌乳阶段（DIM >200），并且每日牛奶产量较低。尽管机器在长时间未挤奶后仍允许它们进入，但它们可能更频繁地经历不完全挤奶。

下载：下载高分辨率图像（191KB）
下载：下载全尺寸图像

图7. 奶牛错误代码出现百分比的箱线图。数据主要集中在零附近，代表了大多数奶牛的高挤奶效率；延长的尾部有意显示，以便可视化一小部分个体奶牛中重复错误的不频繁但显著的发生。

图8显示了每个机器人出现错误代码的百分比的箱线图。六个AMS机器人（分布在五个牛群中）的错误代码出现次数较多。这些机器人频繁出现错误代码可能是因为它们被分配给了第三泌乳阶段的奶牛，这些奶牛的平均DIM为190，而其他机器人的平均DIM为150。不幸的是，这项研究中没有具体的牛群信息，但对这些机器人的进一步农场检查可以提供更多信息。

下载：下载高分辨率图像（166KB）
下载：下载全尺寸图像

图8. 错误代码出现百分比的箱线图，六个机器人的出现次数较多（高达0.14或14%）。绿线表示中位数。（关于此图例中颜色的解释，请参阅本文的网页版本。）

3.1.5 奶牛对挤奶机器人的偏好
计算并绘制了每个牛群中机器人使用的比例，以检查奶牛对机器人的利用情况。机器人数量由农场经理根据农场上的挤奶奶牛数量确定。除了两个大型牛群分别有七台和十二台机器人外，大多数牛群都有两台或三台机器人。图9总体上表明大多数牛群均匀使用机器人（即条形长度相对相似），但也有一些例外（例如，牛群34）。

下载：下载高分辨率图像（504KB）
下载：下载全尺寸图像

图9. 52个牛群中机器人使用的分布。每个牛群内的颜色段表示该牛群中特定机器人的使用百分比（x轴）。（关于此图例中颜色的解释，请参阅本文的网页版本。）

3.2 预测分析的结果
3.2.1 时间依赖性和时间独立性趋势的可视化
在定义了SCC警报阈值（SCC >2,000,000细胞/毫升）之后，每个14天周期根据最后一天是否发生乳腺炎警报进行了标记。图10比较了两个类别：SCC警报或健康。如2.3.1节所述，使用t检验（p值=0.05）来评估类别之间的差异，任何给定天数的显著结果用绿色虚线连接，表示垂直差异。此外，如果警报类别中的任何一天与第一天（第13天）有显著差异，则使用紫色虚线。包括SCC、脂肪百分比、牛奶产量、挤奶时间、牛奶温度、时间方差和最大流量在内的几个变量在类别之间显示出差异。像SCC和牛奶产量这样的变量也表现出时间依赖性的显著性。

下载：下载高分辨率图像（1MB）
下载：下载全尺寸图像

图10. （a）和（b）。SCC警报之前不同变量的趋势和变化可视化。x轴代表警报前的天数，y轴是每个变量的值。每个周期根据14天周期的最后一天被标记为警报或健康。实线代表健康（绿色）和警报（紫色）类别的平均值，而虚线和标记代表基于t检验结果（p < 0.05）的两个类别之间的显著差异。

3.2.2 静态模型
表6显示了静态模型在测试集上的结果，包括三个评估指标：特异性、敏感性和AUC。x轴是SCC警报前的确切天数（1、3或5），y轴是三个评估指标的确切百分比。关于类别不平衡，对训练数据进行上采样后，所有模型的性能提高了2-3%。因此，所有报告的结果都是基于使用上采样数据集训练的模型得出的。三种静态分类模型——逻辑回归（LR）、决策树（DT）和多层感知器（MLP）——在不同特征工程方法（平均值、平均值加标准差以及平均值加斜率）和预测窗口（5天、3天和1天）下的表现，使用特异性（SP）、敏感性（SE）和曲线下面积（AUC）作为评估指标。加粗的值表示在不同模型和提前时间下每个指标的最高性能。

| 模型 | 提前天数 | SP5 | SP3 | SP1 | SE5 | SE3 | SE1 | AUC5 | AUC3 | AUC1 |
|------|-------|-----|-----|------|------|------|------|------|------|
| LR平均 | | 82.64 | 82.85 | 86.07 | 56.03 | 55.32 | 62.79 | 71.03 | 71.23 | 75.88 |
| LR平均+标准差 | | 84.72 | 86.55 | 87.95 | 54.05 | 53.87 | 63.93 | 69.67 | 72.01 | 74.77 |
| LR平均+斜率 | | 88.46 | 88.82 | 89.83 | 48.73 | 52.42 | 59.73 | 69.74 | 71.78 | 74.69 |
| DT平均 | | 83.31 | 78.62 | 79.65 | 52.95 | 58.63 | 66.57 | 68.17 | 67.82 | 73.52 |
| DT平均+标准差 | | 80.45 | 80.42 | 80.41 | 52.82 | 60.99 | 66.97 | 66.29 | 71.46 | 73.23 |
| DT平均+斜率 | | 79.24 | 80.42 | 80.56 | 55.04 | 56.99 | 65.26 | 66.75 | 73.94 |
| MLP平均 | | 73.56 | 77.85 | 80.17 | 62.35 | 64.01 | 72.07 | 70.91 | 74.22 |
| MLP平均+标准差 | | 82.34 | 80.94 | 80.36 | 57.68 | 62.82 | 69.53 | 68.72 | 69.85 | 75.55 |

从5天提前到3天提前再到1天提前的性能提升表明，接近乳腺炎SCC警报日的模式变得更加明显，模型更容易识别。其次，值得注意的是，三种收缩方法在每个模型内的结果相似。这表明本研究中的收缩方法未能将时间序列信息纳入静态模型。与不同模型相比，结果也没有显著差异。对于AUC，在乳腺炎发生前3天，所有三个模型的预测准确率最高为72%，这对于预测目的来说是不可接受的。

3.2.3 时间序列模型
表7显示了三种模型在时间序列分析的三个输入长度上的表现。最初，模型输入了五个长度（2周、3周、4周、5周和6周）的数据。2周的结果与3周的结果相同，6周的结果并不比5周好，因此没有显示在表7中。更长的时间周期提供了更多信息，但使模型更难概括模式。值得注意的是，特异性高于敏感性，AUC的值介于特异性和敏感性之间。当接近SCC警报日时，性能有所提高，从5天提前到3天提前再到1天提前。还有两个值得注意的点：时间序列回归模型的表现优于静态分类模型。ARIMA、LSTM和采用PatchTST架构的Transformers的最佳3天AUC分别为76%、83%和85%。

表7. 三种时间序列模型（ARIMA、LSTM、Transformers）在不同输入长度（21天、28天和35天）下对SCC预测的表现，通过特异性（SP）、敏感性（SE）和曲线下面积（AUC）进行评估，评估时间窗口为5天、3天和1天。加粗的值表示在不同模型和提前时间下每个指标的最高性能。

3. 结果分析
由于具有35天上下文窗口的Transformer模型表现最佳，因此在本节中应用它来预测未来的SCC激增，并作为SCC测试代理和Q学习代理的输入。所有奶牛的数据都被输入到模拟的MDP环境中，四个强化学习代理：基线、SCC测试、细菌测试和Q学习显示出经济回报和抗生素使用的差异。图11展示了四种乳腺炎管理策略（基线、SCC测试、细菌测试和Q代理）相关的经济结果和抗生素使用情况。图(a)显示了每头奶牛每个泌乳期的平均经济回报（以加元计）。图(b)展示了每头奶牛每个泌乳期的相应抗生素使用情况。绿色误差条表示标准差，突出了不同策略下抗生素消耗的变异性。如图11(a)所示。将所有奶牛输入MDP环境后，使用表3中的参数，四种代理（基线方法；SCC测试方法；细菌测试方法；Q学习）的总体经济回报分别为2921美元、4052美元、3380美元和3905美元。虽然这些数字低于每头奶牛每年7000至8000美元的实际回报，但这种差异是由于数据集的平均泌乳期约为年度AMS记录的一半周期。例如，数据集中的大多数泌乳期约为150天。值得注意的是，SCC测试和Q代理始终提供了更高的经济回报，表明主动和适应性策略可以提高许多农场的盈利能力。

下载：下载高分辨率图片（316KB）
下载：下载全尺寸图片

图11. 四种不同乳腺炎管理策略（基线、SCC测试、细菌测试和Q代理）下每头奶牛每个泌乳期的经济回报（CAD$）和抗生素使用情况（率）。误差条表示标准差。

在图11(b)中，不同代理之间的抗生素使用情况存在显著差异，基线方法的抗生素处理率为0.72，而SCC测试为0.12，细菌测试为0.4，Q代理为0.2。这种鲜明对比突显了SCC测试和Q代理在减少抗生素依赖性方面的有效性，这是一个关键的动物福利和公共卫生问题，特别是考虑到日益增加的抗生素耐药性。

然而，由于每个特定牛群环境的不同，经济回报和抗生素使用情况存在很大差异。为了应对这一点，每种方法都在不同的牛群上单独进行了测试，并在训练和测试数据集中进行了比较，如3.3.1节所述。

3.3.2 解释Q学习代理
图12展示了Q学习代理生成的Q值（状态-动作值），以甜甜圈图的形式可视化，显示了每个状态下不同动作的百分比值。代理在健康和SCM状态下通常选择测试或不采取任何行动，反映了在保持牛群健康的同时最小化不必要的干预的保守方法。在CM状态下，代理的行动偏好各不相同，从不采取行动到进行细菌测试、实施治疗或选择非抗生素治疗都有。这种行动范围突显了代理根据疾病的严重程度以及相关的经济和健康影响来权衡每个选项的潜在利益和成本的能力。

下载：下载高分辨率图片（362KB）
下载：下载全尺寸图片

图12. Q学习代理的Q值示例，以甜甜圈图的形式可视化，展示了乳腺炎管理强化学习模型中不同状态的学习动作偏好。百分比代表在每个状态下采取特定动作的估计长期奖励（Q值）。

这种可视化有助于理解代理如何根据其经验和预期的未来奖励来做出决策。例如，在亚临床乳腺炎图表中，代理优先考虑“SCC测试”（51.24%）和“不采取行动”（48.76%），而不是“抗生素治疗”（0%）和“非抗生素治疗”（0%）。这表明代理认为，在亚临床乳腺炎状态下，测试或不立即采取行动更有可能带来更高的长期回报。

对Q学习代理的状态-动作分布的分析揭示了几种明显的模式。对于已经识别出亚临床乳腺炎的SCM状态，代理倾向于采取进行细菌测试或选择非抗生素治疗等行动。这些决策优化了治疗效果，同时最小化了抗生素的使用，符合乳腺炎管理的最佳实践。值得注意的是，当细菌测试结果显示革兰氏阳性时，代理会实施抗生素治疗。相反，非抗生素治疗则用于革兰氏阴性病例。这些固定行动反映了治疗不同类型细菌感染的既定协议。

然而，重要的是要理解Q学习代理并不总是遵循具有最高即时Q值的行动。相反，它的决策受到多种因素的影响，包括之前的状态、过去的行动、累积回报和环境的动态性质。这种适应性是Q学习方法的一个关键优势，因为它允许代理根据变化的环境调整策略，从而在最佳策略不是静态的情况下获得更好的结果。通过提供关于最佳行动如何随环境变化的见解，Q代理为改进乳腺炎管理决策提供了直觉。计算效率还通过测量RL算法在收敛阶段的训练时间和内存占用进行了监测。具体来说，一个拥有最多200头奶牛的农场场景需要长达120秒的训练时间，在虚拟机环境中使用了500MB的内存。

4. 讨论与结论
首先，本研究强调了在牛奶体积较低时准确测量牛奶成分（如温度、脂肪百分比和蛋白质百分比）的挑战。晚泌乳期和高胎次的奶牛在有效管理这些参数方面遇到了特别的困难。自动挤奶系统的传感器在这些条件下表现出更大的不确定性，表明传感器读数的可靠性在极端范围内会降低。这一发现强调了开发定制算法以更好地管理晚泌乳期和高胎次奶牛的重要性。从这些奶牛那里收集更详细的数据可以改进管理实践，从而减少错误读数的风险，并确保整个泌乳周期内牛奶质量的一致性。

其次，在预测SCC激增的背景下，这些结果表明时间序列模型的表现显著优于静态模型，多元时间序列模型比单变量方法更有效。这表明成功预测SCC在很大程度上依赖于时间序列数据，特别是SCC和牛奶生产的历史记录。这些发现强调了AMS系统需要优先考虑全面的数据存储和剖析，为每头奶牛构建长期健康记录，以提高预测能力并实现及时警报的必要性。数据集在奶牛级别被划分为训练集和测试集，在每个牛群内采用分层抽样。这种设计对于后续的强化学习阶段是必要的，并允许验证牛群特定管理偏好的一致性。这种方法本质上限制了模型在实时AMS环境中的外部有效性和操作性能的评估。因此，当前结果反映了从历史数据得出的理论最优值，可能高估了经济回报，因为控制模拟与实际农场操作之间存在差距。因此，未来的工作需要将Q学习代理从实验室环境转移到实际AMS控制器中，以测试系统的即时有效性并验证在真实生产动态下的实现经济回报。另一个限制是农场传感器与实验室SCC测试相比的相对不准确性。农场环境的复杂性，包括恶劣条件和人为操作，对传感器的准确性提出了重大挑战。改进这些传感器需要进一步的研究、改进和在各种条件下的严格测试。

最后，使用强化学习的规范分析展示了将预测模型与实际决策相结合的潜力，提供了一种评估和比较不同策略的方法。强化学习（RL）在农业中已经获得了关注，用于优化不确定性下的决策。先前的研究已将RL应用于灌溉管理、害虫控制和作物产量优化，展示了其在适应动态环境和提高资源效率方面的能力（Fu等人，2024年）。在奶牛养殖的背景下，RL的应用相对处于起步阶段，但很有前景，正如本研究对乳腺炎管理的关注所示。与依赖静态规则或专家定义的阈值的传统方法不同，这种RL方法根据牛奶生产和疾病进展动态学习了最佳测试和治疗策略。这与农业中的更广泛趋势一致，即RL越来越多地用于整合实时数据并调整管理策略。在这项研究中，训练集和测试集之间高度一致的结果，以及不同农场倾向于采用不同的强化学习（RL）策略这一事实，证明了强化学习在模拟管理结果方面的稳健性。这种方法使实践者能够在实施策略之前对其进行模拟和评估，从而降低了在真实牛群中进行试错操作的风险。然而，模拟结果受到模型未考虑因素的限制，例如牛舍设计、挤奶流程和员工管理，这些因素都可能影响最终结果。未来的工作应邀请领域专家参与，将更多相关变量纳入马尔可夫决策过程（MDP）中，以提高模拟的准确性和对各种农业环境的实际适用性（Goldenits等人，2024年）。将强化学习方法从模拟阶段应用到实际农场中时，需要考虑数据传输延迟和计算需求。对于大多数现代奶牛场来说，来自自动乳房检测系统（AMS）的必要数据可以通过现有的Wi-Fi网络高效传输到中央数据支持公司（例如本研究中的Lactanet）进行数据处理和模型推断。这种基于云的方法利用了强大的基础设施来处理复杂计算，并提供了管理上的洞察。对于那些互联网接入有限或无法接入互联网的农场，进一步分析表明，直接集成在AMS设备上的简单计算工具就足够了。这种设备上的处理可以每天进行，对于拥有最多200头牛的普通农场，所有必要的计算可以在不到3分钟内完成。这样的快速处理能力仅需500MB的RAM和2GB的存储空间即可实现，无需持续的外部连接，既保证了先进的分析能力，又满足了现场的实际操作需求。

总之，这项研究揭示了自动乳房检测系统（AMS）在管理乳腺炎、预测体细胞计数（SCC）峰值和优化乳腺炎治疗策略方面的局限性和潜力。研究指出了AMS传感器数据在泌乳后期和高产次奶牛中的某些关键领域需要改进，这为开发定制算法提供了机会。时间序列模型在预测SCC峰值方面的优越性表明，AMS需要具备强大的历史SCC相关数据处理能力。最后，强化学习方法作为一种有价值的决策支持工具，其结果在不同牛群中的稳健性强调了其实际应用价值。未来的研究应着重于通过引入更多的环境和操作因素来改进模拟模型。

**作者贡献声明：**
- 朱俊生：撰写原始草稿、方法论设计、数据分析、概念化。
- 埃尔莎·瓦索尔：监督工作、资源协调、资金获取、概念化。
- 凯文·M·韦德：撰写修订稿、监督工作、方法论设计、资金获取、数据管理。

**数据可用性声明：**
由于与Lactanet签订了保密协议（NDA），本研究支持的数据并未公开。这些数据仅用于当前研究，不能共享。不过，用于分析和建模的代码可向相应作者申请获取。

**伦理考量：**
本研究使用了回顾性的自动乳房检测系统数据，未对动物进行任何直接干预，因此无需伦理审批。

**资金声明：**
本研究得到了麦吉尔大学“动物福利与人工智能研究创新主席职位”（WELL-E）和Blair研究生奖学金的支持。