《Italian Journal of Animal Science》：Deep reinforcement learning for simulated autonomous heat stress mitigation in dairy cattle
编辑推荐：
摘要专业翻译
热应激严重制约奶牛生产力和福利，影响产奶量和繁殖性能。然而，尽管热应激检测与预测技术已取得进展，传统缓解策略仍依赖固定阈值，忽视了动物个体差异和累积热负荷。在这项基于模拟的概念验证研究中，研究人员评估了深度强化学习（deep reinforcem
摘要专业翻译
热应激严重制约奶牛生产力和福利，影响产奶量和繁殖性能。然而，尽管热应激检测与预测技术已取得进展，传统缓解策略仍依赖固定阈值，忽视了动物个体差异和累积热负荷。在这项基于模拟的概念验证研究中，研究人员评估了深度强化学习（deep reinforcement learning，DRL）用于个体化热应激决策支持的可行性。利用MmCows数据集中的多模态传感器数据，研究人员开发了一种深度Q网络（Deep Q-Network，DQN）框架用于模拟降温决策。降温干预并未实际施加于动物，其预期效果通过计算方式建模为有效热负荷的动作特异性降低，并附带相应的能量惩罚。研究人员在10头荷斯坦奶牛14天周期的真实传感器数据上训练并评估了四种DQN变体，即标准（Standard）、双网络（Double）、竞争架构（Duelling）以及带优先经验回放的双网络竞争架构（Double Duelling DQN with Prioritised Experience Replay）。环境状态包含核心体温（core body temperature，CBT）、温湿指数（Temperature-Humidity Index，THI）、行为指标和产奶量。Double DQN智能体获得了最高的数值奖励（18.26 ± 3.89），但其学习到的策略在几乎所有评估案例中均选择不干预，且其奖励与“不行动”基线（17.66 ± 5.10；Welch t检验，p = 0.510）无显著差异。这一模式在五个独立随机种子中均得到重现，所有智能体均收敛于低干预或不干预策略。中等热应激条件和奖励函数设计倾向于低能耗策略。这些研究结果表明，DRL是精准畜牧业中测试以动物为中心的控制策略、以及通过受控试验和奖励权重敏感性分析开发具有安全约束的现场验证自主降温系统的有前景框架。
论文解读
一、研究背景与意义
在全球气候变化背景下，热应激对畜牧生产的威胁日益严峻，对粮食安全和经济可持续性产生重大影响。随着全球气温和湿度持续上升，热应激事件的频率和强度也将不断增加，加剧生产损失。据预测，到本世纪中叶，全球牛奶和肉类生产的经济损失将达到每年150至400亿美元。奶牛养殖系统尤为脆弱，仅美国一国就约占经济损失总额的63%。热应激还会影响动物健康、繁殖和福利，显著降低泌乳中期荷斯坦奶牛的产奶量和乳品质。
传统热应激缓解策略包括提供遮荫、强制通风、喷淋蒸发降温以及日粮调整等。然而，这些干预通常由固定的环境阈值触发，忽视了动物个体差异、昼夜时间效应以及热应激的动态变化过程。尽管精准畜牧业（precision livestock farming，PLF）领域的传感器、数据分析和自动化技术已取得进展，机器学习方法也能预测热应激指标，但监督学习方法擅长分类和预测任务，无法天然提供可操作的建议或从延迟反馈中学习最优干预策略。因此，亟需弥合传感与动态响应热应激之间的鸿沟，开发能够响应个体奶牛实际热状态而非仅依赖环境代理指标的缓解策略。
二、研究内容与结论概述
本研究旨在开发一种基于DQN的决策框架，用于优化降温干预，并利用历史传感器数据在模拟环境中回顾性评估所得策略。研究人员实施了三管齐下的策略：第一，利用真实的MmCows传感器数据创建兼容Gymnasium的热应激管理强化学习（reinforcement learning，RL）环境；第二，训练并比较多种DQN变体用于模拟干预决策；第三，将学习到的策略与基于规则的基线策略进行比较评估。研究结果表明，DRL是研究从固定阈值干预向数据驱动管理转变、开发奶牛个体化热应激缓解模拟策略的潜在工具，是迈向现场验证系统的一步。
三、关键技术方法
研究人员使用了MmCows多模态数据集，该数据采集自美国某商业奶牛场2023年7月至8月夏季条件，本研究保留了10头经产荷斯坦奶牛（编号C01–C10），这些奶牛处于泌乳中期（泌乳天数100–200天）。数据模态包括：通过阴道内温度记录仪以1分钟间隔连续测量的核心体温；分布于牛舍的六个温湿度传感器，据此计算温湿指数；每日早晚挤奶记录的产奶量；耳标传感器10 Hz三轴加速度计数据；以及专家标注的行为分类。所有数据流被重采样至30分钟间隔，最终预处理数据集包含6,607个样本，覆盖14天（2023年7月21日至8月4日）。研究将热应激干预问题建模为马尔可夫决策过程（Markov Decision Process，MDP），状态空间包含7个连续特征，动作空间为4个离散降温等级。四种DQN变体共享基础架构，采用PyTorch 2.0实现，训练超参数包括1×10?3学习率、0.99折扣因子、64批量大小和10,000回放缓冲区大小，共训练200个回合，每个回合48步。
四、研究结果
数据集特征。 温湿指数呈现明显的昼夜模式，在12:00至16:00之间达到峰值，而核心体温在高温高湿时段上升，存在约2至4小时的滞后。47.6%的观测值超过了轻度热应激阈值（温湿指数>72）。
训练性能。 所有四种DQN变体在200个训练回合中均表现出学习能力，奖励在前100个回合中增加后趋于稳定。带优先经验回放的双网络竞争DQN初始学习速度最快，而竞争DQN在后期回合中表现最为稳定。
评估结果。 Double DQN获得了最高的平均奖励（18.26 ± 3.89），但该奖励与“不行动”基线（17.66 ± 5.10；平均差异0.60，95%置信区间[?1.20, 2.40]，Welch t检验p = 0.510，Cohen's d = 0.13）无统计学显著差异。Double DQN显著优于高能耗的温湿指数阈值基线（13.03 ± 5.28；p < 0.01）和随机基线（13.55 ± 5.04；p < 0.001）。所有RL智能体均将平均核心体温维持在39 °C以下。Double DQN策略在100%的评估步骤中选择不干预。
性能比较。 RL智能体与两个低能耗基线（不行动和核心体温阈值）匹配，无显著奖励差异，同时显著高于两个高能耗基线（温湿指数阈值和随机），并维持相似的舒适度评分和核心体温水平。
学习到的动作策略。 Double和Duelling DQN智能体在100%的情况下选择不干预，Standard DQN表现出最多样化的策略（93%不行动，3.5%风扇，3.5%喷水）。这种保守行为反映了数据集中的中等热应激条件。
跨随机种子和奖励权重的稳健性。 在五个独立随机种子中，所有RL变体和两个低能耗基线聚集在一起，均明显超过两个高能耗基线。Double DQN的数值优势在种子间不稳定，而Duelling DQN最为稳定。不干预倾向在所有种子中均得到重现。奖励权重敏感性分析覆盖八种权重组合，在每种情况下均产生不干预策略。
五、讨论与结论
讨论部分指出，最高奖励策略收敛于几乎完全不干预，且未显著优于不行动基线，这最可能反映了奖励函数设计（惩罚能量消耗）与数据集中等热负荷（平均温湿指数=71.2，仅8.3%观测值超过温湿指数>79）之间的相互作用，而非验证了自适应降温的有效性。然而，Double DQN明显优于高能耗固定阈值基线，表明学习策略有助于确定何时不应施加降温，从而避免无差别干预的能量成本。研究还强调了热应激对繁殖性能、代谢健康和长期牛群表现的广泛影响，这些延迟和累积效应无法仅通过反应性阈值触发降温来解决，而需要RL智能体可能从数据中学习到的持续、预期性干预策略。
研究结论指出，这项基于模拟的概念验证研究表明，DRL可以直接从多模态传感器数据中学习奶牛降温决策策略。通过从基于规则的激活转向学习型决策，控制系统可以更好地使降温干预与个体动物需求对齐。DQN智能体直接从MmCows数据集中学习模拟降温策略，在中等热应激条件下达到或超过固定阈值策略。表现最佳的Double DQN智能体获得最高数值奖励（18.26 ± 3.89），但几乎总是放弃干预，且未显著优于不行动基线。这些结果反映了奖励设计和中等热负荷，而非经过现场验证的自主降温系统。在部署之前，该方法需要受控现场验证、奖励权重敏感性分析、安全覆盖机制，以及在更严重和更多变的热应激条件下的评估。通过这些步骤，RL可能成为个体化、气候适应性精准畜牧业的潜在工具。
