《Smart Agricultural Technology》：Automated extraction of facial surface temperature from thermal images of calves using deep learning-based instance segmentation: Technical validation and associations with rectal temperature
编辑推荐：
红外热成像技术（infrared thermography）为犊牛提供了一种非接触式热状态评估方法，但其应用效果取决于温度提取的可靠性及与直肠温度（rectal temperature）的一致性。本研究旨在：（1）开发一种针对耳部、眼部及鼻镜区域的实例分割模型
红外热成像技术（infrared thermography）为犊牛提供了一种非接触式热状态评估方法，但其应用效果取决于温度提取的可靠性及与直肠温度（rectal temperature）的一致性。本研究旨在：（1）开发一种针对耳部、眼部及鼻镜区域的实例分割模型（instance segmentation model），并评估由预测掩膜（predicted masks）提取的温度与人工勾画参考掩膜（manually delineated reference masks）提取的温度之间的一致性；（2）确定面部表面温度（facial surface temperature）是否能反映直肠温度的变异。研究人员使用了1895张已标注图像，其中包含188张留出测试图像（held-out test images）。在906个匹配的解剖区域实例中，平均Dice系数（Dice coefficient）和交并比（intersection over union, IoU）分别为0.916和0.850。在最低温度、平均温度和最高温度中，最高温度在预测掩膜与参考掩膜之间表现出最小差异，总体平均绝对误差（mean absolute error, MAE）为0.032°C。Dice系数和IoU在不同环境温度类别间存在差异，但在不同犊牛群体间无显著差异；最高温度的MAE则不受上述任一因素影响。研究人员采用197对配对观测数据评估了面部表面温度与直肠温度的关联性，这些数据来自三种不同环境条件下的测量时段。合并相关性呈中等水平（r = 0.628–0.643），而经时段校正后的相关性较小且不显著（r = 0.100–0.114）。仅含直肠温度的模型对最高面部表面温度变异的解释程度低于仅含时段的模型（校正后R2 = 0.391–0.411 vs. 0.747–0.824），且在仅含时段的模型中加入直肠温度后，校正后R2的增幅不超过0.002。因此，由预测掩膜提取的最高面部表面温度与由参考掩膜提取的结果高度一致，但其变异主要由测量时段解释。上述发现表明，自动提取的最高面部表面温度作为犊牛直肠温度的独立指标，其应用价值有限。
基于深度学习的犊牛热图像面部表面温度自动提取研究解读
**一、研究背景与问题提出**
犊牛健康管理是奶牛养殖业经济效益的重要保障。疾病不仅带来直接的治疗成本和死亡损失，还可能对犊牛的长期生长性能和后续生产表现造成不良影响。及时检测和干预是有效管理犊牛健康的关键。直肠温度测量作为客观反映体温异常的指标，在早期疾病检测中发挥着重要作用。然而，传统直肠测温需要直接接触动物，往往伴随保定操作，在重复测量和大规模筛查场景下，不仅耗时费力，还可能给犊牛和养殖人员带来应激。这一局限性促使研究者探索非接触式体温监测方法，红外热成像技术由此进入研究视野。
红外热成像通过探测物体发射的红外辐射来获取体表温度的空间分布。在牛只中，耳部、眼部和鼻镜区域被作为非接触式热状态评估的候选解剖部位。然而，既往研究对这些区域表面温度与直肠温度相关性的报道并不一致。即使以研究最为深入的眼部区域为例，其与犊牛直肠温度的相关系数在不同研究中波动于r = 0.16至0.53之间。这种研究间的差异可能部分源于环境条件和成像因素的变异，包括环境温度、湿度、空气流动、拍摄距离和发射率设置等。更重要的是，既往报道的相关系数大多基于跨多个测量时段、且各时段环境条件不同的合并观测数据计算而得。因此，一个关键问题尚未得到明确回答：面部表面温度究竟反映的是犊牛个体间直肠温度的差异，还是主要体现了不同测量时段之间面部表面温度和直肠温度均值的系统性变化？
近年来，计算机视觉方法已被用于自动化犊牛热图像中面部区域的定位或分割及后续温度提取。然而，高精度的定位或分割性能并不必然保证由预测区域提取的温度特征与人工定义区域提取的结果高度一致。直接比较两类区域提取的温度特征是评估其一致性的必要条件。已有研究采用目标检测或语义分割方法，在牛只中报告了自动与人工参考估计之间的平均差值接近0°C，但这些研究尚属技术验证层面，未进一步回答提取温度能否反映个体间直肠温度变异的问题，尤其在校正测量时段差异之后。
因此，评估面部热成像作为犊牛自动化非接触式体温监测方法的潜在价值，需要同时确立两个层面的证据：其一是面部温度提取的技术可靠性，其二是提取温度与直肠温度的关联性。本研究据此设定了两个目标：第一，开发并评估针对耳部、眼部和鼻镜区域的实例分割模型，并检验预测掩膜提取的温度特征与人工标注参考掩膜对应值的一致性；第二，在区分环境温度条件的测量时段差异校正后，确定自动提取的面部表面温度能否反映犊牛个体间直肠温度的变异。本研究发表于《Smart Agricultural Technology》。
**二、主要技术方法**
本研究采用的技术路线主要包括以下几个方面。研究在两家农场开展：一家位于湿润亚热带气候区的商业化奶牛场，另一家位于湿润大陆性气候区的实验性肉牛场，分别纳入哺乳期荷斯坦犊牛和断奶后安格斯牛及日本和牛犊牛。图像采集使用FLIR C5热像仪，采集过程中记录环境温湿度并输入相机进行环境补偿，反射表观温度采用铝箔法估算，发射率设置为0.98。共采集2611张热图像，经质量筛选后保留1895张用于模型开发。像素级温度数据通过FlirImageExtractor从辐射JPEG文件中提取，并将原生160×120像素温度阵列重采样至640×480像素，裁剪至0.0–45.0°C范围后线性映射为8位灰度图像。人工标注覆盖五个解剖类别：左耳、右耳、左眼、右眼和鼻镜。数据集在犊牛水平上按约70:20:10比例划分训练、验证和测试集，并根据四个环境温度类别（≤15°C、>15至≤25°C、>25至≤35°C、>35°C）平衡验证和测试集。训练集采用随机旋转、亮度调整、曝光调整和水平翻转进行数据增强，最终训练集达10616张图像。实例分割模型采用RF-DETR Seg Preview，输入分辨率432×432像素，批大小16，初始学习率1×10??，训练约102小时。模型评估包括检测性能（精确率和召回率）、空间一致性（Dice系数和IoU）以及温度提取一致性（最低、平均和最高温度的MAE），同时采用25%、50%和75%三种占用阈值进行敏感性分析。在直肠温度关联分析中，另从奶牛场采集197头哺乳期荷斯坦犊牛的热图像-直肠温度配对数据，在12.6°C、25.0°C和36.5°C三种环境温度条件下分三个时段收集，测量间隔均不超过20分钟。统计方法包括Friedman检验、Wilcoxon符号秩检验、Welch方差分析、Games-Howell检验、Kruskal-Wallis检验、Mann-Whitney U检验、Pearson相关分析和普通最小二乘回归分析。
**三、研究结果**
**3.1 面部区域分割和温度提取的性能**
在留出测试集（188张图像，47头犊牛）中，共包含915个真实实例，其中906个与预测实例匹配。总体精确率和召回率均为0.990，所有匹配实例的平均Dice系数和IoU分别为0.916 ± 0.059和0.850 ± 0.092。两个眼部类别的Dice系数和IoU显著低于两个耳部类别和鼻镜类别，鼻镜类别呈中间值且显著低于两个耳部类别（P < 0.05）。掩膜平均精度（AP50–95）呈相似的类别间数值模式。分割性能在所有环境温度类别和两个犊牛群体中总体较高，但>35°C类别的Dice系数和IoU均显著低于≤15°C和>25至≤35°C类别，其余配对差异不显著（P > 0.05）。Dice系数和IoU在奶牛与肉牛群体间无显著差异（P > 0.05）。
温度特征的一致性分析显示，预测掩膜与真实掩膜提取的温度差值总体较小。最高温度类别的类别特异性平均差值范围从-0.011至0.019°C，总体平均差值为0.001 ± 0.148°C。在全部五个面部区域中，最高温度的MAE均显著小于最低温度和平均温度（P < 0.05），类别特异性MAE范围为0.006至0.094°C，总体MAE为0.032°C。敏感性分析表明，采用25%、50%和75%占用阈值时，最高温度的总体MAE分别为0.033、0.032和0.035°C，对阈值变化不敏感。最高温度MAE在任何面部区域或总体值上均不随环境温度类别或犊牛群体发生显著变化（P > 0.05）。值得注意的是，在≤15°C类别中，两个耳部和两个眼部类别的最高温度MAE均为0.000 ± 0.000°C，表明所有匹配对中预测掩膜与真实掩膜提取的最高温度完全一致。
**3.2 最高面部表面温度与直肠温度及测量时段的关联**
合并分析中，最高面部表面温度与直肠温度呈中等程度相关（r = 0.628–0.643，均P < 0.001）。在时段特异性分析中，12.6°C和25.0°C时段的相关系数较小且不显著，而36.5°C时段呈显著正相关（r = 0.298–0.357，均P < 0.05）。三个区域的最大面部表面温度和直肠温度在不同测量时段间存在显著差异，且较高环境温度条件下数值显著更高（均P < 0.05）。将两个变量在每个测量时段内进行中心化后，相关性减弱且不再显著（r = 0.100–0.114，均P > 0.05）。
线性回归分析中，仅含直肠温度的模型校正后R2值（0.391–0.411）显著低于仅含测量时段的模型（0.747–0.824）。在仅含时段的模型中加入直肠温度后，校正后R2增幅不超过0.002。在含直肠温度与测量时段的模型中，直肠温度的回归系数在任何面部区域均不显著（β? = 0.364–0.697，均P > 0.05）。直肠温度×测量时段的交互作用在任何面部区域也均不显著（F = 0.496–2.753，均P > 0.05），未能提供最高面部表面温度与直肠温度关联强度随测量时段变化的明确证据。
**四、讨论与结论**
本研究的假设部分得到验证：实例分割模型能够准确分割犊牛热图像中的耳部、眼部和鼻镜区域，且预测掩膜提取的最高温度与人工标注掩膜的结果高度一致。这一结果与既往在奶牛中采用语义分割方法的研究发现相符。眼部区域的分割性能相对较低，可能与该区域面积较小、热图像中边界不够清晰有关。>35°C环境下分割性能下降可能归因于面部区域与周围环境之间热对比度降低，但这一解释尚需直接测量热对比度加以验证。然而，分割性能的差异并未导致最高温度MAE的相应变化，这说明最高温度对掩膜边界的小幅差异具有较强稳健性。
与假设相反，本研究发现最高面部表面温度在校正测量时段差异后未能清晰反映犊牛个体间直肠温度的变异。合并分析中的中等相关性主要源于测量时段之间的系统性差异：在较高环境温度条件下，面部表面温度和直肠温度均同时升高。时段特异性相关分析的不一致模式以及时段校正后相关性的大幅衰减均支持这一解释。线性回归结果进一步表明，测量时段对最高面部表面温度变异的解释能力远超直肠温度，且直肠温度在时段基础上几乎不增加额外的解释力。这一发现与既往研究一致，即红外表面温度受热环境影响显著，而直肠温度相对更为稳定。
本研究存在以下局限性：分割模型仅基于两个农场的数据评估，泛化性尚待独立验证；人工掩膜的重复性未评估；关联分析局限于单一奶牛场的哺乳期荷斯坦犊牛；三个测量时段与环境温度条件完全混淆，无法分离环境温度与其他时段特异性因素的独立贡献；个体水平因素（如拍摄前活动、近期采食饮水、毛发状况和头部朝向）未系统控制。未来研究应在更广泛的农场和犊牛群体中开展，并设计环境条件重叠的多个测量时段，以区分环境效应与其他时段特异性影响。
研究结论表明，本研究所开发的实例分割模型能够准确勾勒犊牛热图像中的耳、眼和鼻镜区域，且预测掩膜提取的最高温度与人工标注掩膜结果高度一致，支持该流程在标准化提取面部表面温度方面的技术有效性。然而，由于分割和温度提取流程仅基于两个农场的图像评估，其对独立农场和其他犊牛群体的泛化性仍有待确证。自动提取的最高面部表面温度变异主要由测量时段差异而非犊牛个体间直肠温度的时段内变异所解释。因此，单次自动提取的最高面部表面温度作为犊牛直肠温度的独立指标，其应用价值有限。
