《Animals》：An Edge-Deployable Method for Cow-Head Detection and Cross-Camera Association in Visible–Thermal Robotic Dairy Monitoring
编辑推荐：
面部表面温度可为奶牛健康、福利、热应激和繁殖状态的监测提供有用的非接触信息。红外热成像技术（Infrared Thermography, IRT）能够捕获眼睛、口鼻部、鼻孔和耳朵等面部区域的热信息；然而，红外图像通常存在纹理较弱和解剖边界模糊的问题，这可能会阻
面部表面温度可为奶牛健康、福利、热应激和繁殖状态的监测提供有用的非接触信息。红外热成像技术（Infrared Thermography, IRT）能够捕获眼睛、口鼻部、鼻孔和耳朵等面部区域的热信息；然而，红外图像通常存在纹理较弱和解剖边界模糊的问题，这可能会阻碍移动机器人巡检过程中可靠的牛头定位。可见光图像提供了更丰富的结构信息，但不包含温度数据。本研究开发了YOLO11-AFE，一种面向四足巡检机器人的轻量级可见光-热成像牛头检测与异源相机关联方法。该检测器融合了ADown轻量级下采样、C3k2_FE自适应特征增强以及SPPF_ECA通道感知多尺度表征模块。随后采用改进的匈牙利匹配算法（Hungarian Matching Algorithm）在同步的可见光与红外伪彩色图像中建立牛头检测结果之间的一一对应关系。在三次独立运行中，YOLO11-AFE在可见光测试子集上取得的精确率（Precision）、mAP@0.5和mAP@0.5:0.95分别为97.59±0.20%、96.37±0.24%和70.76±0.51%，在红外子集上分别为96.11±0.24%、99.07±0.10%和91.50±0.40%。该模型参数量为214万，计算量为5.27 GFLOPs，相对于YOLO11n分别降低了17.37%和18.17%。关联方法在验证集与测试集合并评估的371个真实牛头配对中取得了98.11%的总体准确率。在Jetson Orin NX上采用TensorRT FP16部署实现了完整核心处理流程36.71 FPS的运行速度。上述结果表明，YOLO11-AFE为未来基于移动巡检机器人的非接触式面部温度监测提供了准确且计算高效的感知前端。
精准奶牛场管理需要连续且低干扰的监测手段。体温变化可为体温调节、热应激、炎症反应、疾病风险和繁殖状态提供重要信息。红外热成像技术（IRT）作为一种非接触测温手段，能够在不束缚动物或附戴传感器的情况下捕获面部区域（如眼睛、口鼻部、鼻孔、耳朵和角）的表面热辐射，被视为有潜力的健康与福利监测指标。然而，红外伪彩色图像纹理弱、解剖边界模糊，在移动机器人巡检中难以实现可靠的牛头定位；可见光图像虽包含清晰轮廓和结构信息，却不含温度数据。两类图像具有互补性，但独立检测后仍需在同步图像对中建立同一牛头的跨相机目标级对应关系。现有研究多集中于图像级配准或像素/特征级融合，在机器人运动、视差、相机视场差异、围栏遮挡及目标数量不一致等条件下，配准稳定性差且计算开销大；已有的牛只跟踪方法也仅针对单可见光相机的时间域关联，无法直接适用于异源相机的瞬时目标关联任务。为此，研究人员开展了面向边缘部署的可见光-热成像牛头检测与跨相机关联方法研究。
研究人员基于YOLO11n构建了轻量级检测器YOLO11-AFE，引入ADown轻量下采样模块、C3k2_FE自适应特征增强模块和SPPF_ECA多尺度通道注意力模块；并提出融合IoU与归一化中心距的改进匈牙利关联算法，在同步可见光与红外伪彩色图像中建立牛头检测框的一一对应关系。实验结果表明，YOLO11-AFE在可见光和红外子集上均取得最优检测精度，模型参数量降至2.14M、计算量降至5.27 GFLOPs，关联准确率达98.11%，并在Jetson Orin NX边缘平台实现36.71 FPS的实时处理。该研究为未来非接触式面部温度监测提供了实用且高效的感知前端，对提升动物福利和智能奶牛场管理具有重要意义。论文发表在《Animals》。
关键技术方法方面，数据采集于北京市昌平区中国农业机械化科学研究院集团有限公司试验站奶牛场，涵盖10个牛舍，使用Unitree Go2四足机器人搭载ZED2i可见光相机（1280×720像素）和Guide Sensmart IPN384红外相机（512×384像素）同步采集，共获得6973对原始图像，经结构相似性指数（SSIM）阈值0.75去冗余后保留1222对，按约8:1:1划分为训练、验证和测试集。检测网络方面，ADown通过平均池化与双分支卷积/最大池化降低下采样计算量；C3k2_FE利用特征级线性调制（FiLM）生成模态相关仿射参数并结合高频残差分支增强细节；SPPF_ECA在空间金字塔池化后附加高效通道注意力（ECA）。关联方面，以检测框IoU与相对各自图像中心的归一化距离差构建融合代价矩阵，经匈牙利算法全局寻优并设置阈值（Tc=1.00，Td=0.30，TIoU=0.05）剔除异常配对。
研究结果方面：
3.1 检测模型对比分析：在相同数据划分、输入分辨率和训练配置下，将YOLO11-AFE与RT-DETR_L、Faster-RCNN、YOLOv5n、YOLOv8n、YOLOv10n、YOLOv11n和YOLOv12n进行对比。YOLO11-AFE在可见光测试子集上精确率、mAP@0.5和mAP@0.5:0.95分别达到97.59%、96.37%和70.76%，在红外子集上分别为96.11%、99.07%和91.50%，均优于对比模型。参数量和FLOPs较YOLO11n降低17.37%和18.17%，验证了模型在精度与效率间的良好平衡。
3.2 消融实验分析：通过逐步引入各模块的消融实验表明，单独引入ADown使可见光和红外精确率分别提升4.340和1.503个百分点，参数和计算量显著下降；C3k2_FE在严格IoU阈值下表现最佳；SPPF_ECA有效提升mAP@0.5。完整配置在双模态上取得最佳的综合精度-复杂度平衡。
3.3 异源相机目标关联结果分析：在验证和测试子集的371个手工确认牛头配对中，364对正确关联、6对错误、1对未关联，总体关联准确率98.11%（验证集96.20%，测试集100%）。三组后置阈值敏感性分析显示选定阈值在评估范围内性能稳定。典型失败场景包括机器人转弯时强光干扰与视角剧变、密集分布中的模态特异性漏检等。
3.4 边缘设备部署性能分析：在Jetson Orin NX 16GB平台上测试了PyTorch FP32、TensorRT FP32和TensorRT FP16三种推理配置。TensorRT FP16将单图像推理时间从21.88ms降至5.43ms（加速约4.03倍），完整核心流程处理一对同步图像需27.24ms（36.71 FPS），其中关联阶段仅耗时0.12ms，非计算瓶颈。
讨论部分指出，本研究的创新在于从单模态检测拓展至运动机器人上的可见光-热成像牛头检测与目标级跨相机关联，区别于图像级配准、跨视角重识别和时序多相机跟踪；关联代价仅使用模态无关的空间线索，计算开销低，适合嵌入式实时处理。应用场景上，该方法可作为非接触式面部温度监测的前端感知模块，后续结合局部配准、面部区域识别和辐射温度提取。局限性包括：尚未完成完整测温流程；夜间或极弱光照下可见光图像质量下降，系统依赖辅助照明；红外数据集中高密度拥挤场景样本不足。未来工作将结合局部可见-红外配准、面部区域识别、辐射温度提取与个体识别，并扩充高密度红外数据集以提升泛化能力。研究结论为：YOLO11-AFE通过引入ADown、C3k2_FE和SPPF_ECA，较YOLO11n在可见光精确率、mAP@0.5和mAP@0.5:0.95上分别提升4.743、2.240和1.554个百分点，红外子集对应提升1.846、0.290和1.157个百分点；模型参数量2.14M、
