基于轻量级YOLO-IWAL和孪生网络的自动挤奶系统奶牛乳头检测与跟踪技术研究

《Sensors》：Research on Detection and Tracking Technology of Cow Teats in Automatic Milking System Based on Lightweight YOLO-IWAL and Siamese Network

　　

自动挤奶机器人需要准确的乳头位置和一致的乳头身份来引导杯具附着。然而，在低帧率飞行时间（ToF）图像中，弱纹理、低对比度、旋转的乳头姿态和大的帧间位移使得这项任务具有挑战性，而嵌入式硬件施加了严格的计算约束。本研究提出了一种奶牛乳头检测和跟踪框架，包括轻量级YOLO-IWAL检测器和基于孪生网络（Siamese Network）的跟踪算法。YOLO-IWAL基于YOLO11n-OBB构建，结合了高效特征提取、细节保持下采样、轻量级多尺度特征融合和定向检测头。在检测测试集上，与基线相比，YOLO-IWAL将精度从99.49%提高到99.69%，参数数量从2.65M减少到1.85M，计算复杂度从6.6 GFLOPs降低到3.4 GFLOPs，推理速度从1039.2帧每秒（FPS）提高到1556.9 FPS。孪生网络通过傅里叶位置编码（Fourier positional encoding）、自适应几何编码（adaptive geometric encoding）和门控融合（gated fusion），将乳头外观特征与3D空间信息相结合，然后应用匈牙利算法（Hungarian algorithm）进行帧间身份关联。在跟踪测试集上，它实现了74.59%的帧间身份关联准确率（ACC）和93.24%的身份F1分数（IDF1）。在RK3588平台上的边缘部署实现了YOLO-IWAL的22.9 FPS和INT8量化孪生网络的166.39 FPS跟踪处理速度。总体而言，所提出的方法为自动挤奶机器人中的奶牛乳头检测和跨帧身份关联提供了一种高效的感知解决方案。

**论文解读：基于轻量级YOLO-IWAL和孪生网络的自动挤奶系统奶牛乳头检测与跟踪技术**

**研究背景与问题**
大规模奶牛养殖对自动挤奶技术需求日益增长，自动挤奶系统（AMS）依赖机器人操作与感知技术引导挤奶杯具附着。然而，实际挤奶场景中，飞行时间（ToF）相机采集的图像存在弱纹理、低对比度、乳头姿态旋转及低帧率导致的帧间大位移等问题，同时嵌入式硬件（如RK3588）对计算资源有严格限制。现有研究多聚焦于单帧检测，且主要在实验室条件下验证，缺乏跨帧身份关联与边缘部署的可行性评估。因此，研究人员开展本研究，旨在开发一种轻量级、可边缘部署的检测与跟踪框架，实现精准的乳头位置定位与稳定的身份关联。

**研究方法与关键技术**
研究人员构建了由YOLO-IWAL检测器和基于孪生网络（Siamese Network）的跟踪算法组成的框架。主要关键技术包括：
1. **YOLO-IWAL检测器**：基于YOLO11n-OBB改进，集成以下模块：
- IDC-CDFS：采用Inception深度可分离卷积（IDC）与通道分解特征缩放（CDFS），提升特征提取效率并降低参数。
- Wavelet Pooling：利用Haar小波滤波器多频带分解与下采样，保留细节结构并抑制混叠。
- AC-FPN：引入注意力卷积（AC）模块与高层筛选特征融合金字塔（HSFPN），去除冗余P3特征层，实现高效多尺度融合。
- OBB_LSDCD：轻量级共享细节增强卷积检测头，通过差分卷积（DEConv）增强边缘与方向特征，采用组归一化（GN）稳定训练。
2. **孪生网络跟踪算法**：以MobileNetV3-Small为视觉骨干，结合：
- 傅里叶位置编码（Fourier Positional Encoding）：将3D坐标映射至高维频率空间，增强空间分辨率。
- 自适应几何编码（Adaptive Geometric Encoder）：建模目标乳头与同帧其他乳头的相对空间关系，处理缺失情况。
- 门控融合（Gated Fusion）：自适应融合视觉与空间特征，生成归一化身份向量。
- 匈牙利算法（Hungarian algorithm）：基于余弦距离成本矩阵进行帧间身份关联。
数据来源：数据采集于中国黑龙江省大庆市某商业奶牛场（2025年3月-4月），使用IFM O3D313 ToF相机（分辨率352×264，帧率约8 FPS）获取ToF幅度图像与深度图。检测数据集包含9032张标注图像，跟踪数据集覆盖47头牛、766个视频片段、3770帧，生成39879个跨帧对。

**研究结果**
1. **AC-FPN消融实验**：通过对比SEAttention-FPN、ECA-FPN等，AC-FPN在精度（99.69%）和mAP50-95（95.75%）上最优，同时保持1556.9 FPS推理速度，GradCAM热图显示其聚焦于乳头区域。
2. **YOLO-IWAL消融实验**：逐步引入IDC-CDFS、Wavelet Pooling、AC-FPN和OBB_LSDCD，最终模型参数量降至1.85M，计算量3.4 GFLOPs，精度99.69%，推理速度1556.9 FPS，相比基线（YOLO11n-OBB）在参数和计算量上显著降低。
3. **孪生网络跟踪算法消融实验**：纯视觉基线（Model A）性能差；引入傅里叶位置编码（Model B）使ACC提升8.26个百分点；加入自适应几何编码（Model C）进一步改善；最终门控融合（Model D）达到ACC 74.59%、IDF1 93.24%，表明空间信息与自适应融合对身份关联有效。
4. **检测算法对比**：与14种旋转目标检测模型（如Rotated FasterRCNN、R3det、YOLO系列）相比，YOLO-IWAL在参数量（1.85M）、计算量（3.4 GFLOPs）和推理速度（1556.9 FPS）上均最优，精度最高（99.69%），mAP50为99.49%。
5. **不同测试子集性能**：在倾斜乳头子集（488张）上mAP50为99.37%，部分遮挡子集（654张）上为99.32%，不同采集时间点三组子集mAP50均≥99.49%，表明检测鲁棒性。
6. **跟踪算法对比**：与BoT-SORT、ByteTrack等相比，所提方法在低帧率与剧烈运动条件下保持身份稳定，ACC（74.59%）和IDF1（93.24%）最高，推理速度1328 FPS（RTX 3080Ti）。位移分层实验显示，高位移子集（≥0.25单位）ACC为72.76%、IDF1为90.20%，性能下降有限。
7. **边缘部署实验**：YOLO-IWAL在RK3588平台（单核NPU）经INT8量化后，平均推理速度22.9 FPS，高于实际ToF采集帧率（约8 FPS）；INT8量化孪生网络全流水线处理速度166.39 FPS，满足实时跟踪需求。

**结论与讨论**
研究结论翻译：本研究提出了一种用于自动挤奶机器人的奶牛乳头检测与跟踪框架，包括YOLO-IWAL检测器和基于孪生网络的跟踪算法。YOLO-IWAL通过IDC-CDFS、Wavelet Pooling、AC-FPN和OBB_LSDCD改进YOLO11n-OBB，在保持检测精度的同时减少冗余计算。跟踪算法通过傅里叶位置编码、自适应几何编码和门控融合，结合视觉外观特征与3D空间信息，生成身份向量并利用匈牙利算法实现帧间乳头身份关联。实验结果表明，YOLO-IWAL精度达99.69%，mAP50为99.49%，参数量仅1.85M，计算量3.4 GFLOPs，推理速度1556.9 FPS；跟踪算法在低帧率与剧烈运动条件下ACC为74.59%，IDF1为93.24%。在RK3588平台上，YOLO-IWAL运行22.9 FPS，INT8量化孪生网络跟踪处理速度166.39 FPS，证明两者在资源受限边缘硬件上满足实时性要求。讨论部分指出，尽管性能良好，但仍存在局限：数据集仅来自单一商业奶牛场，需跨农场、品种验证；检测与跟踪模块独立部署，尚未进行端到端在线验证；当前框架未显式估计乳头完整空间几何与姿态，未来将结合SAM辅助3D点云分割与6D姿态估计，实现姿态自适应杯具附着。