基于姿态感知Transformer增强的多视角韩牛重识别方法HanwooReID及其在精准畜牧业的应用

《Computers and Electronics in Agriculture》：HanwooReID: Multi-view cattle re-identification with pose-aware transformer enhancements

本文提出了一种创新的牛只重识别（ReID）解决方案HanwooReID，通过集成姿态引导热图编码器（PHE）和视角约束检索（VCR）策略，有效解决了韩牛外观相似度高、姿态视角变化大的挑战。该方法在封闭集和开放集协议下分别实现mAP提升7.4%和6.8%，为精准畜牧业（Precision Livestock Farming）提供了可部署的智能化管理方案。

　　

亮点

韩牛个体自动识别面临独特挑战：其视觉特征高度相似，且相较于行人重识别，牛只会因姿态和摄像机视角变化产生外观与尺度的剧烈改变。为解决这些问题，我们推出HanwooReID——一个在真实农场采集的大规模多视角数据集，包含31头牛的9,929张图像，涵盖多样视角、姿态和光照条件。基于此数据集，我们提出基于Transformer的框架，集成姿态引导热图编码器（PHE）聚焦身份相关区域，并结合视角约束检索（VCR）策略，通过将蹄部关键点投影至鸟瞰图（BEV）平面估算牛只朝向。这种基于BEV的朝向估计能有效筛选视角不一致的候选样本，显著提升在剧烈姿态和视角变化下的匹配精度。在封闭集和开放集协议上的大量实验表明，本方法优于现有基线，分别实现平均精度均值（mAP）最高提升7.4%和6.8%，证明了其在精准畜牧业中的有效性。

现有牛只重识别数据集

高质量数据集对推动牛只重识别研究至关重要。现有数据集在表征个体牛只时策略各异，通常受可用视觉线索和环境条件影响。大体可分为两类：聚焦特定解剖区域（如面部或鼻纹）的数据集，以及利用多视角采集全身图像的数据集。每类各有优势，但多数现有数据集面临（实际应用限制）。

提出的HanwooReID数据集

为支持真实农业环境中的个体牛只重识别研究，我们推出HanwooReID——一个从真实农场采集的多视角数据集。完整数据集包含多台同步相机拍摄的134,071张图像，经筛选采样后标注出9,929张裁剪后的牛只实例图像及其身份标签。

方法

由于韩牛外观相似度高、毛色统一，区分其视觉特征极具挑战。为使模型能超越全局外观捕捉身份特异性特征，我们显式整合了基于解剖关键点的结构线索。数据集包含多视角全身图像，使模型无需依赖面部标记等局部标注即可提取细粒度身份线索。

数据集

我们在提出的数据集上进行实验。为模拟实际部署场景，构建了开放集和封闭集重识别评估协议。开放集设定中评估集的牛只身份与训练集完全分离，反映识别新个体的需求；封闭集设定中训练与评估共享同一组身份，便于在受控条件下评估模型性能。

结论

本文提出适用于真实农场环境的韩牛重识别部署友好型框架。与依赖面部等特定视角的方法不同，本框架无需姿态约束，仅需在牛舍安装相机即可实现自动识别，为精准畜牧业提供实用化方案。针对挑战性姿态和视角变化，我们引入两个新模块：PHE（通过热图编码增强空间注意力）和VCR（通过BEV投影实现视角感知筛选），共同显著提升了重识别精度。