一种基于奶牛背部多视图特征融合的奶牛识别方法

《Journal of Dairy Science》：A Method for Dairy Cow Identification Based on Multi-view Feature Fusion of the Cow's Back

　　王月明 | 杜新阳 | 李泽豪 | 李奇 | 王丽英 | 凌华初
内蒙古科技大学自动化与电气工程学院，包头，014010，中国

**摘要**
为了解决在挤奶场景中由于身体部分遮挡、姿势变化以及标记和污渍变化导致的单视图奶牛背部识别难题，本文提出了一种基于奶牛背部多视图特征融合的识别方法。首先，构建了一个包含1954头奶牛背部图像的多视图数据集（共31,356张图片）。随后，结合使用YOLO11n和ByteTrack技术，实现了挤奶场景下奶牛背部中央、左侧和右侧视图的自适应图像采集。接着，通过比较7种特征提取框架（HRNet、EfficientNet、DenseNet、ResNet、ConvNeXt、Swin Transformer和Swin Transformer V2）在混合视图数据上的识别性能，选出了表现最好的3个网络，并分别对它们进行训练，以找出适用于中央、左侧和右侧视图的最优单视图特征提取模型。最后，将提取的特征向量连接起来，并通过计算余弦距离来确定奶牛的身份。实验结果表明，该方法的整体准确率为99.69%，mAP值为99.83%，对于单视图模型无法识别的样本，准确率达到了94%。该方法能够准确识别挤奶场景中的奶牛，为奶牛识别提供了一种有效的方法。

**引言**
在挤奶场景中，快速且非接触式的个体识别是现代精准奶业的基础，对于提高生产效率和确保动物福利至关重要（Hossain等人，2022；Mahmud等人，2021）。通过将奶牛个体身份与 milk yield 和体细胞计数等关键生理和生产指标实时关联，农场管理者可以准确监控泌乳情况（Wieland和Heuwieser，2025），从而为育种决策、淘汰策略和精准饲养管理提供客观依据（Li等人，2024）。此外，这类系统能够在检测到乳腺炎等异常情况时自动分离异常牛奶，有效保障牛奶的整体质量和经济价值（Tommasoni等人，2023）。除了生产管理之外，可靠的个体识别还是集成热成像、步态分析和基于姿势的监测等多模态传感技术的基本前提（Shen等人，2024）。结合个体识别，这些技术可以实现对疾病的早期自动预警和发情检测（Z. Zhang等人，2024；Lodkaew等人，2023），使奶牛场管理从被动治疗转向主动预防。预计这类智能系统的持续发展将提高生产效率、改善动物福利、优化劳动力利用，并最终为奶业运营带来显著的经济效益（Sanjulián等人，2025）。

然而，挤奶环境因其特殊的操作限制而给个体识别带来了诸多挑战。在挤奶过程中，奶牛沿固定轨迹缓慢移动，安装喺挤奶厅上方的摄像头能够捕捉到相对稳定和可预测的运动模式。在本研究中，捕获的帧被水平划分为3个区域：当奶牛进入左侧区域时，会记录其左侧轮廓（包括部分背部）；进入中央区域时，可以清晰捕捉到背部的形状和外观特征（如颜色分布、纹理线索和形态特征）；进入右侧区域时，则能获取右侧轮廓。这种基于区域的划分方式实现了从左侧、中央和右侧视角的系统化多视图图像数据采集，从而支持稳定的个体识别和后续分析。采集地点如图1所示。

**图1. 挤奶环境中的摄像头布局和视图划分**
安装在挤奶间上方的摄像头捕捉到一个固定的水平视野，划分为左侧、中央和右侧区域。随着奶牛在旋转平台上的移动，可以收集到它们左侧、背部和右侧的图像，实现多视图数据采集。

在挤奶场景中，传统的标记方法（如耳标，Johnston和Edwards，1996）存在易脱落和可能引起应激反应等缺点，而RFID技术（Pereira等人，2023）在拥挤的挤奶环境中容易受到电机和金属栏杆的干扰，导致读数错误或遗漏（Su等人，2023），因此不适合现代农场使用。因此，基于计算机视觉的非接触式识别方法逐渐成为研究热点（Borges Oliveira等人，2021）。在挤奶场景中，奶牛的头部经常被喂食槽遮挡，使得基于面部的识别方法（Bergman等人，2024）难以有效实施；同时，奶牛的侧面也容易受到邻近个体或设备的遮挡（H. Zhang等人，2024）。相比之下，奶牛的背部在整个挤奶过程中始终保持稳定的自上而下的视野，为高可靠性视觉识别提供了理想的特征区域。

如图2所示，奶牛背部识别面临以下困难：（a）部分特征被机械或邻近个体遮挡；（b）从特定角度难以区分不同奶牛的相似身体特征；（c）姿势变化（如转头、弓背、伸展）导致视觉特征变形；（d）存在人工标记或污渍。

**图2. 单视图奶牛背部识别中的典型干扰因素**
四个示例展示了典型问题：（a）特征遮挡，即奶牛的部分部位被邻近奶牛或设备遮挡；（b）特征相似性，即从某些角度看不同奶牛具有相似的视觉特征；（c）姿势变化，如转头或弓背；（d）标记或污渍。

目前，基于背部视图的识别方法显示出巨大潜力。Mon等人（2024）利用YOLOv8模型结合VGG特征和SVM分类器，在狭窄通道和挤奶厅中实现了实时跟踪和识别；Wang等人（2024）提出了基于现有轻量级框架的新网络LightCowsNet，通过引入注意力机制、反转残差结构和深度可分离卷积，他们在公开奶牛背部数据集上达到了94.26%的准确率。在我们之前的研究中，我们也基于背部特征识别了挤奶场景中的奶牛，准确率达到97.7%（Li等人，2025）。虽然这些研究验证了基于背部特征的识别的可行性，但也揭示了单视图方法的固有局限性。

为了克服单特征识别的局限，多特征融合技术已被广泛应用于奶牛识别领域，以提高系统的鲁棒性和准确性。例如，在深度特征和传统特征融合方面，Si等人（2023）提出了一种在无约束条件下融合CNN提取的深度特征与手工制作的传统特征的方法，该方法利用SVM进行分类，对于站立的奶牛准确率为98.66%，对于躺着的奶牛为94.06%。在多模态特征融合领域，Bhole等人（2022）结合了RGB和热成像数据，通过采用后期融合策略和CORF3D轮廓图，实现了荷斯坦奶牛的高精度识别，有效解决了纹理噪声的干扰问题。针对多部分特征融合，Lu等人（2023）使用了定位关键区域（LKA）模块来融合来自奶牛头部、躯干和整个身体的特征，无需标注信息即可实现高精度识别和细粒度特征提取。Wang等人（2023）创新性地将OpenPose骨骼特征与Mask R-CNN网络结合，并引入注意力机制，实现了奶牛个体识别，有效平衡了准确性和模型复杂性之间的权衡。这些研究表明，融合来自不同类型或来源的特征可以显著提升复杂环境中识别模型的适应性和性能。

为了解决挤奶场景中的单视图识别问题，本文提出了一种基于奶牛背部多视图特征融合的识别方法。在挤奶间上方安装了摄像头，并结合使用YOLO11n和ByteTrack来检测和跟踪奶牛，提取了背部中央、左侧和右侧的多视图数据。比较了7个网络（HRNet、EfficientNet、DenseNet、ResNet、Swin Transformer、Swin Transformer V2和ConvNeXt）在混合角度数据上的性能，选出了表现最佳的3个网络作为单视图的候选特征提取网络。然后通过比较实验确定了每个背部视图的最优网络。最后，将3个视图的特征向量（具体细节稍后提供）融合成一个包含奶牛完整视图特征的信息向量，并与农场数据库中保存的特征向量进行匹配，以实现挤奶场景下奶牛的高精度身份识别。

**材料与方法**
**数据收集与数据集构建**
本研究中使用的实验数据来自中国山东省一家大型奶牛场的成年荷斯坦奶牛。选择这一品种是因为其特有的黑白相间的皮毛图案，为我们的视觉识别方法提供了天然的生物特征基础。原始数据集包含40段挤奶视频，记录了1954头成年荷斯坦奶牛在不同日期的情况。这些视频采用HEVC格式编码，分辨率为2560 × 1440，帧率为25 fps，每段视频时长为2,788秒。从这些视频中提取关键帧并手动标注，构建了一个包含31,356张原始图片的奶牛背部多视图数据集。

为了确保评估的客观性（或身份独立性），我们根据奶牛身份对数据集进行了划分（具体划分方式见表1），将1,000头奶牛分配到训练/验证集中，954头奶牛分配到测试集。我们构建了两种类型的训练集以满足不同的实验需求。首先，为了评估单视图模型的性能，建立了一个单视图训练集，该集合包含3个独立子集（左侧、中央和右侧视图），每个子集包含6,000张图片。其次，为了训练具有视图鲁棒性的模型，将这3个子集合并形成了一个混合视图训练集（共18,000张图片）。来自1,000头奶牛的训练数据按5:1的比例分为训练集和验证集，分别用于模型训练和超参数调整，未使用k折交叉验证。

**表1. 多视图奶牛背部数据集划分**
| 数据集类型 | 子集 | 图片数量 | 奶牛数量 |
|--------------|--------------|--------|--------|
| 培训集 | 左侧视图 | 6,000 | 1,000 |
| | 中央视图 | 6,000 | 1,000 |
| | 右侧视图 | 6,000 | 1,000 |
| 混合视图 | 18,000 | 1,000 |
| 测试集 | 左侧视图 | 4,466 | 954 |
| | 中央视图 | 4,444 | 954 |
| | 右侧视图 | 4,446 | 954 |
| 单视图难样本集 | DenseNet | 68 | * |
| | HRNet | 50 | * |

从1,954头奶牛的31,356张图片中，根据身份将其分为训练集（1,000头奶牛，单视图和多视图子集）和测试集（954头奶牛）。使用两个“单视图难样本集”（DenseNet：68张，HRNet：50张）来评估融合的鲁棒性。

在测试阶段，为了全面评估模型性能，我们还设计了单视图和混合视图测试集。单视图测试集包含3个子集：左侧（4,466张图片）、中央（4,444张图片）和右侧（4,446张图片）。混合视图测试集包含了全部13,356张测试图片（来自954头测试奶牛）。在评估过程中，为了模拟实际识别场景，我们采用了查询库协议（Chen H等人，2023）。对于每个测试个体，从每个视图随机选择一张图片作为查询图片，而该身份的所有其余图片组成检索库。

此外，为了专门挑战多视图融合算法，我们构建了一个单视图难样本集。该集合包含了所有被单视图基线模型（DenseNet或HRNet）错误识别的个体，共包含85头独特的奶牛：68头被DenseNet错误识别，50头被HRNet错误识别，33头被两种模型都错误识别。

**识别方案**
为了解决单视图识别在处理奶牛身体遮挡、姿势变化和污渍变化等问题时的局限性，本文提出了一种基于奶牛背部多视图特征融合的识别方法。系统捕捉奶牛经过摄像头的过程，并从3个视角提取图像及其相应的特征向量。然后将这3个特征向量连接起来，形成样本的融合查询向量。通过计算这个融合查询向量与图库中所有牛身份特征向量之间的余弦相似度，将与图库特征向量相似度最高的牛的身份作为最终识别结果。实验验证了其在准确性和鲁棒性方面的优势。整体框架图如图3所示。首先，通过划分挤奶棚上方的虚拟区域（中央、左侧、右侧），并结合YOLO11n目标检测器和ByteTrack跟踪算法，该研究能够自动捕获并分类进入不同区域的牛的多视图背部图像。其次，使用三种损失函数对7种主流骨干网络进行了全面评估，并选出了性能最佳的3个网络作为候选者。接下来，在特定的视图数据集上进行训练和测试，以确定中央、左侧和右侧视图的最佳骨干网络，从而验证了视图特定模型的优越性。最后，融合了每个视图下表现最佳的网络提取的特征向量，并计算了余弦距离以进行身份识别。

下载：下载高分辨率图像（435KB）
下载：下载全尺寸图像

图3. 多视图牛背特征融合识别方法的总体框架。该流程使用YOLO11n和ByteTrack从左侧、后方和右侧捕获牛的图像，为每个视图选择最佳的特征提取器，连接并融合得到的特征向量，并通过与融合特征数据库计算余弦相似度来识别牛的身份。

基于YOLO11n和ByteTrack的自适应视图图像采集
本研究采用了一种基于YOLO11n目标检测模型和ByteTrack多目标跟踪器的自适应视图图像采集方案。首先，使用包含来自不同视图的牛图像的训练集对YOLO11n进行训练，使其能够快速准确地检测到摄像机帧中的所有牛，并在视频帧中输出它们的精确边界框。YOLO11n完成检测后，ByteTrack算法立即为每头检测到的牛分配一个跟踪ID，确保每头牛的身份轨迹的连续性和唯一性。

如图4所示，摄像机的固定视野水平分为左侧区域、中央区域和右侧区域，每个区域对应一个特定的观察视图。对于ByteTrack连续跟踪的每头牛，系统实时获取其检测框的中心点坐标。当被跟踪的牛随着旋转平台移动时，如果其检测框中心点的x坐标进入左侧区域的范围，系统会自动将当前帧中的牛图像标记为“左侧视图”并采集该图像。当其继续移动且中心点的x坐标进入中央区域时，系统将其标记为“中央视图”并采集图像。最后，当它进入右侧区域时，“右侧视图”的采集完成。

下载：下载高分辨率图像（241KB）
下载：下载全尺寸图像

图4. 使用虚拟分区和目标跟踪的自适应多视图图像采集。系统跟踪牛的边界框中心的x坐标，并在其落在预定义的左侧、中央或右侧区域内时自动捕获图像，从而生成每头牛的3个关键视角的图像集。通过这种自适应采集方案，系统收集了每头经过摄像机下的3个关键视图的图像数据集，从而实现了挤奶场景中牛的检测和跟踪任务，并为最终的身份识别提供了可靠的数据基础。

选择视图特定的特征提取器
为了选择 subsequent 多视图特征融合的最佳单视图特征提取模型，本文进行了模型比较实验。首先，在包含来自左侧、中央和右侧视图的子集的混合数据集上训练和测试了7种特征提取骨干网络——HRNet、EfficientNet、DenseNet、ResNet、ConvNeXt、Swin Transformer 和 Swin Transformer V2。在训练期间，结合使用了3种损失函数——CosFace Loss、Cross-Entropy Loss 和 Triplet Loss（定义见下文 - 损失函数）。根据它们在混合数据集上的识别结果，选择了排名前3的性能最佳的模型作为候选模型。然后，这些候选模型分别在左侧、中央和右侧视图数据集上进行训练和测试。这一阶段的目的是确定最适合每个特定视图的特征提取网络。由于牛在不同视图下显示的特征各不相同，因此在左侧、中央和右侧视图上专门训练的模型具有更好的特征表示能力。为了验证在单视图数据上训练的必要性和优势，我们对仅在单视图数据上训练的模型与在混合视图数据上训练的模型进行了比较分析。评估是在与训练数据分布相对应的视图特定测试集上进行的。这种比较展示了通过视图特定训练所获得的性能提升，并随后确定了左侧、中央和右侧视图的最佳模型，这些模型随后被用于特征提取和融合。

多视图识别特征融合策略
在使用最佳单视图模型从左侧、中央和右侧视图提取牛的特征向量后，本文比较并采用了最佳的特征融合策略，以充分利用多视图信息，提高识别的鲁棒性和准确性。为了从不同视图获得更稳定和具有代表性的牛的特征，将同一牛在相同视图下的所有图像特征向量进行平均池化。该操作有效地平滑了各个图像之间的细微差异，减少了噪声的影响，并压缩了信息以提取该视图的核心特征。经过这一过程后，每头牛获得了每个视图的特征向量，该向量汇总了该视图的信息。

本文采用了特征连接策略，即将来自左侧、中央和右侧视图的特征向量（经过平均池化后）连接起来，形成更全面的融合特征向量，作为图库中牛的身份特征。如图5所示，这是奶牛多视图融合特征提取过程的流程图。

下载：下载高分辨率图像（179KB）
下载：下载全尺寸图像

图5. 奶牛多视图融合特征提取过程的流程图。对于每头牛，使用每个视图的最佳模型从所有图像中提取深度特征，在每个视图内部进行平均处理以获得聚合特征，然后跨视图连接起来形成存储在数据库中的最终身份向量。为了更有效地融合多视图信息，本文实验性地比较了两种不同的融合策略。第一种策略是使用一个在所有视图中表现最佳的通用模型来提取来自左侧、中央和右侧视图的特征。第二种策略是使用为每个视图专门训练的最佳模型来提取其特征。通过比较这两种策略在特征融合前后的性能以及它们在难样本上的识别准确性，确定了最佳的特征融合策略并予以采用。

损失函数
为了提高模型表示不同视角下单个牛特征的能力，本研究选择了3种具有代表性的损失函数进行比较实验，包括传统的分类损失和先进的度量学习损失：
(i) Cross-Entropy Loss（Goodfellow等人，2016年）被用作基线分类损失。它衡量预测概率分布与真实one-hot标签分布之间的差异。给定一个输入特征xi及其对应的标签yi，损失定义为：
LCE = -1/N∑i=1/N log(wyiTxi∑j=1/CeWjTxi)，
其中N是批量大小，C是牛身份的数量，Wj表示类别j的权重向量。这鼓励模型通过监督学习将每张牛图像正确分类到其对应的身份类别中。
(ii) Triplet Loss（Schroff等人，2015年）是一种经典的度量学习目标，用于鼓励模型学习一个嵌入空间，在该空间中，相同身份的样本（正对）之间的特征距离最小化，相对于不同身份的样本（负对）之间的距离。这是通过在训练期间构建锚点-正样本-负样本三元组来实现的。对于每个训练样本，构建由一个锚点（xa）、一个相同身份的正样本（xp）和一个不同身份的负样本（xn）组成的三元组。损失定义为：
LTriplet = 1/N∑i=1/N max(0, fxa - fp × fx - xf × fn)2 + α，
其中f(x)表示网络提取的特征嵌入，x2是欧几里得距离的平方，α是一个强制正负对之间最小距离间隔的边际参数。通过最小化这种损失，模型学习了将视觉上相似但可能具有视点变化的牛映射到聚类的嵌入空间中，从而增强了检索的鲁棒性。
(iii) CosFace Loss（Wang等人，2018年）是一种基于角度边际的Cross-Entropy Loss变体。它对特征和分类器权重进行了归一化，并在角度空间引入了一个固定的余弦边际，从而促进了更紧凑的类内分布和更好的类间分离。损失定义为：
LCosFace = -1/N∑i=1/N log-|cos(θyi,i - mescoseθyi,i-m)| + ∑j≠yi escos(θj,i)，
其中cos(θj,i) = WjTxi（两者均已归一化），s是一个缩放因子，m是固定的余弦边际。通过最大化角度空间中的决策边际，这种损失促进了更紧凑的类内特征分布和更好的类间分离，特别适用于区分具有相似背部图案的牛。

为了从多个角度全面评估模型的识别性能，采用了以下评估指标：Rank@k准确率衡量正确身份出现在排名列表前k位的概率。研究报告了k = 1、5和10的结果，其中Rank@1作为识别准确性的主要指标。平均精度（mAP）用于评估排名的整体质量，因为它同时考虑了全检索列表中所有相关匹配的精确度和召回率；更高的mAP值表示更好的检索性能。精确度（P）量化了预测为正匹配的真正例的比例，反映了预测的可靠性。召回率（R）衡量成功检索到的所有实际正样本的比例，表明了模型的覆盖范围或完整性。此外，还报告了可训练参数的总数（以百万计，表示为M），以表征模型的规模和计算复杂性。

实验和结果
所有实验都在运行Ubuntu 18.04.6 LTS的工作站上进行，配备了Intel? Core i9–10900X CPU、64 GB系统内存和2个NVIDIA GeForce RTX 3090 GPU（每个具有24 GB VRAM，总计48 GB）。实现基于Python 3.8.10、PyTorch 1.12.0和CUDA 11.3。

YOLO11n性能评估
高效准确的对象检测是可靠个体识别的关键前提。为了在挤奶场景下平衡性能和计算效率，本研究采用了YOLO11n架构。该模型在收集的数据集上进行了训练和评估，结果总结在表2中。

表2. YOLO11n检测器在牛检测上的性能
模型 模型大小/MB 精确度/% 召回率/% mAP50/% mAP50–95/%
YOLO11n 5.35 98.2 99.0 99.4 2.58
YOLO11n具有258万个参数，实现了98.2%的精确度、99.0%的召回率、mAP@50为99.4%以及mAP@50-95为89.4%，在准确性和效率之间取得了良好的平衡。

如表2所示，YOLO11n实现了98.2%的精确度和99.0%的召回率。在IoU阈值为0.50时的平均精度（mAP50）达到了99.4%，而在IoU阈值从0.50到0.95之间的平均值（mAP50–95）为89.4%。值得注意的是，该模型仅包含258万个参数，文件大小为5.35 MB，展示了准确性和模型紧凑性之间的良好平衡。鉴于其高检测准确性和低计算开销，YOLO11n被选为后续身份识别的对象检测骨干。

骨干网络的初步筛选
一个有效的特征提取骨干应该能够从中央、左侧和右侧视角捕获的牛图像中学习高度区分性的表示。为了识别适合这项任务的架构，选择了7种代表性网络——ConvNeXt、DenseNet、EfficientNet、HRNet、ResNet、Swin Transformer和Swin Transformer V2进行初步评估。每种网络都在混合视图训练集上使用了3种损失函数进行训练：CosFace Loss、Cross-Entropy Loss和Triplet Loss。这种设计使我们能够评估不同损失公式的影响以及每个骨干的内在能力，最终确定了在混合视图测试集中的最佳组合，以便进行后续的单视图优化。结果如表3所示。在混合视图测试集上，使用三种损失函数对七个特征提取网络的识别性能进行了评估：

模型 | 损失函数 | rank@1/% | rank@5/% | rank@10/% | mAP/% | 时间/s |
-----------|------------|--------------|-------------|--------------|--------------|-----------|
ConvNeXt | CosFace Loss | 97.13 | 98.88 | 99.37 | 54.68 | 24.85 |
Cross-Entropy | 97.27 | 99.09 | 99.34 | 52.41 | 24.18 |
Triplet | 96.93 | 99.13 | 99.37 | 50.88 | 24.02 |
DenseNet | CosFace Loss | 97.24 | 98.81 | 99.44 | 57.14 | 33.29 |
Cross-Entropy | 96.16 | 98.29 | 99.09 | 53.00 | 33.01 |
Triplet | 96.33 | 98.64 | 99.13 | 53.03 | 32.99 |
EfficientNet | CosFace Loss | 95.14 | 97.94 | 98.71 | 47.05 | 20.07 |
Cross-Entropy | 93.64 | 97.34 | 98.36 | 44.60 | 19.96 |
Triplet | 93.82 | 97.17 | 98.36 | 43.21 | 19.97 |
HRNet | CosFace Loss | 97.48 | 99.16 | 99.51 | 59.71 | 10.26 |

如表所示，HRNet+CosFace 在所有指标上均表现出最佳性能（Rank@1：97.48%，mAP：59.71%），其次是 DenseNet+CosFace 和 ConvNeXt+Cross-Entropy。

表3 显示，HRNet 与 CosFace 损失的组合在整体性能上表现最佳，Rank@1 准确率为 97.48%，mAP 为 59.71%，推理时间为 10.26 秒。DenseNet 和 ConvNeXt 的识别准确率也相当高，分别为 97.24% 和 97.27%。相比之下，EfficientNet、Swin Transformer 和 Swin Transformer V2 在各项评估指标上没有明显优势。值得注意的是，ResNet 与 CosFace 损失的组合实现了最快的推理速度（4.90 秒）和不错的 mAP（57.02%，但其 Rank@1 准确率低于表现最好的模型。

为了验证特定视图训练与混合视图训练的必要性，并为每个视角选择最佳特征提取器，本研究比较了在单视图数据集和混合视图数据集上训练的模型。具体评估了在第三节中表现优异的三个模型：ConvNeXt、DenseNet 和 HRNet。每个模型要么仅在单视图数据集（左、中或右）上进行训练，要么在混合视图数据集上进行训练，然后在相应的单视图测试集上进行测试。结果显示在图 6 中，蓝色条形表示单视图训练的模型，橙色条形表示在各个视角上训练的混合视图模型。

在 Rank@1 准确率方面，单视图训练在 6 个案例中的 5 个案例中都获得了更高的分数。唯一的例外是 ConvNeXt 在右视图上的情况，其中混合视图模型的 Rank@1 准确率略高（高出 0.11%）。更明显的是，单视图训练在 mAP 上的优势非常显著：对于 HRNet 和 ConvNeXt 在左视图上，以及 ConvNeXt 在右视图上，单视图训练分别提高了 3.18%、5.52% 和 3.43% 的 mAP。这些结果表明，特定视图训练使模型能够更好地捕捉与姿势和视角相关的特征，从而提高了检索性能。

基于 Rank@1 准确率（识别任务的主要衡量标准），HRNet 在左视图（97.82%）和右视图（97.65%）上表现出最佳性能，而 DenseNet 在中视图（98.03%）上表现最佳。因此，在后续的多视图特征融合框架中，HRNet 被选为左视图和右视图的主干网络，DenseNet 被选为中间视图的主干网络。

为了严格评估多视图特征融合在奶牛识别中的有效性，我们比较了三种不同的融合范式：
- Uniform-DenseNet：在所有三个视角（左、中、右）中使用 DenseNet 作为共享主干网络；
- Uniform-HRNet：同样在所有视角上使用 HRNet；
- Heterogeneous-Mix：利用第三节中确定的特定视角的最佳主干网络——左视图和中视图使用 HRNet，右视图使用 DenseNet。

对于每种范式，从 3 个单视图测试集中提取的特征被连接起来，并经过相同的度量学习流程。性能使用 Rank@1 准确率和平均精度（mAP）进行评估。此外，我们还特别检查了一部分困难样本，这些样本被所有单视图模型错误识别。该分析旨在量化多视图融合在涉及遮挡、姿势变化或短暂视觉干扰（如泥渍或光照变化）的挑战性场景中带来的鲁棒性提升。结果总结在表 4 中。

表 4 显示，多视图特征融合在所有实验配置中一致提高了识别性能。提出的 Heterogeneous-Mix 战略获得了最高的平均精度（99.83%），同时保持了 Uniform-DenseNet 所达到的最高 Rank@1 准确率（99.69%），并成功纠正了 88.00%–95.59% 的单视图识别错误。与中央视图基准（最强的单视图设置）相比，融合方法将 mAP 提高了 2.10 个百分点（从 97.73% 提高到 99.83%）。这些发现证实，利用多个视角的互补信息显著提高了判别能力，并在复杂的挤奶环境中提供了强大的鲁棒性。

此外，融合策略在困难样本上也有显著提升。Heterogeneous-Mix 方法正确重新识别了 50 个错误样本中的 47 个（回收率 94.00%），而 Uniform-DenseNet 重新识别了 68 个错误样本中的 65 个（回收率 95.59%）。即使 Uniform-HRNet 的整体准确率略低，也实现了 88.00% 的回收率。这些结果证明，整合多视图观察有效地补偿了单个视角中的信息损失，从而显著提高了系统的鲁棒性。

总之，本研究系统地证明了多视图特征融合在奶牛识别方面的显著优势。实验结果证实，尽管任何单个相机的视野有限，但从 3 个互补视角提取的特征融合一致提高了 Rank@1 准确率和平均精度（mAP），优于单视图基线。尽管最近在单视图奶牛识别方面取得了有希望的进展，但这些方法在现实世界的农场环境中容易受到信息不足的影响。在实际的挤奶环境中，识别性能经常受到不可控因素的干扰，包括部分遮挡、姿势变化和表面级的视觉干扰（如泥渍或自然标记的变化）。例如，Mon 等人（2024）报告称，在自上而下的识别系统中，不均匀的光照、投射的阴影和身体表面的污渍显著降低了识别可靠性。同样，Zhang 等人（2024）提出的侧视图方法虽然有效捕捉了毛色图案特征，但仍受限于单一视角的局限。为了缓解这些限制，最近的研究越来越多地转向多模态或多源融合。Bhole 等人（2022）结合了 RGB 和热成像，利用热对比度进行前景分割，并使用 Fast Marching 算法填补了栏杆造成的遮挡区域；他们的融合 CORFD–RGB 表示法实现了 99.64% 的准确率。Wang 等人（2023）进一步证明了跨特征融合的有效性，通过结合来自 OpenPose 提取的骨骼关键点的外观特征，其“奶牛数据集”的准确率提高了 10.9%。

本文提出的多视图融合策略提供了一种稳健且可扩展的解决方案。通过在多个观察角度聚合视觉证据，我们的方法构建了一个更全面和容错的识别表示。当奶牛某一侧的判别特征暂时被遮挡或损坏时，模型仍可以依赖于其他视角的完整信息来进行可靠推断。这一能力通过困难样本分析得到了实证验证：在单视图下被错误识别的绝大多数实例在多视图融合后得到了成功恢复（见第 3.4 节）。这些发现强调，多视图融合不仅提高了识别准确性，还是确保系统在动态、不受控制农业环境中稳定性的关键机制。

值得注意的是，当前三视图设置的空间配置虽然在角度上有效，但在角度多样性上相对受限。未来的工作将探索集成更多几何分离的视图（例如前方、后方或斜上方角度），以捕获更多的互补视觉线索，进一步提高性能。我们高融合性能的关键之一是采用了异构的、针对视图定制的网络架构。具体来说，我们比较了两种设计范式：（i）在所有视图上统一应用相同的主干网络；（ii）根据第三节中的确定结果，为每个视图分配最佳模型——左/视图使用 HRNet，中视图使用 DenseNet。虽然统一 DenseNet 和混合 Mix 战略的 Rank@1 准确率相同（99.69%），但 Mix 配置获得了最高的 mAP（99.83%），表明了更好的整体检索精度。这一结果突显了不同深度架构在特征提取能力上的差异。通过为每个视角定制主干网络，我们最大化了每种模式的判别潜力，从而丰富了融合表示。因此，异构建模成为推动多视图识别系统性能上限的关键策略。

此外，融合的成功还取决于底层单视图提取器的质量，而这又取决于特定视图的训练协议。我们的实验明确表明，仅在目标视图数据上训练的模型显著优于在混合视图数据上训练的模型——这一趋势在 Rank@1 和 mAP 指标上均有体现。例如，仅在左视图数据上训练的 ConvNeXt 的 mAP 为 93.40%，明显高于混合视图训练的 87.88%。这种性能差异是因为混合数据训练削弱了模型对特定视觉模式的敏感性，导致特征学习效果不佳。相比之下，针对视图进行的训练使网络能够专门捕捉细微的、依赖于视角的特征。例如，中视图训练的 DenseNet 达到了 99.16% 的 Rank@1 准确率，证明了这种范式的有效性。因此，特定视图训练是构建高保真特征提取器的基础，也是实现有效多视图融合的前提。

此外，该方法还有一定的局限性。在本研究中，实验动物主要是荷斯坦奶牛，这种奶牛的背部通常具有明显的黑白毛色图案。这些自然存在的纹理图案为基于深度学习的个体识别方法提供了有利的判别视觉线索。然而，在少数情况下，一些荷斯坦奶牛可能会出现相对均匀的背部颜色、不明显的纹理图案或高度相似的背部外观。对于这些个体，可用的判别视觉特征较少，可能会导致检测效率降低或识别准确性下降。如图 7 所示，由于动物背部纹理和身体轮廓的高度相似性，某些个体从顶部视图难以区分。在这种情况下，即使采用多视图融合也可能无法完全消除识别歧义。

在实际农场管理中，对于具有均匀背部颜色、特征不明显或难以区分的个体，可以通过手动标记或其他辅助识别策略来补充，以确保可靠的个体识别。未来的研究将进一步探索整合额外的视觉线索和多视图信息，以增强识别框架的鲁棒性，特别是对于那些具有均匀背部颜色、特征不明显或外观高度相似的个体。为解决这些挑战，我们提出了一个双轨改进策略：
- 短期：为低置信度预测集成人工干预步骤，确保部署期间的操作可靠性。
- 长期：通过在新的角度（例如前方/后方）添加摄像头并集成多模态识别器（如面部生物特征或 RFID 标签）来扩展感知基础设施，以补充静态视觉特征。同时，我们将研究先进的融合机制（例如基于注意力的跨视图对齐或基于图的特征传播），以更好地利用视图之间的互补性。

本文提出了一种基于奶牛背部多视图特征融合的奶牛识别方法，结合了适应性视图获取技术（YOLO11n 和 ByteTrack）、最佳单视图特征提取模型以及特征连接匹配策略。该方法的总体准确率达到99.69%，平均匹配精度（mAP）为99.83%，尤其是在那些单视图模型无法识别的样本上，准确率能达到94%。该方法有效克服了由于身体部分遮挡、姿势变化和复杂标记所导致的识别难题，为奶牛在挤奶场景中的识别提供了高精度的解决方案。未来，研究的重点将放在扩大数据多样性上，以进一步提升系统在复杂养殖环境下的鲁棒性和泛化能力。