基于混合注意力增强与多教师知识蒸馏的牛脸识别轻量化框架

《Scientific Reports》：Feature extraction and lightweight methods for cattle facial recognition

　　

当前智慧农业中的牛脸识别流程仍存在精度差距和模型臃肿问题。研究人员提出了一种端到端框架，将增强的特征提取与结构化压缩相结合。其主干网络DSFFNet重新设计了ShuffleNetv2，引入了一个混合并行注意力模块（MEM），该模块融合了空间线索和坐标线索，增强了对遮挡和姿态变化的鲁棒性。轻量级学生网络L-DSFFNet首先通过结构化剪枝进行瘦身，然后通过多教师知识蒸馏进行精炼。尽管多教师蒸馏已在其他领域被利用，但研究人员量化了教师的互补性，并针对牛脸定制了一种掩码增强的特征蒸馏目标函数。在不依赖架构创新的前提下，该流程在三个公开数据集上展示了具有竞争力的精度-效率权衡，突显了其实用价值。

研究背景与现存问题

在智慧农业与精准畜牧管理的数字化转型浪潮中，动物生物特征识别技术正成为关键推动力。牛脸识别因其非接触和高稳定性优势在大规模养殖场景中展现出重要应用价值。传统管理依赖人工标记和耳标，存在效率低、易篡改、可追溯性差等弊端。然而，现有研究大多聚焦于人脸识别等通用场景，专门针对牛脸特征提取与模型轻量化的研究仍不充分。具体面临两大挑战：一是牛脸存在毛发遮挡、角度偏差和光照变化等干扰因素，导致类间可分性缩小；二是大多数农场监控设备是资源受限的边缘终端，模型不仅受参数量约束，还受计算成本如浮点运算数（FLOPs）和推理延迟的限制，难以满足实时性需求。因此，平衡精度与轻量化仍是现场部署的关键障碍。

研究内容与结论

为解决上述挑战，研究人员工程化地设计了一套实用流程：在ShuffleNetv2基础上引入注意力机制以增强特征提取，再通过结构化剪枝和多教师蒸馏进行模型压缩。虽然主干网络DSFFNet并未引入全新架构，但研究人员系统评估了混合注意力模块（MEM）的效果——该模块以并行融合加残差掩码的方式结合了空间注意力和坐标注意力，这与现有的顺序堆叠式双注意力机制不同。轻量级学生网络L-DSFFNet是DSFFNet的剪枝变体，研究人员通过消融研究论证了剪枝策略的合理性。多教师蒸馏虽非原创，但研究人员实证分析了三个教师网络（Xception、FastViT-T8、DSFFNet）的互补性，并提出一种掩码增强的特征损失函数，提升了学生网络在低质量牛脸图像上的泛化能力。该研究的贡献侧重于工程导向，关注精度-效率权衡而非架构发明。

关键技术方法

1. 1.
   图像增强：采用基于哈尔（Haar）的离散小波变换对原始牛脸图像进行预处理，通过二维小波分解映射为低频近似分量和高频细节分量，有效抑制噪声并提升耳标纹理、瞳孔边界等关键特征的信号噪比。
2. 2.
   主干网络DSFFNet设计：在ShuffleNetv2骨干网络上增加残差连接和混合增强模块（MEM）。MEM模块并行融合空间注意力模块（通过全局最大池化和全局平均池化捕捉显著空间区域）和坐标注意力模块（通过水平和垂直方向的平均池化捕捉牛脸特有的方向性纹理特征），并通过通道混洗实现信息融合。
3. 3.
   轻量化学生网络L-DSFFNet：对DSFFNet进行结构化剪枝，移除中间层重复的逆残差模块，仅保留下采样模块、MEM模块和一个逆残差模块，从而大幅降低参数量和计算复杂度。
4. 4.
   多教师特征蒸馏框架：选用Xception（擅长细粒度特征）、FastViT-T8（擅长全局上下文建模）和DSFFNet（提供牛脸特定线索）三个异构教师网络，通过可学习权重聚合中间层特征和输出对数（logits）来指导学生网络。在特征损失计算中引入带残差连接的掩码生成增强模块（RMGE），保留学生网络自身特征的同时补充教师网络知识，降低学习难度。

研究结果

CSF300数据集对比实验结果分析：在包含300个个体、共2899张图像的CSF300数据集上，DSFFNet相比ShuffleNetv2在top-1和top-5准确率上分别提升1.65%和1.75%。DSFFNet的识别精度仅次于Xception和FastViT-T8，但参数量、计算复杂度和推理时间均低于这两个网络。

BCFD-10K数据集对比实验结果分析：在包含20个个体、共11023张图像的BCFD-10K数据集上，DSFFNet相比ShuffleNetv2在top-1和top-5准确率上分别提升0.69%和0.05%。由于该数据集每类样本丰富，所有模型表现均优于CSF300，DSFFNet的top-1准确率略低于Xception 1.04%和FastViT-T8的0.41%。

CFFD数据集对比实验结果分析：在包含459个个体、共2893张图像的CFFD数据集上，DSFFNet相比ShuffleNetv2在top-1和top-5准确率上分别提升3.19%和0.25%。DSFFNet的top-1准确率与ResNet-18持平，仅略低于FastViT-T8的0.24%。

DSFFNet多阶段消融实验结果分析：在CSF300、BCFD-10K和CFFD三个数据集上分别进行消融实验。单独使用小波变换可使top-1准确率分别提升0.24%、0.31%和0.16%；单独使用组合损失函数（交叉熵损失与焦点损失的加权）可分别提升0.48%（需结合小波变换）、0.24%和0.24%。同时使用小波变换和组合损失时，三个数据集上的top-1准确率分别达到最高值93.73%、98.17%和87.96%，相比基线分别提升0.48%、0.43%和0.49%。

基于目标的知识蒸馏对比实验结果分析：采用单教师目标蒸馏方法，分别以Xception、FastViT-T8、DSFFNet作为教师网络，L-DSFFNet作为学生网络。记录蒸馏后学生网络在三个牛脸数据集上的识别性能（原文此处后续内容未完全展示，但根据前文框架描述，多教师蒸馏进一步提升了学生网络的识别精度）。

总结与讨论

该研究为动物生物特征识别领域提供了方法论增量和技术验证。一方面，多层次特征融合机制有效解决了牛脸遮挡和姿态变化等干扰问题；另一方面，知识蒸馏与掩码增强的协同优化为深度学习模型轻量化提供了范式。研究成果可直接应用于智慧牧场管理系统，为畜牧业数字化转型提供关键技术支撑。研究结论表明：所提出的DSFFNet主干网络在保持极低参数量和计算开销的前提下，显著提升了牛脸识别精度；通过结构化剪枝得到的L-DSFFNet学生网络，再经由多教师蒸馏精炼后，能够在亚百万参数级别下持续超越单个教师网络的性能，在多个牛脸数据集上实现了具有竞争力的精度-效率权衡，为未来动物生物特征识别研究提供了可直接复用的基准流程。