面向在线蛋壳裂纹检测的视角感知弱监督多示例学习

《Food Control》：Weakly supervised view-aware multiple instance learning for online eggshell crack detection

　　• 三视角×五工位成像系统解决了端部盲区问题。• VA-MIL框架仅需要蛋级标签进行训练。• 冻结的DINOv2主干网络实现了鲁棒的、标注高效的特征表示。• VA-MIL达到98.66%的蛋级准确率，处理速度为5.49枚/秒。• 该方法支持鲁棒的在线蛋壳质量检验。## 引言2024年全球禽蛋产量达到1亿吨，高通量无损质量检验已成为不可或缺的工业需求（FAO, 2025）。在生产后处理过程中，约8%–10%的蛋会遭受损伤（Macleod et al., 2006），蛋壳裂纹为沙门氏菌传播和病原体入侵提供了通道（Gantois et al., 2009; Whiley & Ross, 2015）。这些风险凸显了工业鸡蛋分级系统中可靠的自动在线裂纹检测的必要性。传统人工照蛋依赖人工检验员，但检验员容易视觉疲劳并漏检（Li et al., 2025）。研究人员已探索声学脉冲响应（Lin et al., 2009）和机器视觉方法，如高斯拉普拉斯算子（Bao et al., 2019）和霍夫变换（Abbaspour-Gilandeh & Azizi, 2018），在小规模数据集上达到90%–93%的准确率。然而，声学方法对工业环境噪声敏感，而传统机器视觉在复杂实际条件下鲁棒性有限且可靠性降低（Navarro et al., 2025; Yu et al., 2025）。深度学习使基于卷积神经网络（CNN）的方法可用于农产品质量分析。然而，将CNN应用于多视角蛋壳裂纹检测会产生监督不匹配问题：只有破碎蛋的某些视角包含可见裂纹，当所有图像继承蛋级标签时，会产生矛盾的训练信号（Chaowalittawin et al., 2025）。推理阶段也会出现相关的决策级问题，即图像级预测必须通过决策融合规则进行组合，而该规则决定了样本级的误差特征（Kittler et al., 1998）；在否决规则下，单个误报视角即可决定蛋级标签，使最终决策对误报视角的预测高度敏感。现有解决方案包括图像拼接（Tang et al., 2022），但会破坏表面连续性；时序融合（Turkoglu, 2021），对无序视角强加序列偏差；以及强监督检测（Caballero et al., 2025; Zhao et al., 2022），其中细裂纹占据的边界框面积小于5%，稀释了监督信号并产生高标注成本。除这些算法局限外，传统单摄像头成像配置对曲率较大的蛋端观察不充分，构成了全表面检测的物理瓶颈（Lawrence et al., 2008）。多摄像头配置改善了几何形状复杂农产品的表面覆盖（Zou et al., 2010），但增加视角也会加剧上述决策融合问题。这些观察促使我们在决策之前汇总证据，而非分别对每个视角进行决策后组合。多实例学习（MIL）提供了一种弱监督替代方案：将多视角图像组织为实例包，仅使用样本级二分类标签进行包级预测（Ilse et al., 2018）。这种基于包的公式非常适合多视角设置，并已在工业表面缺陷检测（Xu et al., 2024）、谷物质量分析（Ezard et al., 2025）以及复杂纹理背景下的缺陷定位（Villegas-Jaramillo & Orozco-Alzate, 2023）中得到验证。然而，MIL性能严重依赖于特征提取器的质量（Wong et al., 2025）。当标注训练数据有限，有监督预训练可能无法为细粒度表面缺陷检测提供足够可迁移的表示时（Cui et al., 2018），自监督视觉基础模型如DINOv2（Oquab et al., 2024），在大规模无标注数据上进行预训练，提供了更鲁棒且可泛化的替代方案。本研究提出了一种与在线成像系统集成的视角感知多实例学习（VA-MIL）框架，该系统在五个工位各采集三个视角。主要贡献如下：（1）受15个视角预测使用否决规则组合时蛋级误报率放大的实测结果启发，将在线多视角蛋壳检测建模为蛋级弱监督MIL问题。（2）成像系统与实例包表示联合设计，在覆盖全壳表面的同时保留每个观测值对应的工位和视角信息。该设计使蛋级决策可追溯到具体视角供操作员复核，并支持无需裂纹边界框的空间归因。（3）在1,887枚蛋的28,305张图像上与十个基线进行对比评估，对象检测器在相同标注时间预算下进行比较，并在共享协议下与五种MIL聚合方法对比，同时进行计算效率和可解释性分析。## 章节摘要### 在线图像采集系统开发了一套用于蛋壳全表面无损检测的在线图像采集系统。如图1a所示，该系统由可编程逻辑控制器（PLC，A1）用于同步触发、工业电脑（A2）用于数据管理、多摄像头照蛋成像模块（A3）以及基于滚轮的传送带（A4）用于蛋的输送和控制旋转组成。系统的处理吞吐量约为每小时5,000枚。五个成像工位（A–E）依次排列。### 所提出VA-MIL框架的性能在2.7节所述的实验设置下，VA-MIL在测试集上达到98.66% ± 0.78%的准确率、98.57% ± 0.83%的F1分数、98.74% ± 0.79%的精确率和98.45% ± 0.97%的召回率。这些结果表明，所提出的框架实现了高精度的蛋级裂纹分类。在代表性运行中（种子42），PR曲线得到AP为1.0000（图4a），表明在该测试集上裂纹类别在所有阈值下完全可分，混淆矩阵……### 结论本研究提出了一种用于在线蛋壳裂纹检测的硬件-软件框架，将三视角×五工位照蛋系统与弱监督VA-MIL相结合。通过从完整的实例包形成单一决策，该框架避免了当独立视角预测通过否决规则组合时观察到的蛋级误报率放大现象。仅使用蛋级标签，模型对每枚蛋聚合15个观测值，在28,305张图像上达到98.66% ± 0.78%的蛋级准确率。### CRediT作者贡献声明**谢立娟：** 写作–审阅与编辑、可视化、监督、方法学、资金获取、概念构思。**费正昊：** 写作–审阅与编辑、监督、方法学、概念构思。**孙智中：** 写作–审阅与编辑、方法学。**严帆峰：** 写作–初稿、可视化、验证、方法学、调查、数据整理、概念构思。**杨立军：** 资源、调查、概念构思。**陈浩宇：** 资源、调查。### 利益冲突声明作者声明以下潜在利益冲突：谢立娟是专利申请号202610486602.5的发明人，该专利申请尚在审批中，已转让给浙江大学。所有其他作者声明，他们不存在已知的可能影响本论文所报告工作的竞争性财务利益或个人关系。### 数据可用性数据可按需提供。### 资金支持我们衷心感谢中国国家重点研发计划（编号：2024YFD2000902）的资金支持。### 利益冲突声明作者声明以下可被视为潜在利益冲突的财务利益/个人关系：谢立娟有专利申请#202610486602.5尚在审批中，已转让给浙江大学。若存在其他作者，他们声明不存在已知的可能影响本论文所报告工作的竞争性财务利益或个人关系。严帆峰 | 孙智中 | 张明明 | 陈浩宇 | 杨立军 | 费正昊 | 谢立娟