使用零样本学习和计算机视觉检测干枸杞中颗粒级变质掺假

《Foods》：Detection of Kernel-Level Spoilage Adulteration in Dried Goji Berries Using Zero-Shot Learning and Computer Vision

　　

本研究开发了一种高通量方法，用于干枸杞中颗粒级变质掺假的定量检测。该方法解决了密集排列干果图像处理中的三个实际挑战，包括无需像素级手动标注的可扩展标签生成（用于深度学习分割）、密集接触小颗粒的分离，以及全尺寸质量等级分布图的重建。研究人员采用SAM辅助的伪标签生成结合多尺度图像裁剪，克服了手动像素级标注的限制；同时进一步采用基于YOLO的实例分割（Instance Segmentation），用于密集场景中枸杞的高效定位。通过统计RGB-HSV分级规则，为分割后的单个枸杞分配新鲜度标签。具体而言，采用自适应多尺度图像裁剪进行分割，以改善密集粘连和遮挡条件下枸杞的局部可分离性。裁剪级分割和分级输出随后被重建到原始图像坐标系中，以生成完整的质量分布图。结果表明，基于伪标签训练的YOLO模型实现了精确率（Precision）0.953、召回率（Recall）0.951、mAP50（mean Average Precision at IoU 0.5）0.960以及mAP50-95（mean Average Precision across IoU thresholds 0.5 to 0.95）0.846。全尺寸分级图重建方法产生的平均重复抑制率为4.31%。在完整新鲜度分级测试数据集中，检测到4850颗枸杞，包括449颗变质枸杞。平均绝对计数误差为1.61%。所提出的框架减少了手动标注需求，同时实现了枸杞颗粒级新鲜度分类和变质枸杞比例定量估计，为干果质量筛选和掺假控制提供了客观信息。

**论文解读：基于零样本学习与计算机视觉的干枸杞颗粒级变质掺假检测方法**

**研究背景与问题**
枸杞作为高附加值作物，在食品、保健品等领域应用广泛，其市场价值高度依赖外观性状（如色泽、光泽、完整性及表观新鲜度）。新鲜度相关的视觉特征直接影响消费者接受度、商业分级及定价。然而，在包装阶段，变质枸杞（stale berries）常因无意混入或人为掺假而混入新鲜批次。与破损、霉变等明显缺陷不同，变质枸杞通常保留完整形态，仅表现为光泽减退、颜色变暗等细微变化，肉眼难以识别。传统质量评估依赖人工目检或批次级理化分析（如化学检测、光谱法），但人工方法主观性强、效率低，仪器方法需样品制备且成本高，更重要的是，这些方法仅提供批次级结果，无法定位变质枸杞及其数量。因此，亟需一种能够实现枸杞颗粒级定位与新鲜度分类，并定量估算批次中变质枸杞比例的方法，以支持更精准的质量控制。

**研究内容与结论**
本研究提出了一种基于计算机视觉的高通量检测框架，用于干枸杞中隐蔽变质掺假的识别。该框架整合了自适应多尺度裁剪、SAM（Segment Anything Model）辅助伪标签生成、YOLO实例分割（Instance Segmentation）以及基于RGB-HSV统计颜色特征的新鲜度分级，实现了枸杞颗粒级检测、新鲜度分类和变质比例估计。研究通过自适应裁剪策略改善密集场景下的枸杞分离，并通过重建流程修正裁剪边界导致的碎片化预测，生成完整的质量评估分布图。实验结果表明，基于伪标签训练的YOLO模型在密集场景下取得优异分割性能：精确率（Precision）0.953、召回率（Recall）0.951、mAP50（平均精度均值，IoU阈值0.5）0.960、mAP50-95（IoU阈值0.5~0.95）0.846。全尺寸分级图重建的平均重复抑制率为4.31%，平均绝对计数误差为1.61%。在30幅最终评估图像中，共检测4850颗枸杞，其中变质枸杞449颗，平均变质比例为9.26%。该框架将颗粒级分类结果转化为可解释的变质比例指标，为干果质量筛选和掺假控制提供了非破坏性、可量化的客观信息。论文发表在《Foods》期刊。

**主要关键技术方法**
本研究采用以下关键技术方法：（1）自适应多尺度裁剪策略：通过递归裁剪原始全尺寸图像，直至当前裁剪尺度下SAM生成的目标实例数满足阈值条件（T>1且T<10），从而增大局部枸杞相对尺寸，改善密集粘连场景下的分离性。（2）SAM辅助伪标签生成：将裁剪后的子图像输入SAM自动生成实例遮罩（mask），经几何过滤后转换为YOLO兼容的标注格式，用于训练实例分割模型，实现零样本标注。（3）YOLO实例分割模型训练：使用伪标签训练Ultralytics YOLO系列模型（yolov8n-seg、yolo11n-seg、yolo26n-seg），完成枸杞颗粒级定位与遮罩生成。（4）RGB-HSV统计颜色分级：基于99幅校准图像提取正常与变质枸杞的H、S、V、R、红绿对比度、亮度等颜色特征，通过统计相关性分析确定核心变量（H、V、R、归一化红绿对比度、亮度）及权重（0.5、3.5、3.5、2.0、2.0），设定正常类决策阈值2.5，为每个YOLO检测到的枸杞区域计算颜色相似度并分类。（5）新鲜度分级图重建：对裁剪子图像的分割与分级结果进行坐标映射，通过碎片过滤（基于相对面积阈值）、边界投影重叠匹配、中心距离约束等规则，将跨裁剪边界的碎片归并为同一枸杞，并采用保守标签融合（一票否决）确定最终新鲜度标签，生成全尺寸分布图。样本来源：正常枸杞（宁夏供应商，鲜红色）、变质枸杞（市售产品开封后室温储存约两年）。

**研究结果**
**3.1 自适应多尺度裁剪与SAM辅助分割输出**
直接对全尺寸图像应用SAM时，密集场景下枸杞间严重粘连，导致实例合并、边界重复检测和局部漏检。自适应多尺度裁剪策略通过逐步缩小裁剪尺度，使单颗枸杞像素占比增加，局部分离性提升。实验表明，在1/16尺度下，实际枸杞计数与检测计数比值（N_d/N_m）接近1，分割准确性最优；进一步缩小至1/64虽未明显改善，但增加了计算成本。该策略共生成29,766个候选遮罩，经几何过滤后作为伪标签用于YOLO训练。随机5%样本手动检查显示，SAM对裁剪子图像的分割结果在密集场景下具有更高的定位准确性和实例分离性。

**3.2 基于伪标签微调的YOLO模型**
使用伪标签训练不同版本YOLO分割模型，所有模型均取得良好性能（mAP50>0.94）。其中YOLO11n-seg表现最佳：精确率0.953、召回率0.951、mAP50=0.960、mAP50-95=0.846。在1/8尺度裁剪子图像上，SAM和YOLO均能生成清晰实例边界；在1/4尺度下，SAM无法识别任何枸杞，而YOLO模型由于训练时通过数据增强（随机缩放）学习了多尺度特征，仍能实现较好分割。自适应多尺度预处理进一步提升了密集场景下的分割稳定性，通过坐标映射和合并减少了重复检测。

**3.3 单颗枸杞新鲜度分级与批次级混合比例估计**
YOLO定位后，基于颜色统计规则进行新鲜度分级。在重建输出中，共计数4850颗枸杞（正常4401颗，变质449颗），平均变质比例9.26%。颜色特征分析显示，正常枸杞的饱和度、亮度、V值及红色主导性均显著高于变质枸杞：图像级平均V值从112.78降至62.55，平均亮度从67.16降至42.22。重建后平均计数从182.46降至173.21，平均重复抑制率4.31%；变质比例在重建前后保持稳定（9.90% vs. 9.26%）。平均绝对计数误差为1.61%，说明与人工计数高度一致。

**讨论与结论**
**讨论部分总结**：本研究提出的框架相比传统批次级检测和既往视觉方法，更适用于隐蔽变质掺假检测。其优势在于：将标注生成、定位与新鲜度分级分离，降低人工标注成本；自适应裁剪提升了密集小目标场景的鲁棒性；重建与空间融合有效抑制了重复检测；基于RGB-HSV统计特征的分级规则具有可解释性，正常枸杞更高亮度和红色响应与人类视觉感知一致；支持批次级变质比例定量估计。在实践应用中，检测结果可为批次分级、自动分拣（如真空吸除）提供信息源。局限性包括：仅在受控二维成像条件下验证，未涵盖复杂工业环境中的堆叠、遮挡；数据集仅含预设正常与变质样本，未来需扩展至更多来源和储存条件；颜色分级依赖手动特征选择与固定阈值，需探索自适应策略；当前仅基于计数评估，需建立与质量标准的关联。未来工作应验证框架在复杂工业条件下的鲁棒性，并整合光谱或理化指标以完善评估。

**研究结论翻译**：本研究开发了一种基于视觉的工作流程，用于检测密集排列干枸杞中隐蔽的变质掺假。通过整合自适应多尺度裁剪、SAM辅助伪标签生成、枸杞颗粒级定位和RGB-HSV统计分级，该工作流程实现了单颗枸杞检测、新鲜度分类和变质比例估计。自适应裁剪策略改善了密集场景下的枸杞分离，而重建流程修正了碎片化预测并生成了完整的质量评估图。该方法取得了可靠的检测与分级性能，mAP50达到0.960，平均绝对计数误差为1.61%。更重要的是，颗粒级分类结果被转化为定量的变质比例，为评估干枸杞样品质量状况提供了可解释的指标。因此，该工作流程为包装和销售前的质量筛选提供了一种非破坏性、可解释的方法。未来研究应在更复杂的工业条件下验证该框架，并探索额外的视觉或光谱信息以提高鲁棒性。