基于智能手机图像的深度学习技术用于快速检测麦芽麦芽根及发芽评估

《Microchemical Journal》：Smartphone image-based deep learning for rapid malt acrospire detection and germination assessment

　　**摘要**- 基于智能手机的深度学习流程，可在2至3分钟内快速估算麦芽幼穗。- HTC在边界框检测（AP?? = 0.848）和种子分割（AP?? = 0.836）方面表现最佳。- Mask R-CNN + Swin Transformer在幼穗掩膜方面表现最佳（AP?? = 0.818）。**引言**麦芽是酿造中的关键原料，因为它提供了可发酵底物以及重要的香气、色泽和风味前体物质[1]。在发芽过程中，幼穗在大麦粒内发育，是麦芽修饰度和发芽均匀度的实用视觉指标[2]。在工业制麦中，通常使用幼穗长度与麦粒长度的比值将麦芽粒分为不同的发育类别，一般包括0–1/4、1/4–1/2、1/2–3/4、3/4–1以及过度生长（>1）。由于天气和季节变化会严重影响发芽速率，因此需要密切监测发芽过程以支持工艺控制和产品质量[2]。传统评估依赖于对单个麦粒的人工目视检查，速度慢、枯燥且受操作者主观因素影响。根据实际工业检测经验，对100粒样本进行计数和分类可能需要长达30分钟。计算机视觉和深度学习，尤其是卷积神经网络（CNN）和现代目标检测框架的最新进展，为自动化视觉密集型农业和食品加工任务创造了机遇。例如，Zidi等人[3]综述了使用高光谱成像进行小麦作物分析的深度学习应用，涵盖了用于病害检测和产量估测的CNN、Transformer和Mamba。Gul等人[4]证明，将深度学习与高光谱成像相结合可实现食品质量和安全的快速评估，包括感官特性、掺假和微生物污染。除高光谱成像外，Tosun和Eryi?it[5]表明，仅使用RGB图像和形态学特征的CNN可以预测秋葵、茄子和番茄种子的发芽情况，加权F1值达到0.93，表明视觉特征本身具有强预测信息。Singh等人[6]进一步开发了基于轻量级CNN的移动应用程序，从显微图像中实时识别植物寄生和昆虫致病原线虫，准确率超过98%，证实了深度学习可有效用于便携式设备上的农业诊断。智能手机成像在工业应用中尤其具有吸引力，因为它成本低、便携且易于部署。以往的研究已经证明了机器视觉和深度学习在大麦种子分类、品种鉴定、种子检测和发芽相关评估方面的可行性。Ramirez-Paredes和Hernandez-Belmonte[7]使用颜色、形状和纹理描述符结合非线性支持向量机（SVM）分类器对酿造大麦进行视觉质量评估，F1分数超过0.999。Pilarska等人[8]将多层感知机（MLP）型神经网络应用于特定酿造大麦品种的分类，分类准确率为0.967。Koz?owski等人[9]扩展了这一研究方向，开发了一种用于大麦粒分析的专用CNN架构，在缺陷和品种分类中达到94%的准确率，超越了使用迁移学习的ResNet和AlexNet。Shah等人[10]使用迁移学习和特征融合对14个商业品种进行分类，准确率达94%。Shi等人[11]应用YOLOv5x6在单个iPhone图像中检测多个大麦种子，平均精度（mAP）达到97.5%。Genze等人[12]采用Faster R-CNN检测三种谷物作物的发芽状态，实现了发芽指数（如平均发芽时间和发芽不确定性）的自动计算。然而，这些研究均未涉及幼穗与种子长度比值的估算，这需要一个多阶段流程，包括种子实例分割、背腹面分类和幼穗区域检测。基于幼穗长度的麦芽检测与这些任务不同，因为它需要在同一工作流中做出多个相互依赖的视觉判断。首先必须从样本图像中分离出单个麦粒，必须排除腹面朝上的麦粒，因为从该面无法观察到幼穗，必须将幼穗区域从视觉上相似的种子背景中分离出来，然后在样本层面估算幼穗与种子长度比值。据我们所知，基于智能手机图像的深度学习对该比值的估算研究仍然不充分。这使得该问题比单纯的种子分类或对象检测更为复杂，也凸显了需要专用多阶段工作流的重要性。在实际制麦操作中，幼穗评估不仅用于判断当前的修饰程度，还用于支持工艺调整和批次间质量控制。一种更快速、更客观的检测方法可以允许制麦师更频繁地监测发芽进展，并更早地应对异常发育模式。因此，基于图像的幼穗评估的开发不仅在技术层面具有重要意义，在工业过程监测和决策支持方面也具有相关性。从智能手机图像中自动估算幼穗发育仍然面临若干挑战。首先，幼穗部分被种皮覆盖，在没有适当样本制备的情况下并不总是清晰可见。其次，样品图像中麦粒的方向是随机的，意味着并非所有麦粒都呈现可以观察幼穗的背面。第三，光照、反光、曝光和背景外观的变化可能进一步干扰可靠的幼穗检测。此外，样品中种子的密集排列和部分重叠可能降低种子分割质量，并将误差传递到后续处理步骤。这些因素使得在实际检测条件下难以进行大规模、客观的幼穗评估。本研究旨在开发和评估一种基于智能手机图像的深度学习流程用于麦芽幼穗评估。具体目标为：(1) 从样本图像中检测单个麦粒；(2) 识别适合幼穗分析的背面朝上麦粒；以及(3) 检测幼穗区域并估算幼穗与种子长度比值用于最终分类。所提出的工作流将这些步骤整合在一起以实现快速的样本级检测，同时仍允许对每个组件进行单独评估。这种方法是有用的，因为流程中各环节的失效模式不同：种子检测主要受重叠和裁剪质量影响，方向分类受可见表面特征影响，幼穗分析受弱对比度和边界模糊性影响。**章节摘要****模型流程图**本研究使用的模型流程如下。首先，使用实例分割模型进行种子检测。该模型产生原始图像中麦粒的边界框和掩膜，这些输出用于裁剪单种子图像以供后续阶段使用。其次，对每个裁剪的种子图像进行分类，判断为背面或腹面。腹面朝上的麦粒被剔除，因为从该面无法可靠地检测幼穗。第三，第二个实例……**种子检测结果**使用分割掩膜平均精度（AP）来评估种子检测模型，因为后续流程步骤需要由预测掩膜生成的单种子图像。采用ResNet50骨干网的Mask R-CNN和采用Swin Transformer骨干网的Mask R-CNN的AP??值分别为0.756和0.769，而HTC模型达到了AP??值0.836（表1）。在本次固定运行比较中，模型间的数值差异作为观察结果呈现。尽管……**结论**本研究开发了一种基于智能手机图像的深度学习流程，通过依次执行种子实例分割、背面分类和幼穗检测来估算麦芽幼穗与种子长度比值。在收集的数据集上，HTC达到了最佳的种子分割掩膜质量（AP??为0.836），Swin Transformer在背腹面分类中达到84.19%的准确率，采用Swin Transformer骨干网的Mask R-CNN产生了最合适的幼穗掩膜（AP??……）**生成式AI在科学写作中的声明**作者声明，在本文提交之前未使用任何生成式AI进行科学写作。**CRediT作者贡献声明****谢川启（Chuanqi Xie）：** 写作 – 审阅与编辑，正式分析。**周慧杰（Huijie Zhou）：** 正式分析。**刘段（Duan Liu）：** 写作 – 原稿，调查，数据整理，概念化。**Alireza Sanaeifar：** 正式分析。**杨策（Ce Yang）：** 监督，项目管理，方法论，资金获取，概念化。**利益冲突声明**作者声明不存在已知可能影响本文所报告工作的竞争性经济利益或个人关系。**致谢**本研究由美国酿造化学家协会资助（CON000000103330）。谢川启 | 周慧杰 | 刘段 | Alireza Sanaeifar | 杨策