编辑推荐:
准确的种子识别对种子质量评估、检疫检验、种质资源保存及相关应用至关重要。在人工智能(AI)的推动下,计算机辅助种子图像分析近数十年来发展迅速。然而,该领域仍存在技术碎片化问题,可用的开源资源与大规模基准有限。为解决该问题,研究人员构建了OpenSeed-LZU
准确的种子识别对种子质量评估、检疫检验、种质资源保存及相关应用至关重要。在人工智能(AI)的推动下,计算机辅助种子图像分析近数十年来发展迅速。然而,该领域仍存在技术碎片化问题,可用的开源资源与大规模基准有限。为解决该问题,研究人员构建了OpenSeed-LZU,这是一个包含超过300,000张图像、涵盖656个物种的大规模数据集,主要代表来自中国西北部的种子多样性。利用该资源,研究人员训练并评估了14个分属三个计算能力级别的深度学习模型。最优模型在物种级识别中分别取得89.75%(从头训练)和91.79%(预训练)的准确率。模型采用裁剪级(crop-level)数据集划分训练,其性能应被视为在标准化实验室成像条件下获得的基准上限。研究人员进一步在五种硬件设备上对推理吞吐量进行基准测试,为部署决策提供参考。随后,开发了OpenSeed,这是一款用户友好、跨平台的应用程序,可在标准化实验室成像条件下为研究和教育目的实现快速种子识别。在所评估的架构中,本研究为高通量种子表型分析(high-throughput seed phenotyping)提供了可靠基准。本研究旨在建立种子图像分析的开源生态系统,从而加速人工智能在种子科学中的应用。
一、研究背景与问题提出
种子是农业生产的基本物质基础,对粮食安全具有重大影响。种子纯度(seed purity,指种子批次中目标物种种子所占比例)是决定植物生产用种质量的核心因素,混杂其他作物会降低产量与经济效益。种子识别与统计是种子纯度检测的首要环节,支撑种子质量检测、种子库、种质资源保存与种子萌发等应用。传统种子识别依赖显微镜辅助的视觉分类,要求操作人员高度熟练,且过程费时、主观性强。近年来,人工智能驱动的计算机视觉(CV)与机器学习(ML)种子图像识别研究虽取得长足进展,但多数研究局限于自建数据集,仅覆盖数种至数十个物种,数据集封闭,可比性与可复现性差;少数研究虽覆盖超过100个物种,但数据集仍未公开。数据、算法与算力同为现代机器学习的基石,而种子识别领域缺乏高质量、大规模、通用性数据集,限制了数据驱动深度学习方法及多模态大语言模型(LLM)在种子领域的进展。因此,构建开源数据集并开发适配不同算力场景的模型,对推动计算机辅助种子识别具有重要意义。
二、主要研究内容与结论
研究人员围绕四项相互衔接的贡献开展工作:构建开源大规模数据集OpenSeed-LZU(超过300,000张RGB图像、656个物种、339属、54科,主要来自中国西北部);对六类共14个代表性深度学习(DL)架构(ResNet、MobileNetV4、MobileViTv2、Vision Transformer(ViT)、Swin Transformer、ConvNeXt)进行系统基准测试,按计算需求分为三个规模层级;基于MNN推理框架评估五种硬件平台的部署可行性;并开发跨平台应用OpenSeed作为技术示范。研究得出:Swin-T以89.75%的准确率最优,预训练使最优模型ViT-B/16达到91.79%,最紧凑模型MNv4-Conv-S以超过86%的准确率证明其边缘推理适用性,为高通量种子表型分析提供了可靠基线,奠定了人工智能驱动种子科学的开放基础。
三、关键技术与方法
研究方法包括:基于VideometerLab多光谱成像系统采集种子图像并经Python脚本批量导出为RGB图像;采用融合OpenCV、Segment Anything与EdgeSAM的半自动化标注平台构建单种子图像数据集,以逆概率加权(IPW)损失应对长尾分布;选取ResNet、Vision Transformer(ViT)、MobileNetV4、MobileViTv2、Swin Transformer与ConvNeXt六类共14个深度学习模型,按参数量分为小、中、大三个计算层级,采用AdamW优化器与线性预热—保持—余弦退火学习率调度统一训练,并采用早停策略(最小验证准确率变化1.0×10
-4);基于MNN推理框架在五种硬件平台测试推理延迟与内存占用。样本队列为2015—2022年采自中国西北部甘肃、西藏、青海、新疆、内蒙古五省区、经两名分类学专家交叉验证物种身份的种子。
四、研究结果
(一)数据集描述。通过OpenSeed-LZU的构建与统计分析得出:数据集涵盖656个物种、339属、54科,豆科与禾本科分别占27.9%与25.6%,合计超过样本总量一半;Astragalus laxmannii样本量最大(8,352),64.18%的物种样本量介于100—500之间;IPW损失在三种骨干网络的长尾策略中表现最一致且能扭转宏微观差距,被选为本研究的重加权方法。
(二)从头训练与预训练模型性能。通过三层级模型的统一训练与评估得出:小规模模型从头训练平均准确率86.57%,预训练后提升至89.01%;中规模分别为86.73%与89.27%;大规模模型从头训练准确率介于82.12%至89.75%,Swin-T最优,预训练后ViT-B/16以91.79%居全场最高,14个模型中12个因预训练获得提升。
(三)误分类模式。通过混淆矩阵分析得出:错误主要集中于同属或同科近缘种,Zoysia sinica平均召回率仅17.05%,Gentiana macrophylla为20.75%,Zoysia sinica与Zoysia japonica最常被误判为Lolium perenne;预训练未解决同属种间混淆,Carex parvula仍几乎全部(74%)误判为同属的Carex pseudosupina,表明误差主要由分类学相似性与RGB图像局限共同驱动。
(四)OpenSeed应用。通过基于Dart语言与Flutter框架开发的跨平台应用得出:应用包含主页、探索页与设置页,支持拍照或选择图像推理,可配置计算后端、线程数与top-k等推理参数,并提供物种详情与外部链接,作为未来人工智能种子识别与边缘推理系统的技术示范。
五、讨论部分总结
讨论从计算成本角度解释模型表现:MobileViTv2引入可分离自注意力仍不如纯卷积网络高效,Swin Transformer以滑动窗口兼顾全局感受野与低计算成本,故优于同规模ConvNet;模型规模增大带来的准确率收益趋于平台化,资源受限场景推荐MobileViTv2-1.0与MNv4-Conv-S,高性能场景推荐Swin-T与ResNet-50;经典ResNet-50表现优异归因于长达200个训练轮次的精细学习率调度,而ViT-B/16因Transformer缺乏归纳偏置且数据集相对偏小而表现欠佳。XGrad-CAM(梯度加权类激活映射)分析显示,预训练使激活更集中于种体、轮廓或种脐区域,改善了种子区域定位,但未解决种间混淆,模型对属级、科级结构的编码比种级区分更可靠。长尾分析表明稀有物种并非主要误差来源,常见物种贡献了44.40%的错误;预训练未特异性地惠及尾部物种,单纯重加权或重采样的长尾策略对总体准确率影响有限,更有效方案需结合类平衡目标与针对困难常见类的方法。边缘推理测试显示MNv4-Conv-S延迟最低(RTX 3080Ti上仅1.5 ms),可部署于RK3588单板计算机,ViT-B/16内存占用约700 MB,内存与延迟须联合评估;MNN模型转换仅造成平均-0.69%的准确率损失,预训练还提升了额外小型数据集上的跨数据集泛化能力。研究同时指出域泛化局限:全部图像在受控光照、距离与背景下采集,报告准确率为成像条件下的上限,移动端随手拍性能未经验证;数据集以西北部物种为主,跨区域、跨科泛化需谨慎;裁剪级划分未满足亲本图像级独立性,建议未来数据集采用亲本图像或时段级划分。
六、研究结论部分翻译
本研究构建了OpenSeed-LZU,这是一个包含656个物种(主要来自中国西北部)及超过300,000份种子样本的大规模、完全开源区域性基准,旨在为种子科学界开发、比较和部署深度学习分类器提供标准化测试环境。基于该数据集,研究人员训练并评估了14个涵盖卷积神经网络(CNN)与Transformer架构的当代深度学习模型。比较分析表明,Swin-T以89.75%的总体准确率取得优越性能,ResNet-50配置达到88.75%的有竞争力的准确率;最紧凑的变体MNv4-Conv-S在评估模型中取得超过86%的准确率,证明其适用于本基准范围内资源受限设备的边缘推理。需要说明的是,所报告的准确率是在标准化实验室成像与裁剪级划分下获得的上限,仅在有限条件下表征性能,不应解读为对完全独立样本的泛化。此外,对模型应用迁移学习带来0.19%至9.67%的准确率提升,最优预训练模型达到91.79%的准确率,适用于广泛场景;推理延迟基准测试证实,在受测轻量级模型中MNv4-Conv-S对单板机与嵌入式计算机的部署具有显著潜力,而最高准确率模型适用于高性能或云计算环境。