基于可见光与近红外光谱的双模态种子图像数据集BiSID-5k：推动农业种子分类与多模态深度学习研究

本研究针对农业种子分类中多光谱数据匮乏的问题，构建了包含10种植物种子、500个样本/类的双模态（RGB+高光谱）图像数据集BiSID-5k。研究人员采用半自动采集流程和Segment Anything Model（SAM）预处理，并基于3D-ResNet等模型验证了多光谱模态的分类优势（最高准确率达99.60%）。该数据集为研究种子光谱-形态特征提供了高质量资源，显著提升了多模态融合在农业领域的应用潜力。

　　

在农业种子生产过程中，种子质量管控一直是行业核心挑战。不仅需要满足客户需求，还需遵循国际种子检测协会（ISTA）及各国严格的法规标准。然而，传统种子分类严重依赖人工经验，面临高类别数量、高类内变异性和低类间差异性等多重难题。尤其是一些杂草种子因物种亲缘关系或瓦维洛夫拟态现象（vavilivian mimicry），在形状、大小和颜色上极为相似，使人眼鉴别极易出错。尽管深度学习在图像分类领域取得突破性进展，但现有种子数据集普遍存在样本量少、类别不平衡、缺乏多模态数据等问题，难以支撑现代卷积神经网络（ConvNet）或视觉Transformer（ViT）模型的训练需求。

为此，由Maksim Kukushkin、Martin Bogdan、Simon Goertz等人组成的研究团队在《Scientific Data》发表了题为“A bimodal image dataset for seed classification from the visible and near-infrared spectrum”的研究论文，推出了目前最大的开放双模态种子图像数据集——BiSID-5k，包含10类种子、每类500个样本，合计5000颗种子的RGB与高光谱配对图像各5000张。

为构建该数据集，研究人员设计了一套半自动数据采集流水线，使用定制化3D打印种子托盘、Raspberry Pi高清相机（RGB图像）和Resonon Pika L高光谱相机（覆盖380.96–1017.9 nm波段）。通过固定速度链传动和光电触发机制，同步采集同一颗种子的双模态图像。所有原始图像均经过人工质检与筛选，排除破损、无种皮或粘连等异常样本，并利用Segment Anything Model（SAM）完成种子分割与裁剪。RGB图像最终统一为192×192×3，高光谱数据则调整为128×128×300（空间×光谱维度）。

研究团队评估了多种特征提取与分类方法：

• •
  对RGB模态直接使用2D-ResNet（包括R18、R34、R50）；
• •
  对高光谱（HS）数据则尝试三种策略：提取5×5区域平均光谱（“光谱”模态）、每隔30或60波段采样构造多光谱（MS）图像、以及直接使用全高光谱立方体；
• •
  同时也对比了传统机器学习方法（如逻辑回归、决策树、随机森林和MLP）。

结果表明，基于多光谱（MS）的3D-ResNet-18模型表现最佳，在Step30（每30波段取1，共10个波段）和64×64或96×96空间分辨率下，准确率达99.60%，精确率、召回率和F1-score均超过99%。相比之下，高光谱全波段模型性能略低约1%，RGB模型最佳结果为98.62%（2D-R18），传统ML方法则普遍低于95%。研究还发现，在一定范围内，增加空间分辨率 consistently 提升分类性能，而光谱波段数存在“平衡点”，并非越多越好。

这些结果验证了高光谱/多光谱数据在种子分类中的显著优势，尤其是在捕捉细微光谱-空间特征方面。此外，该研究也揭示了多模态融合在农业视觉领域的巨大潜力。

BiSID-5k数据集的发布不仅为计算机视觉和农业人工智能社区提供了高质量基准数据，也为后续研究多种模态（如RGB、高光谱、多光谱与光谱特征）的融合策略打下基础。例如，未来可借鉴Weng等学者提出的多特征融合方法，或采用Kukushkin等人此前提出的双模态掩码自编码器（BiMAE）进行预训练与微调。

综上所述，BiSID-5k是目前种子分类领域中规模最大、模态最全的公开数据集，其严谨的采集流程、高质量的标注与多角度的基准验证，为种子纯度检测、物种鉴定与智慧农业系统提供了重要数据基础与方法论支持。该研究推动了多模态深度学习在农业中的应用，也为跨领域研究者提供了可扩展、可复现的资源平台。

数据集与相关代码均已公开：

• •
  数据集：https://doi.org/10.25532/OPARA-810
• •
  代码库：https://github.com/max-kuk/bisid-5k-tools