基于自适应RGB–VNIR光谱融合的加拿大野米籽粒无损品质检测方法研究

《Frontiers in Plant Science》：Adaptive RGB–VNIR spectral fusion for non-destructive quality assessment of Canadian wild rice kernels

　　

摘要 引言： 加拿大野米籽粒在采后阶段呈现出多样化的变异，包括破碎、变色、虫害损伤以及脱壳不完全，这使得准确且无损的分类对于筛选和分级至关重要。然而，RGB成像可能不足以区分具有细微或重叠视觉特征的籽粒，而可见光–近红外（VNIR）光谱虽能提供互补信息，但包含大量冗余。此外，基于直接拼接或固定权重的传统多模态融合策略难以自适应地适应样本在模态贡献上的特异性差异。 方法： 为解决上述局限，本研究提出了一种轻量级RGB–VNIR双模态融合框架，用于加拿大野米籽粒的细粒度品质类别分类。研究采用坐标注意力增强的MobileNetV3-Small（CA-MobileNetV3-Small）提取空间表型特征，同时采用一维Ghost残差网络–压缩激励模块（1D-GhostResNet-SE）对连续的VNIR光谱响应进行建模。进一步引入跨模态贡献感知重校准融合头（CMCR-FH），以自适应地调控两种模态的贡献。该框架在来自八个类别的2,048个配对RGB–VNIR样本上，采用分层五折交叉验证进行了评估。 结果： 该框架实现了98.68% ± 0.22%的平均准确率和98.69% ± 0.22%的宏F1分数（Macro-F1），相较于基线模型分别取得了4.93和4.97个百分点的数值提升，同时仅需1.236 M参数和63.537 M乘加运算（MACs）。消融实验表明，视觉特征增强、轻量级光谱表示以及样本自适应多模态融合均具有互补性贡献，其中CMCR-FH在所评估的组件中产生了最大的数值性能增益。Grad-CAM++和SHAP分析进一步表明，该模型联合利用了可见表型异常和类别依赖的光谱响应模式进行判别。 讨论： 这些结果表明，将互补的RGB与VNIR信息与样本自适应融合相结合，可以在保持低计算复杂度的同时提升细粒度品质类别分类性能。所提出的框架在分类准确率、计算效率和可解释性之间实现了有效平衡，为加拿大野米籽粒的多模态采后品质类别分类与分级提供了一种有前景的方法。

基于RGB–VNIR双模态自适应融合的加拿大野米籽粒无损品质检测研究解读

一、研究背景与问题提出

加拿大野米（Zizania palustris）是一种营养价值高且具有可观商业潜力的特色水生谷物。籽粒完整性和外观特征是采后储存前品质评估及批次管理的关键属性。在收获、干燥、脱壳和运输过程中，机械应力、虫害侵染和品质劣变可能导致籽粒破碎、虫害损伤和异常变色，脱壳状态的差异还会进一步增加批次内部的成分异质性。这些异常不仅损害野米的视觉品质和商业价值，也增加了储存前筛选、批次级品质评估及后续加工的复杂性。因此，快速识别呈现不同品质状况的籽粒，对于维持储存野米批次的一致性和提升采后品质管理效率至关重要。

目前，加拿大野米的储存前品质检验主要依赖人工目视评估。然而，该方法可靠性易受操作人员经验、光照条件、籽粒朝向和缺陷显著性的影响。具有细微变色、局部机械破碎或虫害损伤的籽粒往往仅呈现微小的表型差异，在人工检验中极易被误分类或漏检。因此，需要一种能够联合表征籽粒外观与光谱响应的客观、快速且无损的检测方法。

高光谱成像能够捕获连续波长范围内的反射信息，为区分外观相似但组织特性或化学成分不同的样本提供了有效手段。已有研究证实了高光谱信息在种子品种鉴定和品质评估中的有效性，但高维光谱数据固有的冗余性和处理复杂性可能损害计算效率并限制模型泛化能力。RGB机器视觉成本低、采集快，但判别信息主要来源于可见表型特征，对于颜色差异细微、局部损伤或纹理模式相似的类别，单独使用RGB信息可能不足以充分表征潜在品质差异。RGB图像与光谱数据在信息表征上天然互补，多源信息融合已被证明能够提升复杂农产品识别任务的准确性和鲁棒性。然而，现有研究主要集中于品种鉴定、种子活力评估、生活力检测和地理来源认证，而对多种采后缺陷类别的同步细粒度识别研究相对不足。

加拿大野米籽粒形态细长，表面着色、脱壳状态和局部缺陷特征变异性大，不同品质类别间特征重叠显著。同时，专门针对加拿大野米储存前品质评估的配对RGB–VNIR数据集仍较稀缺。由于RGB空间表征与VNIR光谱特征在维度、特征尺度和类别特异性判别贡献上差异显著，基于直接拼接或固定权重的传统融合策略可能无法充分利用两种模态的互补信息。为此，本研究采用公开的加拿大野米籽粒配对RGB–VNIR多模态数据集，开发了一种双模态品质识别模型，自适应整合外观空间表征与波长依赖的光谱特征，实现正常籽粒与多种缺陷类别的无损判别。

二、研究内容与主要技术方法

研究人员构建了一个轻量级RGB–VNIR双模态融合框架，由增强视觉编码分支、轻量级光谱编码分支和跨模态贡献感知融合模块组成。RGB分支采用坐标注意力增强的MobileNetV3-Small（CA-MobileNetV3-Small）提取空间表型特征；VNIR分支采用集成Ghost Conv1D、一维压缩激励注意力（SE Attention 1D）和残差连接的轻量级1D-GhostResNet-SE编码器建模连续光谱响应；融合阶段引入跨模态贡献感知重校准融合头（CMCR-FH），通过轻量贡献估计网络为每个样本动态预测两个归一化的模态贡献系数，对模态特征进行重校准后拼接融合。数据集包含来自加拿大四个省份的2,048个配对RGB–VNIR样本，涵盖八个品质类别，每类256个样本，采用采集图像级分组的固定分层五折交叉验证方案评估模型泛化性能。RGB分支使用与配对子集无关的13,952个非配对RGB籽粒图像进行任务特异性预训练。

三、研究结果

3.1 对比实验

研究人员通过控制实验确定了最终模型的RGB骨干网络、VNIR编码器和多模态融合策略。对于RGB分支，改进的MobileNetV3-Small取得了最高的平均准确率和宏F1分数，同时将参数量从1.650 M降至1.034 M，表明紧凑投影结构和坐标注意力在不显著增加模型复杂度的情况下改善了特征表征。对于VNIR光谱建模，1D-GhostResNet-SE取得了最高的平均准确率和宏F1分数以及最小的折间变异，表明残差学习、Ghost特征生成和通道级重校准的组合能有效提取一维光谱数据中的判别信息。在两种模态编码器固定后，CMCR-FH的准确率为98.68% ± 0.22%，宏F1为98.69% ± 0.22%，比静态加权求和融合在两个指标上均数值高出1.07个百分点，且参数和MACs仅小幅增加，表明性能增益主要归因于自适应模态贡献重校准而非模型容量增加。

3.2 关键组件消融实验

为评估Ghost-SE、CA-MobV3S和CMCR-FH三个组件的贡献，研究人员构建了八种配置（A0–A7）。完整模型A7取得了最高的数值准确率和宏F1分数，分别为98.68% ± 0.22%和98.69% ± 0.22%，较基线A0分别提升4.93和4.97个百分点。三个组件均与数值性能提升相关，其中CMCR-FH产生了最大的单项数值增益，且从完整模型中移除时性能下降最大。A7还表现出最低的折间变异和略低于A0的计算复杂度，表明三个组件具有互补贡献且未增加模型规模。

3.3 五折交叉验证结果

完整模型在各折的准确率范围为98.53%至99.02%，均值为98.68%，标准差为0.22%，0.49个百分点的窄范围表明模型在五个验证分区上表现一致。基于五折外预测汇总的混淆矩阵显示，2,048个样本中有2,021个被正确分类，27个被误分类。最常见的错误发生在虫害损伤与健康–大粒之间，以及破碎–高与未脱壳之间，各有五个样本。训练和验证准确率在前20个epoch快速上升后逐渐改善，最终分别收敛至约99%和98%以上，表明训练过程稳定收敛且无明显过拟合。

3.4 RGB分支的空间可解释性

研究人员采用Grad-CAM++可视化坐标注意力层的空间响应，结果显示模型能够聚焦于籽粒的判别性局部区域，如缺陷部位和形态特征区域。

3.5 VNIR光谱的可解释性分析

SHAP GradientExplainer分析表明，不同品质类别依赖于不同的光谱响应模式，模型联合利用了可见表型异常和类别依赖的光谱特征进行判别。

3.6 模态贡献权重分析

研究人员对CMCR-FH生成的模态贡献权重进行了可视化分析，结果表明模型能够根据样本特性自适应调整RGB和VNIR模态的相对贡献。

四、讨论与结论

研究结果表明，将互补的RGB和VNIR信息与样本自适应融合相结合，能够在保持低计算复杂度的同时提升细粒度品质类别分类性能。所提出的框架在分类准确率、计算效率和可解释性之间实现了有效平衡。该框架仅需1.236 M参数和63.537 M MACs，即可实现98.68%的平均准确率，为加拿大野米籽粒的多模态采后品质类别分类与分级提供了一种有前景的方法，也为其他农产品的外观–光谱联合无损检测提供了方法论参考。