基于决策残差蒸馏的加拿大野生米RGB–VNIR跨模态无损品质分类研究

《Agronomy》：Cross-Modal Decision Residual Distillation for Non-Destructive Quality Classification of Canadian Wild Rice Using RGB–VNIR Information

　　

摘要 采后特种谷物的精准品质评估仍面临挑战，原因在于品质变异复杂且多模态传感系统的部署受限。RGB成像可提供高效的外部表型信息，而可见光–近红外（VNIR）传感则提供互补的波长依赖反射信息。然而，光谱采集的高成本与复杂性限制了多模态模型的实际应用。本研究提出一种RGB–VNIR跨模态决策残差蒸馏框架，用于加拿大野生米籽粒的无损品质识别。所提出的决策光谱残差提取器（DSRE）将VNIR信息建模为相对于RGB预测的决策级残差知识，而跨模态残差可靠性自适应（CRRA）机制则根据残差效用与可恢复性，选择性地迁移可迁移的光谱知识。在加拿大野生米籽粒八类品质类别上的实验验证了所提框架的有效性。在配对RGB–VNIR测试集（n = 384）上，基于DSRE的多模态教师模型达到97.40%的准确率，而CRRA RGB-only学生模型在同一批样本上达到94.53%的准确率，证实了VNIR信息的互补贡献。在独立的RGB-only测试集（n = 1570）评估中，CRRA学生模型达到98.60%的准确率与98.62%的宏F1分数，表明在推理阶段无需VNIR采集即可实现有效的多模态知识迁移。所提框架建立了多模态训练与单模态部署相结合的学习范式，为特种谷物的低成本、无损品质评估提供了一种有前景的解决方案。

一、研究背景与问题

加拿大野生米（Zizania palustris）是一种具有独特营养特性和显著商业价值的特种谷物，在健康食品和高端谷物市场中具有广阔的应用前景。与常规谷物相比，野生米籽粒具有独特的形态结构和感官属性，其商业品质不仅取决于营养成分和风味特征，还受籽粒完整性、色泽、成熟度及外观均匀性等多维因素影响。然而，采后加工过程中的机械应力与环境变化，如收获、干燥、脱壳、运输和储存等环节，可能导致籽粒破碎、表面损伤、脱壳状态差异、变色及虫害缺陷，从而造成批次内显著的品质变异，增加了产品分级和批次一致性控制的难度。

目前，谷物品质评估主要依赖人工目视分级和理化检测两种方式。人工分级虽可基于颜色、完整性和表观缺陷等可见特征进行快速评估，但其可靠性受操作者经验、光照条件和缺陷可见性等因素制约，尤其难以识别细微变色、局部损伤或外观相似的籽粒。理化分析虽能提供详细的成分与品质信息，但通常需要样品制备、专业设备和耗时流程，难以满足大规模快速筛查的需求。此外，单一评估策略难以全面捕捉籽粒在表观与结构完整性方面的多维差异。

从传感技术的角度，RGB成像可提供高效的外部表型信息，而可见光–近红外（VNIR）传感则提供波长依赖的反射信息，二者具有天然的互补性。尽管已有研究将多源传感与数据融合用于农产品分类、活力评估和品质评价，但多数工作集中于品种区分或单一品质属性，针对加拿大野生米批次内多种采后品质条件的细粒度识别仍缺乏系统研究。此外，光谱采集的高成本和复杂性限制了多模态模型的实际部署。因此，开发一种既能利用多模态信息的互补优势，又能在推理阶段仅依赖RGB图像的快速、客观、无损的品质评估方法，具有重要的研究价值与应用意义。

二、研究内容与意义

针对上述问题，研究人员提出了一种RGB–VNIR跨模态决策残差蒸馏框架，用于加拿大野生米籽粒品质的无损分类。该框架的核心创新在于：将VNIR信息相对于RGB预测的增量贡献建模为决策残差，并通过可靠性引导的残差迁移机制，使仅依赖RGB输入的学生模型能够部分恢复多模态学习的性能优势。研究结果表明，在配对测试集上，基于DSRE的多模态教师模型达到97.40%的准确率，而CRRA学生模型在同一批样本上达到94.53%；在独立的RGB-only测试集上，CRRA学生模型达到98.60%的准确率和98.62%的宏F1分数。这一成果建立了多模态训练与单模态部署相结合的学习范式，为特种谷物的低成本、无损品质评估提供了切实可行的技术路径。

三、关键技术方法

研究人员使用了公开的加拿大野生米RGB–VNIR多模态数据集，包含2048对配对样本，均匀分布于八个品质类别（Healthy–Large、Healthy–Medium、Discoloured–Low、Discoloured–High、Broken–Low、Broken–High、Insect-damaged、Unhulled），每类256个样本。RGB图像由佳能EOS R100数码相机在受控条件下采集，VNIR高光谱数据由Specim FX推扫式高光谱成像系统获取，经暗参考和白参考校正后保留221个波段（400.28–998.17 nm）。主要技术方法包括：采用EfficientNet-B0作为RGB编码器，提取三个不同深度的特征；设计层级门控判别融合（LGDF）模块，通过全局平均池化（GAP）与全局最大池化（GMP）的并行整合及样本自适应尺度门控机制，构建鲁棒的视觉表示；采用轻量级一维残差卷积网络（1D-ResCNN）编码VNIR光谱；提出决策光谱残差提取器（DSRE），将VNIR信息建模为相对于RGB决策的增量残差；提出跨模态残差可靠性自适应（CRRA）机制，结合残差可恢复性与正效用评估，构建可迁移的残差目标。训练采用分阶段策略，包括RGB基线训练、DSRE教师训练、五折交叉验证生成袋外（OOF）预测、残差可恢复性估计以及最终学生模型优化。

四、研究结果

单模态基线性能：在RGB模型中，EfficientNet-B0取得最高的平均准确率与宏F1，LGDF-RGB进一步将平均准确率提升至91.74%，宏F1提升至91.60%。在VNIR模型中，1D-ResCNN取得最佳性能，被选为后续DSRE的光谱编码器。

LGDF模块评估与消融：组件消融实验表明，完整LGDF模块相比仅使用GAP或固定门控的变体具有更高的平均分数，证实了互补池化操作与样本自适应尺度加权的联合贡献。LGDF仅增加0.09 M参数和0.03 G FLOPs，计算开销较小。

DSRE决策残差分析：DSRE多模态教师模型在五折交叉验证中达到96.85%的准确率和96.78%的宏F1，相比容量匹配分类器在准确率和宏F1上分别提升4.73和4.80个百分点，证实了VNIR信息在DSRE框架内的互补分类贡献。

CRRA学生模型性能：在配对锁定测试集（n = 384）上，CRRA学生模型达到94.53%的准确率和94.48%的宏F1，超过容量匹配学生2.34个百分点（准确率）。在独立的RGB-only锁定测试集（n = 1570）上，CRRA学生模型达到98.60%的准确率和98.62%的宏F1，超过容量匹配学生0.51个百分点。混淆矩阵分析显示，CRRA将总误分类数从30降至22，尤其在Healthy–Large与Healthy–Medium、Broken–High与Broken–Low等易混淆类别对上的错误显著减少。

跨模态蒸馏策略消融：无蒸馏学生模型准确率为92.10%，传统logit和特征蒸馏分别提升至92.48%和92.70%，原始残差迁移达到93.02%，完整CRRA策略达到94.08%的准确率和93.94%的宏F1，同时将期望校准误差（ECE）从0.046降至0.025，证实了残差迁移与可靠性引导监督的有效性。

可解释性分析：Grad-CAM++可视化显示，CRRA学生模型保留了籽粒相关的空间响应，同时调整了其空间分布。SHAP分析表明，约420–445 nm和940–970 nm波长区域对DSRE决策残差贡献较高，且光谱强度与残差输出之间并非简单单调关系。

鲁棒性分析：在亮度变化、高斯噪声、高斯模糊和随机遮挡四种扰动条件下，CRRA学生模型均一致优于LGDF-RGB，准确率保持0.89–1.72个百分点的优势，表明残差迁移策略提升了模型对常见图像质量退化的鲁棒性。

五、讨论与结论

讨论部分指出，与直接融合异构特征的传统RGB–光谱融合方法不同，本框架以RGB预测为参考，将VNIR贡献表示为增量决策残差，特别适用于训练阶段有配对数据而推理阶段仅需RGB图像的应用场景。消融实验证实了蒸馏策略的独立贡献，CRRA相比无蒸馏学生模型在准确率上提升1.98个百分点，优于传统logit蒸馏（0.38）和特征蒸馏（0.60）。研究同时指出，当前结果仅在单一公开数据集和受控采集条件下获得，尚不能证明跨生产年份、地理区域、成像设备和工业分选线的稳健性，推理延迟、吞吐量、硬件要求和成本也未系统评估。可解释性分析应视为关联性证据而非因果机制证明。

研究结论部分指出，本研究提出的RGB–VNIR跨模态决策残差蒸馏框架，通过将VNIR信息建模为残差决策知识并引入可靠性引导的残差迁移，在训练阶段利用多模态信息的同时实现RGB-only推理。配对测试集上DSRE教师模型达到97.40%的准确率，CRRA学生模型在同一批样本上达到94.53%；独立的RGB-only测试集上CRRA学生模型达到98.60%的准确率和98.62%的宏F1。总体而言，这些结果证明了在评估数据集条件下多模态训练/单模态推理策略的可行性，但进一步的外部验证和运行评估仍是评估其在实际农业检测场景中适用性的必要条件。