基于深度学习的多模态融合技术实现辣椒酱品质无损预测：高光谱成像与近红外光谱的协同应用

为解决传统辣椒酱品质评估效率低、破坏样本等问题，研究人员创新性地融合高光谱成像(HSI)、近红外光谱(NIRS)与理化指标，开发了CNN-LSTM混合模型。通过Mixup数据增强和特征级融合，实现了关键品质参数(R2=0.9554–0.9826)的高精度预测，为发酵食品智能监控提供新范式。

　　

在川菜灵魂"郫县豆瓣"的制作过程中，辣椒酱作为关键中间产物，其品质直接影响终产品的风味。然而传统依赖人工经验评估的方法效率低下且主观性强，实验室理化分析虽精确却存在样本破坏、设备依赖等局限。如何实现辣椒酱发酵过程的快速无损监测，成为制约产业智能化升级的瓶颈问题。

四川农业大学的研究团队突破单模态检测的局限，首次将高光谱成像(HSI)的"图谱合一"优势与近红外光谱(NIRS)的快速检测特性相结合，构建了多模态深度学习框架。通过采集160份"二荆条"辣椒发酵样本，整合HSI提取的颜色通道特征、HSI/NIRS光谱特征及4项关键理化指标（色值、辣椒素、二氢辣椒素和挥发性物质），采用乘性散射校正(MSC)预处理和非信息变量消除(UVE)特征选择，创新性地应用Mixup技术将样本扩增至800个，最终在6种预测模型中验证了CNN-LSTM混合架构的优越性。

关键技术方法
研究采用HSI系统（波长范围400-1000nm）和便携式NIRS设备同步采集数据，通过特征级融合策略整合三类数据源。使用Python搭建深度学习模型，对比了PLSR、CNN、LSTM等基线模型与提出的CNN-LSTM、Transformer等混合架构，采用决定系数R²和均方根误差评估性能。

样本制备与品质变化
实验采用标准发酵工艺制备辣椒酱样本，监测发现色值随发酵时间从1.55升至2.42，辣椒素含量始终高于二氢辣椒素，两者均在21天出现峰值。挥发性物质含量呈现"快速上升-平稳-缓慢下降"的三阶段变化，这些发现为质量监控提供了关键时间节点参考。

模型性能比较
在六种预测模型中，CNN-LSTM表现最优：色值预测R²达0.9826，辣椒素和二氢辣椒素预测R²分别为0.9712和0.9685，显著优于传统PLSR模型（平均提升23.7%）。Transformer-LSTM组合在挥发性物质预测中展现特殊优势，证实时序建模对发酵过程动态特征捕捉的有效性。

结论与意义
该研究首创的"HSI-NIRS-理化指标"多模态框架，通过Mixup增强和深度特征融合，解决了小样本条件下模型过拟合难题。CNN-LSTM模型对四项品质参数的精准预测，为发酵食品质量监控提供了可解释的智能决策工具。技术方案可直接部署于生产线，实现从"经验驱动"到"数据驱动"的产业变革，相关方法学对其它发酵食品品质检测具有重要借鉴价值。研究结果发表于《Food Chemistry》，相关算法已申请国家发明专利。