《LWT》:Non-destructive detection of pine nut quality based on tri-modal feature fusion
编辑推荐:
三模态协同捕获互补的劣化特征。IST-MixCls网络评估酸化和氧化水平。IST-CALoc网络实现对小尺度目标的鲁棒定位。多模态感知驱动精确的闭环分选。
三模态协同捕获互补的劣化特征。IST-MixCls网络评估酸化和氧化水平。IST-CALoc网络实现对小尺度目标的鲁棒定位。多模态感知驱动精确的闭环分选。
**论文解读:基于三模态特征融合的松子品质无损检测**
**研究背景与问题**
松子(Pine nuts)富含不饱和脂肪酸、植物蛋白及生物活性化合物,具有显著的营养和经济价值。然而,在储存和加工过程中,不饱和脂肪酸极易发生自由基链式反应,导致氧化和酸化,生成过氧化物及游离脂肪酸等次级产物,严重损害食品品质并带来安全风险。传统品质检测方法(感官评价、理化分析、色谱、电子鼻)存在主观性强、耗时长、有损、成本高或易受环境干扰等局限,难以满足快速、无损、智能化的在线检测需求。尤其是理化分析需破坏性滴定测定酸价(AV)与过氧化值(PV),且仅限于批次抽样。因此,开发一种可同时表征内部化学变化和外部物理变劣的无损检测技术,成为坚果行业技术升级的迫切需求。本研究发表于《LWT》。
**研究内容与结论**
研究人员提出了一种三模态深度学习框架,融合可见-近红外高光谱图像(Vis/NIR HSI)、近红外(NIR)光谱和纹理特征(分别对应Image、Spectral、Texture模态),通过交叉注意力机制实现异构特征的深度交互,以解决松子品种识别、酸化与氧化水平细粒度分级以及小尺度目标定位的难题。实验结果表明:三模态融合在酸化分类(准确率97.79%)和氧化分类(准确率96.69%)上均优于单模态及双模态组合;IST-CALoc定位网络的交并比(IoU)达95.3%,显著高于传统机器学习模型(SVM、RF、KNN)。该框架为非破坏性个体逐粒检测提供了高精度工具,对防止交叉污染、减少食品工业经济损失具有重要意义。
**关键技术方法**(不超过250字)
样本来自商业化购买的两种松子(*Pinus koraiensis*和*Cedrus deodara*,各1400粒),经人工筛选后采用闭环UV-C系统(254 nm,温度27±1°C,72 h周期)模拟自然氧化酸化过程。数据采集基于Headwall Photonics高光谱成像系统(400–1000 nm,203波段),同步提取RGB图像、光谱(经Savitzky-Golay平滑、一阶导数和标准正态变量预处理)和局部二值模式(LBP)纹理特征。分类网络IST-MixCls采用Transformer交叉注意力融合,定位网络IST-CALoc采用通道拼接与卷积残差融合。性能评估指标包括Accuracy、Recall、F1-Score、Specificity、IoU、Dice系数等,统计显著性检验采用McNemar检验和配对t检验。
**研究结果**
**3.1 光谱预处理验证**:比较单种及组合预处理方法(SG、FD、SNV及其组合),发现SG+FD+SNV在分类和定位任务上均实现最优性能(如氧化分类准确率97.79%,定位IoU 95.30%),表明噪声抑制、局部变化增强和尺度归一化的协同效应最佳。
**3.2 三模态融合验证**
**3.2.1 分类任务**:七种模态组合对比显示,三模态组合在酸化(97.79%)和氧化(96.69%)分类上均为最高,优于次优双模态(酸化中Image+Spectral,氧化中Spectral+Texture),证明图像捕捉酸化导致的光泽与颜色变化,纹理感知氧化引起的微观物理损伤,光谱揭示化学键振动响应,三者互补而非简单叠加。品种识别准确率达98.24%,说明交叉注意力机制可有效分离物种特征与理化劣变特征。
**3.2.2 定位任务**:三模态组合IoU达95.3%,显著高于双模态(Image+Spectral为92.63%,Spectral+Texture仅50.01%),表明图像提供空间先验约束,光谱提供成分差异,纹理丰富表面结构,三者联合增强边界响应能力。
**3.3 模型验证**
**3.3.1 分类模型**:IST-MixCls与SVM、RF、KNN(经网格搜索及5折交叉验证优化)比较,在酸化/氧化分类中准确率分别高出约11%和12%,所有指标均达统计显著(McNemar检验p<0.05)。
**3.3.2 定位模型**:IST-CALoc的IoU(95.3%)显著优于RF(91.34%)、KNN(83.03%)和SVM(77.29%)(配对t检验p<0.05),验证了CBAM(卷积块注意力模块)与CA(坐标注意力)机制在小目标精准分割中的优势。
**讨论与结论**
讨论中分析,三模态协同效应的本质在于内部生化属性与外部物理特征的互补构建,而非数据简单叠加;这种“感知-决策”框架具备推广至其他高油坚果(如核桃、榛子)的潜力。样本选择(两种外观高度相似但理化性质不同的松子)构成了典型的细粒度挑战,验证了模型在微弱可见差异下的判别稳定性。局限方面:UV-C加速诱导与自然老化的时间尺度差异对特征学习影响有限;快速试纸仅满足离散分级,未来将采用标准滴定法实现连续定量回归;此外需引入自然老化样本并扩展至多种高油坚果以验证泛化能力。
**结论**:本研究提出的三模态深度学习框架融合图像、光谱和纹理特征,有效捕获了松子微物理化劣变。开发的IST-MixCls和IST-CALoc网络在酸化/氧化分级及精准目标定位上显著超越单模态、双模态及传统机器学习模型。该方法为高油坚果品质评估提供了鲁棒且高精度的分析工具,为食品工业防止交叉污染和减少经济损失给出了可行解决方案。