《Journal of Food Composition and Analysis》:FDF-MT: Multimodal Decision-Level Fusion Prediction of Abamectin Residues in Lycium barbarum
编辑推荐:
枸杞是一种兼具药用与食用价值的重要作物,但农药残留限制了其产业发展。传统检测方法耗时且通量较低,因此亟需快速、无损的替代方法。研究人员以阿维菌素作为模型农药,在自然条件下制备残留样品。整合高光谱成像(HSI)与挥发性检测(VTD),构建了多模态无损数据集。采用
枸杞是一种兼具药用与食用价值的重要作物,但农药残留限制了其产业发展。传统检测方法耗时且通量较低,因此亟需快速、无损的替代方法。研究人员以阿维菌素作为模型农药,在自然条件下制备残留样品。整合高光谱成像(HSI)与挥发性检测(VTD),构建了多模态无损数据集。采用二维相关光谱(2D-COS)结合变量选择方法,识别关键光谱特征与挥发性特征。利用液相色谱-串联质谱(LC-MS/MS)测定阿维菌素真实浓度,从而建立标准化的光谱-挥发性数据集。针对多模态数据结构及其生物学特征,研究提出特征-决策融合多模态Transformer模型(FDF-MT),其包含带注意力机制的双分支特征提取架构。浅层-深层融合模块实现了光学响应与挥发性响应在决策层面的集成,用于阿维菌素残留水平分类。结果表明,处理组与对照组在光谱反射率和挥发性化合物方面均存在显著差异。二维相关光谱(2D-COS)结合连续投影算法(SPA)筛选出160个高光谱波段,占高光谱总波段数的71.43%;无信息变量消除法(UVE)识别出120个挥发性特征。所提出的FDF-MT模型取得96.79%的准确率,较特征层融合提高1.61%。该决策层融合框架利用跨模态互补性,为枸杞中农药残留的快速、无损检测提供了新方法。
该论文发表于《Journal of Food Composition and Analysis》,围绕枸杞中阿维菌素残留的快速无损检测问题,构建了融合高光谱成像(HSI)与挥发性检测(VTD)的多模态决策层融合模型FDF-MT,并系统评估了其在残留水平分类中的有效性。研究背景在于,枸杞兼具药用和食用属性,是高附加值特色农产品,但其开花与结果期重叠、采收频繁,导致生产中农药施用与安全间隔难以严格匹配,残留风险突出。阿维菌素因广谱、高效和经济性而被广泛用于枸杞栽培,但其残留问题及潜在健康风险日益受到重视。现有气相色谱(GC)和液相色谱-质谱(LC-MS)等方法虽具有较高灵敏度和准确性,但存在破坏性强、检测周期长、成本高、操作复杂等缺陷,难以适应现代农业和食品安全领域对大批量、现场化、快速筛查的现实需求。因此,开发智能化、快速、无损的农药残留检测技术具有重要现实意义。
在这一背景下,研究人员提出将HSI与VTD联合应用于阿维菌素残留识别。HSI能够通过C-H、N-H、O-H、C-O等化学键振动表征样品分子组成及其变化,VTD则借助气敏传感器阵列捕捉挥发性化合物整体气味轮廓,反映农药扰动引发的代谢响应。两类模态分别对应分子振动信息与挥发性代谢信息,具有天然互补性。论文的核心问题是:如何在高维、高冗余且结构异质的HSI与VTD数据之间实现有效特征提取、跨模态对齐与融合建模,并提高弱残留响应条件下的识别精度。为此,研究引入二维相关光谱(2D-COS)增强对弱光谱变化的解析能力,并构建融合卷积神经网络(CNN)与Transformer的分层多模态框架FDF-MT,以实现对枸杞阿维菌素残留水平的高精度分类。
研究采用宁夏主栽品种“宁杞7号”作为材料,在自然条件下设置对照组及3个阿维菌素处理浓度组,24 h后采收成熟果实。样品真实残留量通过液相色谱-串联质谱(LC-MS/MS)测定;高光谱数据由936–1720 nm推扫式高光谱系统采集,挥发性数据由30传感器智能嗅觉分析仪采集并提取7类时序统计特征。随后对HSI与VTD分别进行预处理优化,结合二维相关光谱(2D-COS)与连续投影算法(SPA)、无信息变量消除法(UVE)、主成分分析(PCA)开展特征筛选;最终构建包含单模态特征提取、浅层-深层特征融合及决策层融合的FDF-MT模型,并以总体准确率(OA)、平均准确率(AA)和Kappa系数评价性能。
研究结果部分首先从光谱特征分析展开。
3.1 光谱特征分析
(1)阿维菌素相关光谱特征识别
研究表明,不同阿维菌素处理组样品的总体光谱形态虽相近,但反射率强度存在可辨别差异。处理组平均反射率整体低于对照组,且随处理浓度升高呈逐渐升高趋势,说明阿维菌素施用可诱导可检测的光谱响应。论文指出,这些差异可能与阿维菌素表面吸附产生的特征化学键信号,以及其脂溶性穿透果实角质层后扰动脂质、糖类和氨基酸代谢等过程有关,从而为高光谱检测农药残留提供了分子层面的基础。
(2)基于二维相关光谱(2D-COS)的光谱特征挖掘
为克服一维光谱中波段重叠及弱信号掩蔽问题,研究以阿维菌素浓度为外扰变量开展2D-COS分析。同步谱中识别出约950、1074、1269、1364和1670 nm五个自相关峰,其中1074 nm峰最强,表明该波段对阿维菌素扰动最敏感。相关峰涉及水分、糖类、脂质、纤维素、蛋白质及不饱和脂肪酸等成分的O-H、C-H、N-H振动响应。异步谱进一步揭示了响应顺序为1364 nm → 950 nm → 1269 nm → 1074 nm → 1670 nm,反映了农药扰动下代谢相关光谱变化的时序关系。研究据此将950–1670 nm界定为关键响应区间,为后续特征选择与建模提供依据。
3.2 挥发性特征分析
VTD结果显示,枸杞样品在不同处理浓度下均呈现典型电子鼻响应模式,即响应值先快速升高至峰值,随后下降并趋于稳定。与对照组相比,阿维菌素处理样品整体挥发性响应较低,但在处理浓度升高时,部分传感器对醇类、烷烃和环烷烃等挥发物的响应逐步增强。这说明阿维菌素扰动改变了枸杞内源挥发性物质的合成或释放模式。研究据此认为,阿维菌素可通过其脂溶性进入组织内部并干扰代谢过程,从而形成可识别的挥发性“指纹”。同时,传感器间皮尔逊相关性分析提示数据冗余显著,因此需要通过降维和特征筛选提升模型鲁棒性。
3.3 光谱与挥发性数据预处理分析
在HSI预处理中,研究比较了26种预处理策略。原始光谱分类OA为78.20%,单一标准正态变量变换(SNV)可提升至85.80%,双重组合SNV + SG达到90.00%,而多步组合MSC + SG + MMS取得最佳性能,OA、AA、Kappa分别为92.80%、91.83%、89.98%。结果表明,合理组合散射校正、平滑与归一化有助于突出残留相关特征,但并非预处理步骤越多越好。
在VTD预处理中,比较了5种策略。原始数据OA为90.70%,其中Savitzky-Golay平滑(SG)效果最佳,OA、AA、Kappa分别达到93.80%、94.50%、93.30%,因此被确定为挥发性数据的最优预处理方法。
3.4 光谱与挥发性变量筛选
在高光谱变量筛选中,研究将2D-COS确定的950–1670 nm关键区间与SPA、PCA、UVE结合。结果显示,SPA在保留160个波段时取得最高OA 95.70%,优于UVE和PCA。由此说明,2D-COS引导下的关键区间限定结合低共线性筛选策略,能够在减少冗余的同时保留与残留识别密切相关的波段信息。
在VTD变量筛选中,UVE表现最佳,以120个变量获得95.00%的OA,高于SPA和PCA,说明基于变量稳定性的筛选更适合保留与阿维菌素残留相关的时序挥发性特征。最终,HSI保留160个波段,VTD保留120个特征进入后续建模。
3.5 FDF-MT超参数分析
研究系统考察了训练轮次、学习率及多头注意力头数对模型性能的影响。结果显示,模型在120个epoch时达到最佳,注意力头数为16、学习率为5E-4时OA最高,AA和Kappa变化趋势与OA一致。基于此,论文将120 epoch、16头注意力和5E-4学习率确定为FDF-MT最优超参数组合。
3.6 消融实验分析
(1)特征提取与融合消融
单独使用HSI特征提取模块(HSI-FE)时,OA为89.64%;单独使用VTD特征提取模块(VTD-FE)时,OA为88.75%。简单特征拼接可将性能提升至94.64%。进一步采用特征层融合后,OA提升至95.89%;在此基础上加入决策层融合后,模型取得最佳结果,OA、AA、Kappa分别达到96.79 ± 1.07%、96.72 ± 1.09%、95.62 ± 1.46%。结果证明,多阶段、结构化融合能够更充分挖掘模态互补信息,其中决策层融合优于单纯特征层融合。
(2)浅层-深层融合模块(SSDF)消融
研究进一步评估浅层融合与深层融合的贡献。引入浅层融合后,相较单模态模型,OA提升5.54%–6.43%;在此基础上再引入多头混合交叉注意力(MHCA)深层融合,OA、AA、Kappa继续提升。以高光谱特征作为查询向量(Q)的深层融合方案优于以挥发性特征作为Q的方案,说明高光谱模态在残留浓度差异表征上更具判别力。这一结果表明,浅层与深层联合建模有助于同时保留局部细节与高层语义交互特征。
3.7 阿维菌素残留分类与模型性能
研究以LC-MS/MS测得残留量将样品划分为四级:I级为对照(0.013 mg/kg),II级约1.412 ± 0.038 mg/kg,III级约1.509 ± 0.135 mg/kg,IV级约3.316 ± 0.159 mg/kg。FDF-MT在最高残留水平和II级样品上均实现100%分类准确率,对III级样品准确率为93.33%。II级与III级间轻度重叠导致分类难度增加,但模型总体上对50–200 mg/kg原始处理梯度对应的残留水平保持稳定识别能力。
与SVM、PLS-DA、RF、1D-CNN和Transformer相比,FDF-MT取得最优性能,OA为96.79%,AA为96.72%,Kappa为95.62%,全面优于对比方法。论文强调,这一优势并非单纯来源于模型复杂度增加,而主要归因于HSI与VTD的互补信息利用以及分层融合设计。
3.8 枸杞阿维菌素多模态检测平台开发
在模型验证基础上,研究进一步开发了多模态检测平台,用于FDF-MT的实际部署。平台集成“参数设置”和“农药残留检测”两大界面,支持HSI和VTD数据导入、预处理、变量筛选、融合方式选择及结果可视化。其设计展示了该方法在农业质量控制与农药安全监测中的应用潜力。
讨论与意义方面,论文表明,阿维菌素残留不仅在光谱反射层面产生分子振动响应,也会通过影响枸杞内源代谢进一步改变挥发性释放模式,因此单一模态难以完整表征残留引发的生理变化。FDF-MT通过双分支CNN-Transformer特征提取、2D-COS引导的敏感特征优化、浅层-深层融合以及基于注意力的决策层融合,较好解决了高维异质数据融合中的特征对齐、贡献分配和跨模态互补建模问题。研究的重要意义在于,为枸杞中阿维菌素残留的快速、无损、智能检测提供了可行框架,也为多源感知技术在农产品农残监测中的应用提供了方法学参考。
结论部分可概括翻译如下:本研究构建了集成高光谱成像(HSI)与挥发性时序检测(VTD)的多模态框架,用于枸杞中阿维菌素残留水平分类。研究表征了残留诱导的光谱与挥发性响应,从两种模态中提取并优化了残留敏感特征,所提出的FDF-MT模型有效利用了二者的互补信息,实现了阿维菌素残留水平的准确分类。通过构建光谱-挥发性数据集、采用针对性的预处理和2D-COS引导的波长优化与变量筛选,研究建立了分层多模态融合模型。结果表明,不同残留水平下枸杞存在明显的光谱与挥发性响应差异;特征优化提高了多模态数据的判别能力;FDF-MT通过卷积操作提取局部判别特征、通过Transformer建模全局依赖,并借助注意力决策融合实现模态贡献加权,最终取得96.79%的总体准确率。总体而言,该研究为枸杞中阿维菌素残留的快速无损检测提供了稳健框架,并具有拓展至其他农产品与食品安全监测场景的潜力。