近红外光谱解混技术在多源复合掺假小麦面粉成分含量估算中的应用
《Industrial Crops and Products》:Near-infrared spectroscopy unmixing for abundance estimation of multi-source composite adulterated wheat flour
【字体:
大
中
小
】
时间:2026年02月15日
来源:Industrial Crops and Products 6.2
编辑推荐:
郭庆峰|应谷|韩张|周亚楠|王成|罗斌|陈丽萍
江苏大学农业工程学院,镇江212000,中国
**摘要**
近红外光谱(NIRS)由于其快速且无损的分析能力,在面粉掺假检测领域得到了广泛应用。然而,传统方法仅能对掺假情景进行简单模拟,无法准确反映实际生产和流通中多种
郭庆峰|应谷|韩张|周亚楠|王成|罗斌|陈丽萍
江苏大学农业工程学院,镇江212000,中国
**摘要**
近红外光谱(NIRS)由于其快速且无损的分析能力,在面粉掺假检测领域得到了广泛应用。然而,传统方法仅能对掺假情景进行简单模拟,无法准确反映实际生产和流通中多种类型和来源掺假物的复杂情况。为克服这一限制,本研究构建了一个多源复合掺假数据系统:基于手持式NIR光谱仪,系统地收集了多种类型和品牌的小麦面粉以及常见的掺假物(木薯粉、石膏粉、滑石粉),并根据加权相似性(WS)标准选择样本进行建模和异质性测试,从而在控制实验成本的同时保持光谱多样性。结合提出的轻量级多任务深度学习(DL)模型Adulterated Flour Unmixing Net Multitask(AFUNet-MT),实现了掺假类型和成分含量的端到端联合分析。与传统机器学习(ML)方法和最先进(SOTA)DL模型相比,AFUNet-MT在5折交叉验证中表现出更优的综合性能:分类准确率达到0.9816±0.0036,成分含量预测的总体R2值为0.9564±0.0059。在包含边缘品牌的异质性测试中,AFUNet-MT仍保持0.9560±0.0021的分类准确率和0.8992±0.0050的含量估计R2值,残差预测偏差(RPD)值最高为5.7695,充分证明了其在跨品牌和跨类别掺假下的泛化能力和稳定性。在计算性能分析方面,该模型表现出低内存和单位时间高样本处理量,为手持式NIR设备的嵌入式部署和农业现场应用的快速筛查提供了实用的技术支持。
**1. 引言**
随着全球农产品供应链的不断扩展和复杂化,新的工业形式、农产品类型和商业模式迅速涌现,食品欺诈问题受到越来越多的关注(Wang等人,2025年)。食品欺诈,包括食品掺假和伪造,在全球范围内普遍存在(Dong等人,2021年;Lord等人,2017年)。在面粉等大宗农产品的加工和分销过程中,为了提高外观质量或降低生产成本而进行的掺假行为十分常见。这不仅侵犯了消费者权益,还威胁到农产品的质量和市场声誉(Dong等人,2024年)。因此,加强面粉掺假检测技术的研发和应用将成为确保农产品真实性、保护农业生产者和消费者共同利益、促进农业产业链高质量发展的重要措施。
小麦面粉的主要掺假形式包括物理掺假(添加其他粉末以增加重量和外观)、化学掺假(添加化学物质以增白、防腐或增强面筋)和质量掺假(添加低价低质量的小麦面粉)。检测面粉掺假的主要方法包括物理检测、化学检测(Wang等人,2006年)和色谱-质谱法、光谱法(Peng等人,2022年)。其中,光谱法提供了一种快速的无损检测方法,利用太赫兹(Fu等人,2013年)、拉曼(Lohumi等人,2019年)、近红外(Jiang等人,2023年)、紫外可见光(Ponhong等人,2015年)等不同波段获取物质信息。相比之下,NIRS技术因其快速检测、操作简便和低成本的优势,在检测掺假小麦面粉中的增白剂、增重剂和各种食品粉末方面得到了广泛应用(Fu等人,2020年;Su等人,2017年;Zhao等人,2018年)。
NIRS对小麦面粉的检测属于漫反射光谱分析,通过分析光的吸收和散射来推断样品结构和成分信息(Dong等人,2012年)。特定波长的光吸收、特定化学键振动以及不同化学环境中的官能团差异有助于快速识别和区分物质(Qu等人,2025年)。然而,小麦面粉和掺假物在类别、质地等方面的变化会显著加剧NIR光谱吸收强度低和信噪比差的缺点。在单变量分析中,NIRS的检测能力已在不同粒径(Fu等人,2021年)和品牌(Tao等人,2021年)的掺假研究中得到验证。实际上,面粉掺假通常涉及多种物质的混合和添加。不同物质的分子振动特性会在NIR波段产生重叠的光谱信号,导致峰位重叠、峰形扭曲和基线漂移等现象,严重影响光谱数据的质量和可靠性。尽管基于NIRS的多变量混合物已被证明是可行的(Dong等人,2025年),但本研究仅使用了单一来源的小麦面粉和掺假物,可能无法完全反映实际生产环境中面粉掺假的复杂性和多样性。更全面的样本库可以提高模型的泛化能力和实际应用中的检测精度,但样本制备和数据处理的复杂性将显著增加。
NIRS与AI的结合在面粉掺假分析中显示出巨大潜力,包括但不限于小麦面粉(Zheng等人,2022年)、藜麦面粉(Bala等人,2023年)、鹰嘴豆面粉(Wang等人,2022b年)和杏仁面粉(Netto等人,2023年)。传统ML凭借其成熟的理论基础和标准化的技术流程,在现有研究中得到广泛应用,能有效处理光谱数据中的复杂模式识别问题。然而,尽管该技术遵循相对标准的数据处理和分析工作流程,但每个阶段都涉及多种算法选择,且缺乏统一的评估标准,增加了模型构建的复杂性,需要大量的经验判断和参数调整(Song等人,2025年)。传统ML方法在数据量和任务复杂性增加的背景下存在计算效率低和特征提取能力有限的技术瓶颈。相比之下,DL技术凭借其强大的特征提取能力和非线性建模优势,在处理复杂光谱数据方面表现优异,能够自动学习数据中的深层特征,提高检测精度和泛化能力。因此,大量用于图像识别和自然语言处理的SOTA模型变体出现在农业光谱分析中,包括卷积神经网络(CNN)(Chakravartula等人,2022年)、循环神经网络(Ding等人,2025年)、Transformer(Li等人,2024a年)、生成对抗网络(Yang等人,2025b年)等,为解决NIRS分析中的核心挑战提供了新的技术手段,如多源信号叠加、弱特征提取、复杂模式识别和检测限增强。
DL模型在许多领域取得了突破性进展,但其“数据密集”特性成为实施复杂任务的瓶颈(Davies,2025年)。获取高质量样本往往困难且成本高昂。一些研究使用传统的物理扩展或基于生成模型的数据增强技术生成新的训练样本(Feng等人,2025年),但前者缺乏数据多样性,后者计算复杂且仍需要大量高质量训练数据。对于本研究所需的样本,不同小麦面粉生产区域和品种、掺假质地及掺假浓度的差异将大幅增加样本制备的工作量。为应对这些挑战,本文提出结合DL模型、知识引导的约束(Diligenti等人,2017年)和建模样本的合理筛选,以在样本有限的情况下提高模型性能并减轻样本制备的工作负担。
本文提出了一种名为AFUNet-MT的光谱解混模型,将DL与NIRS分析相结合,基于筛选出的核心品牌掺假物构建训练集,并通过分类结果指导回归判断,以提高模型的准确性和泛化能力。在本研究中,不同浓度和品牌的增白粉(滑石和石膏粉)及增重粉(木薯粉)单独或混合到不同品牌和面筋强度的商品小麦面粉中。用于模型构建和异质性测试的掺假物分别属于核心品牌和边缘品牌。本文使用准确率(ACC)、R2值、均方根误差(RMSE)和RPD作为性能指标,评估AFUNet-MT和传统ML模型、SOTA DL模型对掺假小麦面粉成分含量的预测性能,并对AFUNet-MT的模型参数和可解释性进行了分析。
**2. 材料与方法**
2.1. 材料
在线购买了六种类型的小麦面粉(高(S)、中(M)和低(W)面筋面粉(两个品牌A、B)以及四种品牌的木薯粉(C1-C4)、滑石粉(T1-T4)和石膏粉(G1-G4)。购买的小麦面粉样品水分含量在13.2%至13.9%之间,灰分含量(干基)在0.45%至0.79%之间,蛋白质含量在8.71%至14.1%之间。所有面粉样品均通过CB36筛网(91目),表明样品的细度相对均匀。此外,所有小麦面粉样品均通过了当年的中国国家合格评定服务(CNAS)测试。小麦面粉呈白色或浅黄色,木薯粉呈白色带轻微乳白色,滑石粉和石膏粉呈白色或灰白色。
2.2. 样品制备
为了减少重复实验并确保后续模型的可靠性,如公式(1)-(3)所示,本研究首先结合归一化欧几里得距离(NED)和余弦相似性(CS)计算不同品牌掺假物的平均光谱、中值光谱、最高强度光谱和最低强度光谱的加权相似性(WS)。
(1)
NEDa,b = √(euclidean(a,b)) / (a+b + ?)
其中a和b是两个光谱曲线,? = 10^-8用于防止分母为零。
(2)
CSa,b,w = w * CSa,b + (1 - w) * NEDa,b
其中w表示CS的权重,w = 0.4。
(3)
WS = 0.4 * CSmean + 0.4 * CSmedian + 0.1 * CSmin + 0.1 * CSmax
当WS超过0.925时,获得具有代表性的模型品牌(表1):木薯粉(C3)、滑石粉(T1, T4)和石膏粉(G1, G3, G4)作为掺假粉中心品牌。
**表1. 掺假粉的核心品牌选择**
| 粉末类型 | 中心品牌(覆盖的品牌:相似性) |
|------|-----------------|
| 木薯粉 | C2 (C3:0.991, C4:0.971, C1:0.993) |
| 滑石粉 | T3 (T2:0.980, T4:0.938), T1 (未覆盖的品牌) |
| 石膏粉 | G3 (G2:0.941), G1 (未覆盖的品牌), G4 (未覆盖的品牌) |
核心品牌掺假物和小麦面粉A用于制备样本集S1(用于训练、验证和同质性测试),其余品牌掺假物和小麦面粉B用于制备样本集S2(用于异质性测试)。参考以往关于小麦面粉掺假检测的研究,设置了4种浓度的增重粉:5%、10%、15%和20%,以及6种浓度的增白粉:0.05%、0.1%、0.3%、0.6%、1%和3%。样品包含六种掺假状态:PW(纯小麦)、WC(小麦木薯)、WT(小麦滑石)、WG(小麦石膏)、WCT(小麦木薯滑石)、WCG(小麦木薯石膏)。在S1样本集中,每种掺假组合下准备了1个样本,共计462个样本。在S2样本集中,随机组合所有掺假物,确保覆盖所有掺假状态和浓度,共计125个样本。
2.3. 近红外光谱采集
如图1所示,每种掺假样品制备10克,放入50毫升的聚丙烯离心管中。使用涡流混合器(MIX-VS)以1600转/分钟的转速混合2分钟。混合后,将样品均匀装载到直径60毫米、深度10.5毫米的透明聚苯乙烯培养皿中。使用便携式NIR点光谱仪(DLP NIRscan Nano)在900–1700纳米的光谱范围内进行测量。收集透镜(图1(a))覆盖有10毫米×15毫米×0.5毫米的石英玻璃片,以防止灰尘进入。实际扫描起始和结束波长为930–1650纳米,共402个光谱点,每次执行的平均扫描次数为三次。测量时,将收集透镜紧贴样品并扫描样品的六个外围点各三次,共收集10548个光谱数据。训练集、验证集和同源测试集按照4:1:1的比例进行划分,并结合了光谱缩放(随机缩放因子0.8–1.2)和高斯噪声(标准差5%)来增强训练集,最终数据量为17580。下载:下载高分辨率图像(355KB)下载:下载全尺寸图像
图1. 近红外光谱仪和手持光谱采集示意图。(a) 评估模块和DLP NIRscan Nano的采样窗口示意图;(b) 掺假面粉的制备和采集过程。
为了消除仪器温度、湿度和暗电流的影响,在扫描每个样本之前使用了参考白板进行校准。基于重复扫描计算了每个样本的CV值,表2总结了所有样本的CV统计分布(平均值、中位数、最大值和最小值)。单个样本多次采样的平均变异系数和中等变异系数分别为5.57%和4.94%(表2),确保了光谱数据的稳定性和可重复性。变异系数表明获得的原始光谱数据具有相对适度的离散度,数值有显著波动,但整体分布围绕平均值较为集中。
表2. 重复测量中CV值的统计分布。
指标 平均值 最大值 中位数 最小值
CV 5.57% 24.72% 4.94%
R2 1.11% 2.4
2. 传统机器学习方法
本研究实现了完整的光谱数据处理和机器学习建模工作流程(图2),包括数据预处理、特征选择或降维以及模型训练。通过在每个步骤中结合多种算法,构建了丰富的数据分析方案,以提供检测小麦面粉掺假的最佳解决方案。
下载:下载高分辨率图像(324KB)下载:下载全尺寸图像
图2. 建模过程和DL模型架构示意图。
考虑到预处理在提高数据质量方面的重要性,本研究采用了两类方法,包括基线校正和光谱平滑,以消除光谱数据中的噪声、基线漂移和散射效应。基线校正方法包括自适应最小二乘(ALS)、标准正态变量(SNV);光谱平滑方法包括Savitzky-Golay(SG)平滑、一阶导数(1st_Der)和二阶导数(2nd_Der)。在数据预处理过程中,实施了六种预处理方法及其与光谱平滑方法的组合。在特征选择或降维阶段,为了减少冗余特征、提高模型泛化能力和降低计算复杂性,本研究整合了五种方法:主成分分析(PCA)、竞争性自适应加权采样(CARS)、连续投影算法(SPA)、递归特征消除(RFE)和变量重要性投影(VIP)(Li等人,2024b)。本研究使用XGBoost回归器和支持向量机(SVM)分类器建立模型,并通过随机搜索交叉验证进行超参数优化(表3)。具体来说,XGBoost用于预测成分浓度,而SVM用于识别六种掺假样本。
表3. 机器学习模型训练超参数。
模型 参数名称 范围 选项
SVM分类器 Kernel RBFC (Log) [0.1, 1, 10, 100]
Gamma (Uniform) 0.001 ~ 1
XGBoost回归器 数量估计器 [100, 200, 300]
最大深度 [3, 5, 7, 11, 13, 15]
学习率(Log-uniform) 0.01 ~ 1
子采样 (Uniform) 0.6 ~ 1.0
2.5. 深度学习算法
本研究采用了四种最先进的深度学习模型:ConvNeXt(Liu等人,2022)、SE-ResNet(Hu等人,2018)、TabTransformer(Huang等人,2020)、FT-Transformer(Gorishniy等人,2021)以及基于SE-ResNet改进的AFUNet。通过将原本用于2D图像或表格数据的先进架构系统地适应到光谱数据处理中,并通过1D变换添加了一个与回归头完全平行的可选门控分类头。预测结果包括掺假类别和四种成分的丰度估计。每个模型都通过多任务学习框架实现分类结果来指导回归结果。
模型训练使用了Python 3.10编程语言和PyTorch作为后端。所有实验都在配备了GPU加速的高性能计算服务器上进行。详细的模型训练参数见表4。
表4. 深度学习模型训练超参数。
参数 值
批量大小 32
学习率 1E-03
学习率衰减 0.5
最大训练周期数 1000
最小学习率 1E-06
用于分类和回归的损失函数分别是交叉熵损失(Cross Entropy Loss)和Huber损失(Huber Loss)。交叉熵损失通常用于多类分类,如公式(4)所示,通过最小化预测概率分布和真实标签分布之间的交叉熵来优化模型分类性能。
(4)Losscls = ?∑i=1N∑j=1Cyij*logpij
其中N表示数据批次,C表示类别数量,yij表示真实标签的独热编码,pij表示预测概率。
Huber损失提供了一个稳健的回归损失函数(公式(5)),它结合了均方误差(MSE)和平均绝对误差(MAE)的优点。它对小误差施加二次惩罚,对大误差施加线性惩罚,从而平衡了对异常值的敏感性和对内点的性能。通过其分段损失公式,Huber损失增强了模型的鲁棒性,并减少了单独使用MSE时可能出现的梯度爆炸风险。
(5)Lossregression = x,y,δ = 1
if δ ≤ x ? y ≤ δ then 0.5 * (x ? y)
else if x ? y > δ then 0.5 * δ
else then (x ? y)
(6)Losstotal = Losscls + ∑k=1MLossregressionM
其中x和y分别表示预测值和真实值,大写M表示成分数量。总损失(公式(6)包括分类损失和每个成分的回归损失均值。
2.5.1. 最先进的变换器
TabTransformer是一种专为表格数据设计的深度学习模型,它将Transformer引入表格任务,并利用自注意力机制捕捉列之间的复杂关系。在本研究中,该模型将一维光谱的每个波长点映射到高维嵌入空间,添加可学习的位置编码,并将其发送到多层Transformer编码器。每一层包含多头自注意力和前馈网络,可以明确地模拟波长点之间的全局依赖性,成功地将序列建模能力从NLP转移到光谱分析中。
FTTransformer是TabTransformer的简化和改进版本,其核心是特征标记机制。它不再使用位置编码,而是为每个特征设置一个单独的线性投影层,将标量映射到统一的维度向量空间,并添加可学习的特征偏置。这种设计增强了光谱特征的表达能力,使自注意力能够更准确地捕捉特征之间的非线性依赖性,为光谱数据提供了高效的注意力建模范式。
2.5.2. 最先进的卷积神经网络(CNNs)
作为现代纯CNN架构,ConvNeXt旨在通过借鉴Transformer的设计概念(如大核深度可分离卷积、LayerNorm、GELU激活函数、倒置瓶颈结构等)来改进传统CNN。ConvNeXt在ImageNet分类、目标检测和语义分割等任务中超越了多个主流视觉Transformer模型,同时保持了其纯卷积结构,证明了具有适当设计的CNN仍然具有很强的竞争力,结合了效率和高性能(Wei等人,2025)。SE-ResNet(Squeeze and Excitation ResNet)是ResNet的改进版本,引入了SE模块。SE模块自适应地重新调整了通道维度,压缩了空间信息,学习了每个通道的重要性权重,并最终明确地模拟了通道之间的依赖性,增强了网络关注有用特征的能力。SE-ResNet在几乎不增加计算负担的情况下显著提高了ResNet的准确性,是通道注意力机制的成功早期实现。
本研究对ConvNeXt和SE-ResNet进行了一维适应,以处理近红外光谱数据。对于SE-ResNet,采用了结构转换策略,直接用一维等效组件替换了其所有二维组件,完全保留了其残差连接和通道注意力机制。对于ConvNeXt,除了进行一维组件转换外,还直接移植了核心操作符,如深度可分离卷积和倒置瓶颈,并完全复制了整个数据流(深度卷积、LayerNorm、扩展通道的Linear、收缩通道的Linear、残差添加),严格遵循ConvNeXt每个阶段的原始配置。该模型能够处理1D光谱数据,同时确保其架构范式保持不变。
2.5.3. AFUNet
本研究采用了基于改进的SE-ResNet的AFUNet-MT,用于同时实现面粉掺假类型的准确分类和成分浓度的定量回归。模型架构如图2所示。模块功能和修改如下:
特征提取的骨干网络:逐步从输入光谱中提取和压缩深层语义信息。使用四个阶段的简化残差块和通道注意力,将原始的402维光谱信号转换为紧凑的1024维特征向量,作为下游分类和回归的统一基础特征。具体来说,我们移除了SE1D模块中的偏差,并放宽了压缩比例,形成了SE1D-Lite和Bottleneck-Lite,这减少了计算量,同时缓解了由于次优偏差初始化引起的梯度问题(Ioffe等人,2015)。在架构层面,我们将SE-ResNet中的残差块数量从(3, 4, 6, 3)减少到(2, 2, 2, 2),有效地将深度减半并大幅减少了参数数量。
特征共享层:在任务头之前插入了一个两层的全连接瓶颈。它对骨干特征进行非线性细化和降维,产生一个128维的公共表示,分类和回归头都基于此进行预测。与SE-ResNet1D不同,这种设计鼓励了分类和回归之间的知识传递和联合优化。
任务头:在共享特征之后采用双分支设计,分类头和回归头都实现了三个全连接层。分类头的置信度不仅产生类别标签,还在推理时对回归输出施加了物理约束。无关成分的丰度经过归零和重新标准化,以确保任务协调和物理合理性。
2.6. 模型评估
本研究采用了5折交叉验证进行模型评估,以确保模型性能评估的客观性和可靠性。计算了每个折叠的分类准确性、平均R2、所有折叠的平均RMSE以及每个成分的平均RPD。统计结果以每个折叠指标的平均值±标准差表示。验证集、同源测试集和异源测试集的指标分别用v、ho和he作为下标区分。
3. 结果
3.1. 使用传统机器学习方法进行回归
本节比较了多种传统机器学习方法在估计掺假小麦面粉丰度方面的性能,分别评估了96种分类和回归算法。为了总体比较,图3用径向条形图展示了三个核心指标:准确性(a)、R2(b)和RMSE(c)。条形图的长度代表指标值,内环的颜色代表图例中相应的数据降维或特征过滤方法,外环的文本标签代表预处理方法。
下载:下载高分辨率图像(718KB)下载:下载全尺寸图像
图3. 比较机器学习模型性能的径向条形图。(a) 准确性(Acc),(b) R2,(c) RMSE与不同处理方法。
最佳分类算法的准确率为0.9692,使用“Detrend + 1st_Der + VIP + SVM”流程。去趋势和一阶导数首先减弱了背景和缓慢变化,然后使用VIP过滤掉冗余带。基于此,核分类器获得了更清晰的决策边界。然而,与基线方法“None + None + SVM”(Acc=0.9642)相比,这种算法的改进有限。与其他特征选择或数据降维方法相比,VIP作为特征选择策略在分类中的平均准确率显著更高(Acc=0.8321)。
最佳回归性能由“SNV + SG + None + XGBoost”实现(R2=0.7770,RMSE=1.89%)。与基线“None + None + XGBoost”(R2=0.5860,RMSE=2.86%)相比,R2显著提高,而RMSE显著降低。这表明,在保留所有带的情况下,应用SNV去除散射和尺度差异,然后使用SG平滑抑制高频噪声,为非线性集成回归提供了更清晰、更具信息量的输入。同样,使用VIP作为特征选择策略在回归中产生了更优的平均指标(Acc=0.5999,RMSE=2.61%)。
总体而言,在添加数据优化功能后,多个算法的性能都有所下降。这表明在多变量回归中,即使在大规模参数搜索下,额外的数据处理仍可能使过程复杂化,并引入不稳定因素,表现为性能下降和不稳定。三个指标在最佳算法中显示出一致的方向,分类结果尚可,但在回归准确性方面仍有很大的改进空间。一些回归算法与基线算法相比在性能上有显著提升,这可能与丰度估计对连续光谱特征的敏感性有关。3.2. 深度学习回归算法的性能 本研究采用了五种深度学习(DL)模型进行近红外(NIRS)解混,以准确估计掺假小麦粉中各成分的丰度。所有模型都采用了端到端的回归架构,专注于光谱解混中的成分丰度估计。AFUNet在5折交叉验证中表现出色(表5),获得了最高的R2值(0.9462±0.0059)、最佳R2值(0.9497)和最低的均方根误差(RMSE)(0.96%±0.04%),表明该模型能够以1%以内的预测误差准确预测每个成分的浓度。所提出的模型不仅在预测准确性上显著优于其他比较模型,其极低的R2标准差(0.0059)也显示了出色的模型稳定性和泛化能力,表明该架构能够有效捕捉光谱的内在特征模式。SE-ResNet和ConvNeXt的性能不稳定,尽管最佳R2值分别为0.9441和0.8675,但R2值异常高(0.5101±0.8705和0.3702±0.4140),反映了不同折叠之间的显著性能波动,可能是由于梯度消失现象严重。这两种架构的性能不佳可能主要源于它们对本研究使用的数据集适应性有限。TabTransformer和FTTransformer在验证集上的表现也不如预期,R2值分别为0.6817±0.0500和0.6650±0.0259,最佳R2值分别为0.7437和0.6866。然而,这两种Transformer模型的R2标准差相对较小(0.0500和0.0259),显示出良好的训练稳定性,但在准确性方面仍有很大的提升空间。表5. 5折交叉验证中DL回归模型性能的比较。模型 R2 最佳R2 RMSEvRho2 最佳Rho2 RMSEho AFUNet 0.9462±0.0059 0.9497 0.96%±0.04% 0.9521±0.0043 0.9542 0.88%±0.01% SE-ResNet 0.5101±0.8705 0.9441 2.64%±3.21% 0.5174±0.8572 0.9379 2.55%±3.20% ConvNeXt 0.3702±0.4140 0.8675 3.37%±1.67% 0.3741±0.4255 0.8806 3.33%±1.73% TabTransformer 0.6817±0.0500 0.7437 1.81%±0.27% 0.6634±0.0492 0.7198 1.82%±0.15% FTTransformer 0.6650±0.0259 0.6866 1.72%±0.07% 0.6541±0.0176 0.6659 1.69%±0.07% 同类测试的结果进一步验证了AFUNet的优越性,其Rho2值最高(9521±0.0043)和RMSEho值最低(0.88%±0.01%),显示出出色的泛化能力。SE-ResNet和ConvNeXt的Rho2标准差分别为0.8572和0.4255,显示出较高的方差特性,这在实际应用中存在显著风险。TabTransformer和FTTransformer的测试性能相对稳定,Rho2值分别为0.6634±0.0492和0.6541±0.0176。尽管整体准确性不足,但它们显示出良好的泛化稳定性。总体而言,尽管这些Transformer在其他领域表现出色,但在回归任务中的表现并未达到预期。经过一维变换后,SE-ResNet和ConvNeXt在掺假小麦粉的丰度估计方面显示出较高的准确性,但稳定性较差。相比之下,AFUNet在精确度和泛化能力方面具有显著优势,并在光谱解混中表现良好。3.3. 受分类条件驱动的DL回归算法的性能 为了提高掺假小麦粉丰度估计的准确性,本研究为每个DL模型配置了分类头以指导回归头的决策,并用后缀“-MT”标识它们。本节展示了这些模型在验证集和同类测试集上的回归和分类性能,并进一步展示了每个模型在同类测试集上最佳折叠的回归散点图,以定性呈现误差分布和拟合状态。从定量结果(表6)来看,AFUNet-MT在丰度估计(R2=0.9523±0.0034,Rho2=0.9564±0.0059)和类别分类(Accv=0.9773±0.0031,Accho=0.9816±0.0036)方面取得了最佳和稳定的性能。与AFUNet相比,更高的R2值、更低的方差和更低的RMSE表明分类器引入的类别知识对回归任务的实施形成了有效约束,并通过规范回归决策提高了泛化稳定性。Transformer系列在所有由分类结果驱动的指标上都显示出一致的性能提升(图S1)。与纯回归模型相比,FTTransformer-MT的R2和Rho2分别提高了约0.148和0.151,而TabTransformer-MT的R2和Rho2分别提高了约0.115和0.126。同时,两者都保持了较高的分类准确性(0.91–0.93),且RMSE随着分类头的引入而稳步降低,方差较小,表明类别条件信息可以在一定程度上约束丰度估计。相比之下,尽管SE-ResNet-MT和ConvNeXt-MT在某些折叠中可以获得更高的最佳R2值,但R2和RMSE的总体方差仍然显著异常。可以得出结论,这两种网络架构的特征提取阶段对初始化和训练统计的敏感性较高,导致偶尔出现训练不稳定。表6. 5折交叉验证中DL MT模型性能的比较。模型 R2 最佳R2 RMSEvAccvRho2 最佳Rho2 RMSEhoAccho 空单元 AFUNet-MT 0.9523±0.0034 0.9500 0.83%±0.05% 0.9773±0.0031 0.9564±0.0059 0.9602 0.75%±0.09% 0.9816±0.0036 SE-ResNet-MT 0.5201±0.8403 0.9449 2.55%±3.17% 0.8820±0.1790 0.5128±0.8538 0.9513 2.50%±3.22% 0.8894±0.1705 ConvNeXt-MT 0.5466±0.4405 0.8915 2.55%±1.78% 0.7653±0.2336 0.5462±0.4382 0.8830 2.59%±1.73% 0.7745±0.2248 TabTransformer-MT 0.7970±0.0113 0.8125 1.53%±0.11% 0.9153±0.0055 0.7897±0.0169 0.7899 1.48%±0.10% 0.9160±0.0090 FTTransformer-MT 0.8133±0.0207 0.8426 1.40%±0.10% 0.9204±0.0113 0.8054±0.0148 0.8064 1.41%±0.09% 0.9293±0.0061 基于散点图的定性比较(图4)显示,AFUNet的四个成分预测点通常接近回归线,但在高浓度成分的预测值中仍可观察到较宽的散布带和更多的异常点。添加分类头后,AFUNet-MT的整体散布分布进一步向回归线收敛,散布带显著变窄,异常点数量减少,表明多任务学习有效提高了模型性能,且没有引入新的偏差。与其他模型相比,AFUNet-MT在预测四个成分方面具有最稳定的收敛性,显示出更紧凑和均匀的散布分布。SE-ResNet-MT的表现不佳,但在预测低浓度成分时出现了更多异常点。这再次证实了该模型的高预测准确性以及其在光谱解混方面的优越性。ConvNeXt-MT和TabTransformer-MT的拟合效果良好,但在低浓度成分的丰度估计中出现了大量高密度异常点群。这也表明,对于具有普通回归性能的原始模型,即使相应的分类器能够提供高置信度的知识,实现稳定的丰度校准也具有挑战性。下载:下载高分辨率图像(369KB)下载:下载全尺寸图像图4. AFUNet-MT与AFUNet在同类测试集上的预测结果比较。总体而言,通过引入类别信息,所提出的模型显著降低了RMSE并促进了R2方差的收敛。AFUNet-MT在分类结果的约束下实现了最佳准确性、稳定性和泛化能力,为掺假小麦粉的丰度估计提供了高质量的解决方案。3.4. 异类测试 本研究使用中央品牌的小麦粉A进行模型训练、验证和同类测试;剩余品牌的掺杂物和小麦粉B用于准备S2集进行异类测试。散点图展示了最佳折叠的异类测试结果。AFUNet-MT在异类测试中的表现最为出色和稳健(表7),Rhe2=0.8992±0.0050,RMSEhe=0.74%±0.12%,Acche=0.956,RPDhe=5.7695。与AFUNet相比,AFUNet-MT的预测点更接近回归线(图5),并且低含量成分预测结果中的虚假高度膨胀现象得到了抑制,显示出类别信息对回归的有效约束。其他多任务深度学习模型在异类和同质测试集上的表现趋势一致(图S2)。然而,较差的回归结果可能是由于分类性能不佳造成的。特别是当模型对低丰度成分的特性缺乏足够的敏感性时,丰度估计误差可能会通过归一化机制传播到其他成分,从而掩盖了成分级别的精度下降。即使在整体指标没有明显下降的情况下,这也表现为离散点数量的增加,但分散程度降低。表7. DL MT模型在异类测试集上的性能比较。模型 Rhe2 最佳Rhe2 RMSEhe RPDhe Acche AFUNet 0.8947±0.0034 0.8993 0.84%±0.04% 4.3288 AFUNet-MT 0.8992±0.0050 0.9060 0.74%±0.12% 5.7695 0.9560±0.0021 SE-ResNet-MT 0.4577±0.8783 0.9020 2.44%±3.31% 0.8820±0.1790 0.5128±0.8538 0.9513 2.50%±3.22% 0.8894±0.1705 ConvNeXt-MT 0.5466±0.4405 0.8915 2.55%±1.78% 0.7653±0.2336 0.5462±0.4382 0.8830 2.59%±1.73% 0.7745±0.2248 TabTransformer-MT 0.7970±0.0113 0.8125 1.53%±0.11% 0.9153±0.0055 0.7897±0.0169 0.7899 1.48%±0.10% 0.9160±0.0090 FTTransformer-MT 0.8133±0.0207 0.8426 1.40%±0.10% 0.9204±0.0113 0.8054±0.0148 0.8064 1.41%±0.09% 0.9293±0.0061 基于散点图的定性比较(图4)显示,AFUNet的四个成分预测点通常接近回归线,但在高浓度成分的预测值中仍可观察到较宽的散布带和更多的异常点。添加分类头后,AFUNet-MT的整体散布分布进一步向回归线收敛,散布带显著变窄,异常点数量减少,表明多任务学习有效提高了模型性能,且没有引入新的偏差。与其他模型相比,AFUNet-MT在预测四个成分方面具有最稳定的收敛性,并显示出更紧凑和均匀的散布分布。SE-ResNet-MT的表现不佳,但在预测低浓度成分时出现了更多异常点。这再次证实了该模型的高预测准确性以及其在光谱解混方面的优越性。ConvNeXt-MT和TabTransformer-MT的拟合效果良好,但在低浓度成分的丰度估计中出现了大量高密度异常点群。这也表明,对于具有普通回归性能的原始模型,即使相应的分类器能够提供高置信度的知识,实现稳定的丰度校准也具有挑战性。下载:下载高分辨率图像(356KB)下载:下载全尺寸图像图5. AFUNet-MT与AFUNet在异类测试集上的预测结果比较。3.5. 模型效率和可解释性分析 为了比较模型的资源分配需求并验证AFUNet-MT的决策可解释性,进行了多项可视化实验。通过多维模型参数评估(推理延迟、峰值内存、样本吞吐量和模型大小)评估了每个模型的部署成本和性能权衡。同时,基于Grad-CAM,将可视化目标层(任务头之前的特征层)的特征长度上采样(线性插值)到402,并进行了光谱带分析,以量化每个带对模型决策的贡献并定位关键带。通过多维模型参数的比较(图6),可以看出,经过SE-ResNet简化和转换的AFUNet-MT实现了3.25毫秒的单样本推理时间、28.66MB的峰值内存占用率和每秒9855个样本的吞吐量,模型大小为13.25MB。AFUNet-MT在低内存和推理时间下实现了高样本吞吐量,显示出适合实时部署的参数特性。比较DL模型的大小和运行效率,可以得出结论,在计算能力有限或延迟阈值严格的应用环境中,模型轻量化的优势最为显著。SE-ResNet-MT和ConvNeXt-MT在占用更多资源的同时保持了高吞吐量。在Transformer系列模型体积较小的前提下,样本吞吐量仍然显著低于其他模型。这可能与多头自注意力机制导致的高计算复杂性有关。下载:下载高分辨率图像(122KB)下载:下载全尺寸图像图6. DL模型的多维性能分析可视化。特征层可视化(图7)显示,对决策贡献显著的带主要集中在940–980nm、1200–1330nm和1450nm附近。这些段对应于O-H基团的泛音和组合带(Ciurczak等人,2021),具体来说是水中的O-H伸缩振动第三泛音、C-H伸缩的第二泛音和O-H伸缩的第一泛音(Pasquini,2018;Workman Jr等人,2007)。从物理化学关系的角度来看,木薯粉的多糖结构、石膏粉的结晶水和滑石粉中的羟基矿物都为光谱解混提供了区分依据。这种一致性表明,模型不依赖于光谱噪声或个别异常峰,而是捕获了与水分含量和有机成分微观结构相关的物理化学信息。下载:下载高分辨率图像(359KB)下载:下载全尺寸图像图7. 基于AFUNet-MT平均交叉验证结果的综合Grad-CAM可视化。(a) 按类别和波长的平均Grad-CAM重要性,(b) 前30个最重要的波长带,(c) 全谱中前30个重要带的位置。4. 讨论 4.1. 使用中央品牌掺杂物进行建模的必要性 在以往的小麦粉掺假检测研究中,模拟复杂掺假情况一直是主要方向之一,特别是在多种品牌(小麦粉、木薯粉、滑石粉等)(Qu等人,2025;Tao等人,2021)、密集浓度梯度(Liu等人,2019)和较低检测限(Fu等人,2020)的情况下。然而,大多数研究仅引入了浓度梯度这一个变化维度,这在方法论和机制研究上具有一定的价值,但无法完全反映真实掺假场景中的高维组合复杂性。因此,本研究的样本涵盖了不同浓度和品牌的各种掺杂物,以及不同品牌和面筋强度的小麦粉,旨在更全面地模拟小麦粉掺假的真实复杂情况。添加更多来源的掺杂物可以使模型学习掺杂物的特性,而不仅仅是品牌特性,但样本组合的数量也会呈指数级增加,这将大大增加样本准备和数据收集的成本。同时,相同物质的NIR光谱曲线在关键吸收带位置和形状上表现出高度相似性和稳定性。图8展示了在900–1700nm波长范围内记录的 flour 样本的原始近红外(NIR)光谱。正如NIR光谱学所典型的,光谱显示出广泛且强烈重叠的吸收特征,这些特征主要来源于O–H、C–H和N–H键的泛音和组合振动。1200–1250nm附近的光谱区域通常与O–H伸缩振动第二泛音相关,尽管由于带重叠,不能排除其他官能团的贡献(Cozzolino,2021)。1450nm附近的明显吸收特征对应于O–H伸缩振动的第一泛音,众所周知对水分变化敏感(Li等人,2021)。此外,在1650–1700纳米区域观察到的弱且重叠的吸收特征通常归因于C-H组合带,这可能反映了有机成分(如脂质和其他碳基组分)的差异(Tian等人,2023年)。这意味着基于具有与其他品牌高度相似光谱数据的中心品牌训练的模型能够有效捕捉多种物质特征。因此,本研究采用了“中心品牌用于建模,边缘品牌用于异质性测试”的样本准备方案。在确保充分覆盖样本类型和浓度梯度的同时,将收集成本控制在可行范围内,并努力将模型稳健地扩展到更广泛的品牌领域。尽管本研究准备了近600个样本,已经是一项相当大的工作量,但验证样本选择方法和光谱解混模型的可行性仍需要更大规模的数据。下载:下载高分辨率图像(178KB)下载:下载全尺寸图像图8. 纯粉末的平均光谱曲线。(a) 小麦粉,(b) 滑石粉,石膏粉和木薯粉。4.2. 全面决策模型的必要性在复杂场景中小麦粉掺假检测本质上是一个多目标问题,涉及掺杂物识别和含量估计。即使在使用回归模型的情况下,即使模型训练得很好,噪声的波动也可能将极小的浓度值分配给原本不存在的成分,从而误导掺杂物的分类。知识驱动的方法在提高模型的物理合理性和实际可用性方面起着关键作用,有效防止它们成为单纯的“黑箱拟合算法”。在先前的研究中,将植被指数、物候特征(Yang等人,2025a)和光谱温度物理机制(Sun等人,2025)等先验知识以显式特征或校正机制的形式注入网络,引导模型关注物理上更稳定和具有区分性的特征。基于这一理念,本研究在模型中引入了分类引导机制,以实现仅依赖于数据内部结构的特征学习和知识注入。这使得所提出的方法即使在低含量和高噪声的情况下也能准确估计掺假小麦粉的成分含量,避免将含量分配给不存在的掺杂物,并提高含量估计的准确性。然而,在复杂的小麦粉安全检测场景中,仅依靠数据驱动的任务协作学习是不够的,因为数据偏差或与光谱相关的各种噪声很容易干扰特征提取。因此,本研究认为,结合符合某些物理和化学规律且更具解释性的先验知识,并与端到端的多任务协作相结合,对于更好地平衡物理合理性和数据适应性是必要的。4.3. 建模方法比较在多元回归中,由于传统机器学习方法具有简洁的模型结构、强的可解释性和高训练效率,因此在实践中被广泛使用。这些方法在中等特征维度、有限的数据量或对模型透明性要求较高的场景中表现稳健。然而,当面对高维度、非结构化或复杂的非线性依赖数据时,传统机器学习方法常常受到手动特征工程瓶颈的限制,难以自动捕捉深层模式。尽管大规模参数优化对回归性能指标带来了显著的好处,但仍与实际应用需求存在显著差距。相比之下,深度神经网络在函数逼近方面具有通用性,理论上能够逼近任何连续函数,这使它们在复杂回归任务中具有天然优势(Goodfellow等人,2016年)。近年来,最初为图像或序列建模设计的CNN和Transformer等架构已被尝试引入多元回归。然而,深度神经网络的通用架构并不自然适合多元回归,其性能高度依赖于网络结构与输入数据形式之间的匹配程度。特别是在复杂任务中,通用架构可能难以平衡数据适应性和回归准确性。因此,提出了可解释模块(Mosca等人,2022年)、轻量级架构(Wang等人,2022a)和训练优化策略(Xu等人,2019年)等改进措施并进行了应用。本研究中应用的四种最先进模型在数据维度调整或一维调整后,在小麦粉掺假检测方面的性能较差。SE-ResNet和ConvNeXt在最佳准确性方面表现优异,但两者在交叉验证中的训练稳定性都较差。Transformer家族的两个最先进模型在高消耗和低效率的前提下表现不佳,仅比机器学习方法略好一些。因此,参考一些广泛使用的模型改进思路,本研究基于SE-ResNet构建了一个多任务CNN AFUNet-MT用于光谱解混。通过轻量级主干网络、共享特征层和任务协作机制,有效提高了AFUNet-MT的掺假分类和成分浓度回归的准确性,同时降低了复杂性。结果表明,所提出的模型表现出强大的鲁棒性和泛化性能,但在跨品牌样本数据的预测能力方面仍有改进空间。因此,所提出的模型特别擅长在品牌或浓度梯度相对稳定的场景中实现高精度和高效率的小麦粉掺假类型识别和同步定量分析。从模型参数的角度来看,AFUNet-MT体积小、内存使用少、推理速度快、单位时间样本处理量大,非常适合在资源有限的便携式设备上部署。基于本研究中使用的手持式NIR光谱仪,该方法可以直接用于存储、流通和生产过程的现场快速检测,为农产品安全监督提供高精度和轻量级的掺假识别和智能决策支持。4.4. 未来深度学习模型凭借其强大的特征学习能力,可以从原始光谱数据中自动提取高阶抽象表示,逐渐减少任务独立干扰因素,并形成对领域变化具有一定鲁棒性的特征空间。这种能力为跨领域掺假分析提供了理论基础,并缓解了由于数据分布变化导致的模型性能下降问题。然而,现实世界应用场景的复杂性意味着目标领域的分布更广泛:品牌多样性、设备多样性、生产区域多样性,甚至检测环境多样性。因此,仅依赖模型架构的泛化能力仍然不足,未来的研究迫切需要将重点转移到数据源上。这意味着源域中的样本不仅需要覆盖更多子域的维度,还需要在每个子域内引入更丰富的条件变化。同时,可以使用系统性和可解释的建模样本选择策略(如聚类或信息最大化标准),以确保源域能够有效模拟目标域的潜在复杂性,从而为模型提供真正可靠的泛化能力。在多源面粉掺假的光谱解混分析中,深度学习技术展示了自动提取光谱特征的能力,并敏感地捕捉不同掺杂物对小麦粉光谱影响的差异,从而实现掺假类型的准确区分和含量估计。然而,通用架构往往未能充分考虑任务的特异性。特别是在低浓度掺假或复合掺假场景中,信号之间的微弱差异容易被小麦粉光谱曲线或测量噪声掩盖。这可能会导致模型出现一系列问题,例如难以提取与标签强相关的有效梯度、优化器陷入局部最优解等,导致判别边界模糊、含量估计偏差增加,甚至训练失败。为此,迫切需要加强模型的数据适应性和稳定性,同时保持其表达能力。AFUNet和SE-ResNet的性能比较表明,传统的模型适应性改进可以满足任务需求,这是完全必要的。此外,泛化能力作为衡量模型实用性的关键标准,任务感知的正则化策略是提高泛化能力的重要手段。本研究中的多任务协作训练成功约束了回归器的解混过程,并实现了任务效应的有效对齐,但并未显著提高原本优秀的模型性能。因此,未来的研究还应引入基于浓度敏感性、掺假特征和可视化特征的规则化策略。具体来说,引入浓度敏感的正则化可以增强模型对低浓度掺假弱信号的梯度响应;通过引入不同掺假粉末的光谱知识先验(如光谱特征峰值位置或强度、相似性等)可以改进掺杂物的特征约束,从而提高含量估计的准确性;可视化特征引导机制可以通过类别激活图或梯度权重定位掺假敏感带,从而优化网络对关键光谱区域的关注能力。此外,为了促进模型在边缘设备或现场检测场景中的可靠实施,除了广泛使用的模型轻量化策略外,模型性能与计算复杂性之间的权衡也值得关注。5. 结论本研究提出了一个近红外光谱解混框架,用于多源复合掺假小麦粉的含量估计。通过整合光谱预处理、回归建模和辅助分类策略,所提出的方法在复杂的多掺杂物场景下表现出稳健的性能。实验结果表明,近红外光谱结合适当的建模策略能够捕捉不同掺杂物来源及其比例引起的微妙光谱变化。与传统单一掺杂物分析相比,所提出的框架在处理混合掺假条件时提供了更好的适应性和稳定性。从实际角度来看,所提出的方法为小麦粉质量监测和掺假分析提供了一种非破坏性和高效的解决方案。尽管本研究主要关注方法学验证,但未来的工作将考虑纳入额外的物理化学指标、更简单的线性基线和更大规模的工业数据集,以进一步提高适用性和稳健性。总体而言,这项工作有助于推进复杂食品掺假的定量分析,并为光谱解混技术在食品质量控制中的实际应用提供了方法学参考。CRediT作者贡献声明周雅楠:可视化、监督。王成:写作——审阅与编辑、项目管理。罗斌:写作——审阅与编辑、资源管理、项目管理、资金获取。冯国清:写作——审阅与编辑、原始草稿撰写、验证、调查、数据管理、概念化。顾颖:方法学、形式分析。张涵:方法学、形式分析。陈丽萍:写作——审阅与编辑、监督、方法学。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号