《Chinese Journal of Analytical Chemistry》:A Novel Near-infrared Spectral Variable Selection Approach Based on Discretized Tyrannosaurus Optimization Algorithm
编辑推荐:
近红外(NIR)光谱结合多元校正方法,因其快速、无损等优势,被广泛应用于复杂样品的定量分析。然而,NIR光谱中的峰重叠与变量冗余会降低模型的预测精度与泛化能力。因此,在建模前从全光谱中筛选变量至关重要。本研究首次将暴龙优化算法(TROA)离散化,并将其引入光谱
近红外(NIR)光谱结合多元校正方法,因其快速、无损等优势,被广泛应用于复杂样品的定量分析。然而,NIR光谱中的峰重叠与变量冗余会降低模型的预测精度与泛化能力。因此,在建模前从全光谱中筛选变量至关重要。本研究首次将暴龙优化算法(TROA)离散化,并将其引入光谱变量选择,结合偏最小二乘(PLS)方法进行建模。采用片剂、油脂混合物、橙汁和土壤样品的4个NIR光谱数据集对该方法进行了验证。分别优化了包括PLS潜变量(LVs)数目、TROA的传递函数以及迭代次数在内的关键参数。与全光谱PLS、无信息变量消除-PLS(UVE-PLS)、Monte Carlo-无信息变量消除-PLS(MC-UVE-PLS)、随机化检验-PLS(RT-PLS)、竞争性自适应重加权采样-PLS(CARS-PLS)、灰狼优化器-PLS(GWO-PLS)和鲸鱼优化算法-PLS(WOA-PLS)相比,TROA-PLS在4个数据集上均表现出模型简洁性和预测精度方面的显著优势。因此,TROA是一种高效、可靠的NIR光谱变量选择方法,为复杂样品的光谱建模提供了一种新方法。
该论文发表于《Chinese Journal of Analytical Chemistry》,围绕近红外(NIR)光谱复杂样品定量分析中的变量筛选问题,提出了一种基于离散化暴龙优化算法(TROA)的新方法,并与偏最小二乘(PLS)建模相结合,构建了TROA-PLS分析框架。研究背景在于,NIR光谱虽然具有快速、无损、样品前处理要求低等优点,已广泛用于农业、食品、医药和石油化工等复杂体系分析,但其本质上属于分子振动吸收的间接分析技术,谱带通常由C-H、O-H和N-H键的倍频与合频组成,因而普遍存在吸收强度弱、谱峰严重重叠、变量维度高和冗余信息多等问题。若直接利用全光谱建模,不仅会增加模型复杂度,还容易引发过拟合,削弱模型泛化能力与预测精度。因此,在建模前识别并筛选与目标组分高度相关的特征变量,是提升模型性能和可解释性的关键步骤。
现有变量选择方法如无信息变量消除(UVE)、Monte Carlo-UVE(MC-UVE)、随机化检验(RT)、投影重要性(VIP)、竞争性自适应重加权采样(CARS)、连续投影算法(SPA)和区间偏最小二乘(iPLS)等,虽可在一定程度上提高模型预测效果,但变量选择本质上属于NP-hard问题,具有高复杂度和高计算难度。传统方法在高维数据处理中容易陷入局部最优,计算效率也受限制。群体智能优化算法因其在高维、多目标优化问题中的全局搜索能力和鲁棒性,近年来为光谱变量选择提供了新的技术路线。TROA是受暴龙(T-Rex)捕食行为启发提出的一种新型群体智能优化算法,其通过模拟“暴龙-猎物”生态系统,将每个猎物视为候选解,通过猎捕、位置更新与适应度筛选实现全局最优搜索。论文指出,该算法具有框架简洁、收敛较快以及避免早熟收敛和跳出局部最优能力较强等特点,但此前尚未应用于NIR光谱变量选择领域,因此有必要开展这项研究。
研究人员首先对TROA进行了离散化改造,使其能够适用于以“选”或“不选”为核心的光谱变量组合优化问题。随后,以片剂、油脂混合物、橙汁和土壤4类复杂样品的NIR光谱数据为研究对象,系统考察了PLS潜变量(LVs)数目、TROA迭代次数及不同传递函数对模型性能的影响,并在最优参数条件下建立TROA-PLS模型,再与全光谱PLS及6种常见变量选择方法进行比较。研究结论表明,TROA-PLS在4个数据集上均能以更少的变量获得更低的预测均方根误差(RMSEP)和更高的相关系数(R),说明离散化TROA在NIR光谱变量选择中具有良好的有效性与可靠性,对复杂样品定量分析的模型精简与精度提升具有重要意义。
研究人员采用的主要技术方法可概括如下:首先,以4个公开或既有NIR光谱数据集作为研究对象,包括310个片剂样本、51个油脂混合物样本、218个橙汁样本和102个土壤样本,并按照原始数据集划分方式或Kennard-Stone(KS,Kennard-Stone样本划分法)划分训练集与预测集;其次,利用PLS建立定量分析模型,并以交叉验证均方根误差(RMSECV)作为适应度函数;再次,将连续型TROA借助atan、V-shaped和sigmoid三类传递函数离散化为二元变量选择过程;最后,通过比较RMSECV、RMSEP、相关系数R以及入选变量数量,评估不同参数与不同变量选择方法的建模效果。
在结果部分,论文首先设置了“4.1. The latent variables of PLS”这一小节,讨论PLS潜变量数目的优化。研究人员考察了LVs从1到25变化时模型RMSECV的变化趋势。结果表明,片剂和橙汁数据集的RMSECV在LV增加初期迅速下降,均在LV=8时达到最小值,之后分别趋于稳定或略有回升,显示过多潜变量会引入过拟合。油脂混合物和土壤数据集则表现出更复杂的变化轨迹,其中油脂混合物数据集在LV=21时取得全局最小RMSECV,土壤数据集在LV=14时达到最小值。由此确定4个数据集的最优LVs分别为8、21、8和14。这部分结果说明,不同复杂样品体系对潜变量复杂度的需求存在显著差异,合理选择LVs是后续变量筛选与模型优化的基础。
在“4.2. Iteration number of TROA”部分,研究人员考察了TROA迭代次数对模型性能的影响。结果显示,4个数据集在迭代初期RMSEP值较高,随着迭代次数增加,RMSEP明显下降,且曲线波动逐渐减小;当迭代次数超过400后,RMSEP基本保持稳定。该结果表明,TROA具有较快的收敛特性。为保证与其他变量选择方法比较时的公平性,研究最终将最大迭代次数设定为500,从而确保各方法均有充分机会达到收敛状态并获得最优结果。
在“4.3. Transfer function”部分,论文比较了atan、V-shaped和sigmoid 3种传递函数对离散化TROA性能的影响。结果表明,在4个数据集上,当迭代次数较低时,不同传递函数对应的RMSEP均较高且不稳定;随着迭代增加,atan函数不仅收敛更快,而且收敛后的RMSEP最低。以片剂数据集为例,sigmoid函数在稳定后仍表现出最高RMSEP,而atan函数表现最佳,V-shaped函数次之。类似规律同样出现在油脂混合物、橙汁和土壤数据集中。因此,研究人员最终选定atan函数作为全部数据集的最优传递函数。这一结果说明,离散化策略本身会显著影响群体智能算法在变量选择中的搜索效率与解的质量。
在“4.4. Effect of variable selection methods”部分,研究人员在最优参数组合下,将TROA-PLS与全光谱PLS、UVE-PLS、MC-UVE-PLS、RT-PLS、CARS-PLS、GWO-PLS和WOA-PLS进行系统比较。结果显示,TROA选出的变量数明显少于UVE、MC-UVE、RT、GWO和WOA,且GWO与WOA在若干数据集中几乎保留了大部分变量;UVE、MC-UVE和RT在变量分布上具有较高一致性;CARS虽然也能筛选出较少变量,但更集中于局部谱段;TROA则以最少变量实现了在整个光谱范围内较均匀的变量分布。从预测结果看,TROA-PLS在4个数据集上均获得最佳或最优综合表现。片剂数据集中,TROA-PLS仅选择37个变量,即取得RMSEP 0.4082和R 0.9515,优于全光谱PLS及其他方法。油脂混合物数据集中,TROA-PLS选择36个变量,RMSEP降至4.7160,R升至0.9136。橙汁数据集中,TROA-PLS仅保留16个变量,RMSEP为3.4498,R为0.8817,显示出显著的变量压缩能力。土壤数据集中,TROA-PLS选择20个变量,获得最低RMSEP 1.1406和最高R 0.9816。总体而言,该部分结果直接证明了TROA-PLS在模型简化与预测性能提升之间实现了更优平衡。
在“4.5. Prediction results”部分,研究人员进一步比较了PLS与TROA-PLS在预测集上的拟合效果。通过测量值与预测值关系图可见,TROA-PLS在片剂、油脂混合物、橙汁和土壤4个数据集上均比PLS表现出更好的拟合一致性,同时具有更高的R值和更低的RMSEP值。该结果进一步验证,经过TROA筛选后的特征变量能够更有效地保留与目标组分相关的关键信息,同时减少冗余和干扰变量,从而提升PLS模型的预测能力。
讨论部分的核心在于,离散化TROA能够将原本面向连续优化问题的群体智能算法成功迁移到二元光谱变量选择任务中,并通过适应度驱动的全局搜索,在控制变量数目的同时显著改善模型性能。论文通过多数据集比较表明,该方法不仅适用于不同样品类型、不同光谱区间和不同变量规模的数据,而且相较于传统化学计量学变量筛选方法与其他群体智能算法,展现出更稳定的综合优势。特别是在变量数大幅减少的前提下,仍能获得更高精度的预测结果,这说明所选变量更具信息代表性和组分相关性。该研究为NIR复杂样品建模提供了一种新的变量筛选思路,也为后续将新型群体智能算法引入光谱化学计量学研究提供了方法学参考。
研究结论部分可译为:本研究首次将离散化TROA与PLS结合,用于4个NIR光谱数据集(包括片剂、油脂混合物、橙汁和土壤)的变量选择和组分含量预测。研究在算法内部对LVs数目、迭代次数和传递函数进行了优化。基于最优参数和最相关的光谱变量,建立了用于定量分析的TROA-PLS模型。结果表明,与全光谱PLS及另外6种变量选择方法相比,TROA-PLS能够选择更少的变量,获得更小的RMSEP值和更高的R值。因此,离散化TROA显示出作为NIR光谱变量选择有效工具的巨大潜力。