基于蒙特卡洛方法与残差网络的带选择技术，用于实现抗噪声的近红外光谱定量分析

《Spectrochimica Acta Part A: Molecular and Biomolecular Spectroscopy》：Monte Carlo band selection with residual network for noise-robust near-infrared spectral quantitative analysis

　　

Jiyue Gao

中国海洋大学信息科学与工程学院，山东266100

摘要

本文提出了一种抗噪声的蒙特卡洛连续波段选择与轻量级残差网络（MCC–LRNet）框架，用于工业近红外（NIR）光谱的稳健定量分析。该框架整合了三项创新技术：一是用于去除噪声和异常值的参数化预处理模块；二是用于提取信息丰富连续波长区间的蒙特卡洛连续波段选择算法（MCC）；三是用于回归分析的定制残差网络（LRNet）。在四个工业数据集（两个烟草数据集和两个啤酒数据集，共涵盖18个指标）上的实验表明，与PLS、SVM和ResNet18相比，完整的MCC-LRNet框架在18个指标中的10个指标上实现了最低的均方根误差（RMSE），RMSE范围从0.065（氮含量）到0.750（总糖含量），R2值范围从0.882（钾含量）到0.988（水分含量）。该框架可作为光谱定量分析的竞争性基线方法。

引言

近红外（NIR）光谱技术已被广泛用作食品、饮料和烟草行业中多组分快速无损定量分析的技术[9]、[11]、[28]、[39]。准确测量水分[21]、糖[12]、[41]和氮[24]等关键质量指标对于现代工业生产中的过程控制、产品分级和质量保证至关重要。与耗时且具有破坏性的湿化学分析方法相比，NIR技术由于其样品准备要求低，更适合在线和大规模工业应用[1]、[23]。近红外光谱基于含氢官能团（如O-H、N-H和C-H键）的基本分子振动所产生的吸收峰[2]。在实际工业测量中，NIR光谱会受到随机噪声、基线漂移和光散射的影响，这些因素由样品形态、粒度和测量条件的变化引起[7]、[13]、[17]。例如，在近红外测量中，粉末样品表面的不均匀性可能导致光谱基线整体升高，从而产生系统性的预测偏差[30]。此外，在连续混合过程中，料斗振动的激活和停用会引起粉末混合物的密度波动[29]，这种情况与烟草叶片的近红外检测非常相似；这种密度变化会导致采集到的光谱出现周期性基线漂移[27]。

为应对NIR光谱的复杂性，人们开发了许多化学计量学和机器学习方法[6]、[8]、[15]。偏最小二乘回归（PLS）仍然是常用的工业基线方法，因为潜在变量分解可以缓解多重共线性并提供一定程度的可解释性[31]、[40]。包括支持向量机（SVM）[18]、[26]和人工神经网络（ANN）（Chen等人，2026；[33]、[38]）在内的非线性模型已被广泛研究，以捕捉光谱变量与化学组分之间的非线性关系，并在许多应用中显示出改进的预测性能。最近，深度学习模型（如CNN和注意力机制）实现了端到端的学习，减少了手动特征工程的需求（Luu和Huynh，2026；Zhao等人，2026；H. [39]；S. [39]）。然而，在光谱回归中，参考测量通常成本高昂且耗时较长，导致数据集规模较小（仅包含数百到数千个样本），在这种情况下深度模型可能会过拟合并在不同批次间表现不稳定。因此，一个实用的工业应用方向是将化学计量学先验（预处理和稳定特征选择）与深度表示学习相结合，以实现稳健性和非线性建模能力。

尽管波段选择对于降维和冗余抑制非常有效，但遗传算法[25]、[42]、连续投影算法（SPA）[36]（Souza等人，2025）或变量重要性排序[3]、[37]等方法主要关注识别离散的单一变量。由于NIR光谱中的化学信息主要通过宽泛且重叠的吸收区域传递，碎片化的离散表示会降低物理可解释性，并可能削弱对噪声和漂移的鲁棒性。蒙特卡洛风格的采样策略（如CARS）通过重复随机采样提高了选择的稳定性，但大多数实现仍然主要针对离散变量操作。目前仍需要开发一种能够稳定提取信息丰富连续波长区间同时尊重光谱物理特性的专用机制。

为了解决上述问题，我们提出了MCC–LRNet框架，该框架整合了噪声抑制、蒙特卡洛连续波段选择和轻量级残差网络，用于工业NIR光谱的稳健定量分析。该框架由三个关键模块组成：（i）噪声抑制预处理模块，结合了Savitzky–Golay平滑、散点校正（如MSC/SNV）和基于马氏距离的异常值去除，以提高批次间的一致性；（ii）蒙特卡洛连续波段（MCC）算法，通过随机子带采样、快速回归器评估和可靠性累积来稳定提取信息丰富的连续波长区间；（iii）专为波段输入定制的轻量级残差网络（LRNet），结合多尺度卷积和注意力机制来建模非线性关系。在涵盖18个定量指标的四个工业数据集（烟草和啤酒生产数据集）上的实验表明，与传统的化学计量模型和深度学习基线方法相比，所提出的框架实现了更低的预测误差和更高的稳定性。

章节摘录

样品和数据集

本研究使用了四个工业近红外（NIR）光谱数据集，包括两个烟草数据集（Tobacco1和Tobacco2）和两个啤酒数据集（Beer1和Beer2），共涵盖18个定量指标。所有样品及其相应的实验室参考值均由工业合作伙伴提供，并在发布前进行了匿名处理。NIR仪器的具体型号如下：Tobacco1数据集使用的是FOSS NIRS DS2500仪器采集的

噪声抑制预处理模块的效果

所提出的噪声抑制模块依次结合了基于马氏距离的异常值检测、Savitzky–Golay平滑和乘法散点校正（MSC），以确保光谱质量和批次间的一致性。其有效性从定性（异常值可视化）和定量（预测准确性）两个方面进行了评估。清洗后的数据被用作回归建模的输入。

结论与讨论

本研究提出了MCC–LRNet框架，用于近红外光谱的稳健定量分析。该框架通过整合光谱领域知识，结合了三个协同工作的模块：参数化噪声抑制预处理、蒙特卡洛连续波段选择算法（MCC）和定制的轻量级残差网络（LRNet）。

实验结果表明，LRNet-MCC在18个指标中的10个指标上实现了最低的测试均方根误差（RMSE），而SVM（尤其是在使用全光谱时）

未引用的参考文献

[4]、[5]、[19]、[32]

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：Shusong Yu报告称获得了中国国家重点研发计划项目的财务支持。

致谢

本研究得到了中国国家重点研发计划项目（项目编号：2022YFB3305703）的支持。

由于作者的母语非英语，仅在写作过程中使用了AI辅助进行翻译。