通过物理约束下的数据增强与堆叠技术，结合基于不确定性的可靠性评估，实现基于紫外光谱的可靠硝酸盐定量分析

《Microchemical Journal》：Reliable nitrate quantification from UV spectra via physics-constrained data augmentation and stacking with uncertainty-guided reliability assessment

　　李万文|陈颖|刘俊飞|张俊儒|牛立勇|朱丹丹 中国燕山大学电气工程学院 摘要：从实际海水中通过紫外吸收光谱准确量化硝酸盐的难度较大，原因包括溶解有机物带来的光谱干扰、卤素离子的干扰以及仪器引起的基线漂移，同时高质量校准样本也较为稀缺。为解决这些问题，我们提出了一种基于可靠性考虑的框架，该框架整合了物理约束下的高保真数据增强方法、真实光谱与合成光谱的加权融合、两阶段堆叠集成方法以及基于自举法的不确定性估计。高保真数据增强方法利用指数衰减模型从真实训练光谱中估算溶解有机物背景参数，再通过分析物峰、溶解有机物背景、基线漂移和高斯噪声的光谱叠加，生成符合物理规律的合成光谱。真实光谱与合成光谱通过损失函数重加权机制进行融合，从而在利用增强数据集多样性的同时，使学习过程更贴近实际场景。在10–100?μg?L?1浓度的独立加标海水测试集中，所提出的自举堆叠集成方法（模型数量为30个）的R2值为0.9726，RMSE值为4.52?μg?L?1，这一性能可与强大的支持向量回归方法相媲美，且优于传统的化学计量学和机器学习方法。学习曲线分析表明，仅需20–30个真实校准样本即可实现稳定的低误差预测，显示出在小样本条件下更高的校准效率。此外，单个样本的预测标准差与绝对预测误差呈正相关，这为通过不确定性标志识别低可靠性光谱提供了依据。总体而言，所提出的框架能够在复杂的光谱环境中实现可靠的硝酸盐量化，并结合不确定性信息进行质量控制。引言：硝酸盐是水生氮循环中的关键生化指标，其浓度直接反映了水体的富营养化程度和污染状况[1]、[2]。因此，准确且可靠的硝酸盐量化对于水质监测和环境保护至关重要[3]。目前常用的标准分析方法包括离子色谱法、化学比色法和电化学方法[4]、[5]、[6]、[7]。尽管这些方法精度较高，但通常流程复杂、处理时间较长且成本高昂，难以用于大规模、高通量的水样筛查[8]。相比之下，光谱分析——尤其是紫外吸收光谱分析——由于其成本低、响应速度快且样品预处理要求少，已成为一种极具前景的快速检测方法[9]、[10]、[11]。然而，当应用于实际水体时，测得的光谱往往并非单一成分的独立响应，而是多种化学成分信号复杂叠加的结果。目标分析物的特征吸收容易被溶解有机物和溴离子等强背景吸收剂掩盖，从而导致模型精度下降，限制其在实际样本中的泛化能力[12]、[13]、[14]。为从这类复合信号中准确分离并量化目标信息，现代化学计量学和机器学习方法已成为不可或缺的工具[15]、[16]、[17]。不过，模型性能在很大程度上取决于训练数据的数量和多样性。要构建具有强泛化能力的模型，通常需要涵盖不同浓度组合以及不同背景干扰情况的大量光谱数据集[18]、[19]、[20]。实际上，收集和验证大量具有代表性的真实样本需要耗费大量人力、时间和成本，形成了制约性能进一步提升的“数据瓶颈”。为克服这一局限，数据增强技术被广泛引入光谱建模领域。传统的增强方法，如线性插值或添加随机噪声，虽然可以增加样本数量，但往往缺乏高保真的物理和化学真实性[21]、[22]、[23]。由此产生的伪样本本质上是原始数据的数学扰动，无法再现真实光谱中的关键结构特征，如多成分叠加、基线漂移和倾斜，以及溶解有机物等干扰物的指数衰减吸收特性[22]、[24]。缺乏此类物理一致性的增强数据无法在复杂的自然环境中实现可靠的泛化。与此同时，某些基于深度学习的驱动型方法，如生成对抗网络，虽然原则上能够学习复杂的 ???分布，但也面临两大挑战。首先，训练高容量深度模型通常需要大量且多样的真实数据集，而这恰恰是引发数据增强的“数据瓶颈”问题所在[25]（Dou等人，2023年）。其次，作为黑箱模型，这类模型无法保证生成的合成光谱遵循物理化学定律（如光谱叠加原理），因此难以确保物理一致性[27]、[28]、[29]。综上所述，这两类方法均不足以在复杂的实际环境中实现稳健的预测。近年来，人们也越来越关注将物理原理纳入机器学习以用于光谱分析，包括那些在光谱解混和成分分离等任务中融入物理约束的方法[30]、[31]。尤其是基于物理信息神经网络的方法，通常会将控制方程或约束项嵌入神经网络的损失函数中，以获得符合物理规律的解决方案[32]。虽然当存在准确的机理方程且数据充足时，这类方法效果显著，但在小样本情况下，或是对于那些仅部分了解完整测量过程的复杂自然环境中的数据，这类方法的校准和验证可能会面临困难[33]。在本研究中，我们采用了另一种互补且简洁的方法：无需嵌入完整的控制方程组，而是针对与紫外吸收测量最相关的光谱形成机制施加约束——即分析物谱带的光谱叠加、参数化的指数衰减型溶解有机物背景，以及仪器引起的基线偏移。这种设计在保持可解释性和可控性的同时，也适用于数据量较少的校准场景。除了数据相关的问题之外，建模算法的选择同样至关重要。在化学计量学中，无论是线性模型（如PLS）还是非线性模型（如SVR、ANN），在面对复杂干扰时都可能存在局限性[34]、[35]、[36]。而集成学习方法，尤其是提升算法（如LGBM、XGBoost）和装袋算法（如随机森林），已被证明能够显著提高预测的准确性和稳健性[37]、[38]。然而，这类同质性的集成模型可能仍难以同时兼顾所有相关的光谱特征——例如，既要捕捉目标特征与干扰特征之间的非线性叠加效应，又要有效处理线性的基线漂移问题。作为一种异质集成框架，堆叠集成方法为这一问题提供了独特的解决方案[39]、[40]。堆叠集成采用分层结构，让底层学习器专注于提取不同类型的特征（如用于识别峰形模式的非线性模型），而元学习器则负责学习如何将这些特征与原始光谱中的信息最优地融合，从而得出更为稳健的最终预测结果[41]、[42]。尽管堆叠集成在理论上有诸多优势，但将其应用于高保真物理增强数据与稀缺真实样本之间的加权融合场景——旨在实现可靠的光谱量化——的相关研究还不够充分。为同时解决数据层面和模型层面的上述问题，本研究提出了一种基于物理约束的高保真光谱数据生成策略，并结合堆叠集成框架与不确定性估计方法，以实现具备不确定性意识的硝酸盐浓度量化。与那些将偏微分方程直接嵌入网络架构或损失函数中的物理信息神经网络不同，我们的方法并不试图拟合完整的流体动力学或质量传输过程，而是聚焦于光谱形成的机制：通过少量真实样本的非线性拟合，提取主要干扰物的关键光谱参数分布；然后，依据光谱叠加原理，模拟出大量符合物理规律的合成光谱，这些合成光谱在结构上能够再现实际水体中复杂的干扰模式和基线变化特征。随后，这些高保真合成数据通过与少量真实样本的加权融合，用于训练和部署所提出的高保真数据增强堆叠集成模型。此外，为了系统地评估该框架在小样本条件下的校准效率、抗噪声能力以及可靠性量化性能，我们设计了学习曲线分析、噪声敏感性测试，以及预测不确定性与预测误差之间关系的研究，从而全面验证其在实际海水样本中的应用效果。虽然支持向量回归在高维光谱回归任务中表现优异，可作为有力的基准方法，但它仍属于单一的确定性模型，无法提供样本级的不确定性信息。因此，这里将支持向量回归作为数值性能的基准，而所提出的高保真数据增强堆叠集成框架则提供了一种具备不确定性意识的光谱量化综合方案，整合了符合物理规律的数据增强、集成学习以及预测不确定性估计功能。除了方法论方面的考量之外，还需要认识到环境水质监测的根本目的是为基于证据的决策制定和法规遵守提供依据[45]。在实际情况中，浓度估算结果可能用于触发管理措施、预警响应，或判断污染物浓度是否超过监管标准。在这种背景下，仅有预测精度是不够的。如果一个模型仅给出单一点估计值而不量化其对应的不确定性，就可能导致不恰当的风险评估，或在决策边界附近出现误分类现象[46]。因此，可靠性——即能够以明确的置信度给出可靠预测的能力——在科学意义和实际应用层面都比单纯的精度更为重要。本研究解决的技术难题，如校准数据匮乏和强烈的光谱干扰，都会直接影响光谱预测的可靠性。因此，建立一种具备可靠性意识的框架，不仅是一种建模上的选择，更是为在复杂的生态环境中生成可用的监测数据而不可或缺的科学要求。本研究的主要贡献和创新点如下：章节节选：基于光谱叠加原理的物理约束数据增强策略通过从少量真实样本中提取溶解有机物等干扰物的吸收参数，并根据物理模型生成结构一致的合成光谱，该策略无需大规模的真实数据集即可缓解数据瓶颈问题。其在小样本条件下的校准效率优势已通过学习曲线分析得到量化验证。将高保真合成数据与真实数据相结合的加权融合堆叠框架该两阶段架构以非线性树模型作为底层学习器，以正则化线性模型作为元学习器，将非线性特征提取与稳健的线性校正相结合。即使在复杂的干扰背景下，该框架也能实现与最强基准方法（支持向量回归）相当的预测精度，同时还保持了良好的可解释性。基于集成的预测不确定性估计模块该框架能够同时量化模型置信度与浓度预测值，并通过分析不确定性与绝对误差之间的关系，验证不确定性作为样本级质量控制指标的有效性，为环境监测场景中的风险评估和结果筛选提供了重要依据。交互式可视化原型系统该系统将浓度预测与不确定性可视化相结合，能够实时显示光谱输入数据、预测值以及预测区间，帮助用户根据模型置信度做出可靠判断，同时便于将数值输出结果转化为决策支持依据。样品制备与反应体系本研究使用的水样采集自中国河北省秦皇岛市金梦湾海滩。采样后，首先用孔径为2?μm的滤纸过滤海水，以去除悬浮颗粒物。为构建用于模型开发的梯度浓度样品，采用了加标法，使用的硝酸钠标准溶液浓度为100?μg?mL?1（由深圳碧达环保科技有限公司提供）。以过滤后的海水为基质，配制了一系列样品。方法论：所提出框架的整体工作流程如图3所示。该方法主要包括三个部分：(A)基于物理原理的高保真光谱数据生成，(B)用于实现稳健回归建模的加权堆叠集成学习，以及(C)用于实现可靠性感知预测的自举法不确定性估计。以下各小节将详细介绍这些组成部分。底层学习器：LightGBM作为底层学习器，选择了轻量级梯度提升机（LightGBM；LGBM）。作为一种梯度提升决策树方法，LGBM擅长处理高维输入数据，且能有效捕捉非线性关系。在本任务中，紫外光谱表现出明显的非线性和混合效应，包括硝酸盐（210?nm）和亚硝酸盐（225?nm）的吸收峰重叠、指数衰减型的溶解有机物背景，以及仪器引起的基线漂移（倾斜/位移）。LGBM能够……元学习器：岭回归作为元学习器，选择了岭回归方法。岭回归具有计算稳定且结构简单的优点，在光谱矩阵这类高度共线的情况下表现良好。它的作用是将底层学习器的输出结果进行线性组合，从而纠正系统偏差，进而提高整体的稳定性和可解释性。(3)集成机制首先，底层学习器（LGBM）在混合数据集上进行训练并生成预测结果。随后，元学习器（岭回归）将这些预测结果作为新的输入数据……自举重采样从加权后的混合训练集开始，我们进行N轮有放回抽样，从而生成N个自举训练集。每个自举训练集的大小与原始训练集相同，但组成略有差异。多模型训练通过网格搜索获得的最佳超参数配置，分别在不同自举训练集上独立训练完整的堆叠回归模型，从而形成由N个模型构成的集成模型。集成预测对于任何新的测试光谱，都将该样本输入到全部N个堆叠模型中，从而得到N个独立的预测值：y?1,y?2,…,y?N。(2)不确定性的量化与解释通过上述过程，一个单一的确定性估计值被扩展为一个预测分布。我们利用分布的统计摘要来确定最终预测值及其不确定性。用y?ii=1……N表示针对同一样本的第i个自举模型所给出的预测值。最终点估计值是这样确定的：为了系统地评估所提出方法的有效性，本章设计了一系列对比实验。所有实验都遵循统一的评估标准，以确保公平客观的比较。模型性能通过决定系数（R[2]）和均方根误差（RMSE）来衡量。较高的R2值（越接近1）和较低的RMSE值（越接近0）表明模型性能更好。这些评估指标的定义如下：结论本研究建立了一种以可靠性为导向的光谱量化框架，该框架整合了受物理约束的数据生成、具有结构意识的集成学习以及预测不确定性估算。除了预测精度之外，该框架还充分考虑了可靠性，从而实现了硝酸盐的精准量化以及对预测置信度的定量评估。从应用角度来看，所提出的方法为实现可靠的成果提供了实用路径：生成式AI声明在撰写本文档的过程中，作者使用了ChatGPT（OpenAI）来提升手稿的清晰度和可读性（包括英文编辑和措辞建议）。在使用该工具/服务后，作者对内容进行了必要的审阅和修改，并对最终发表的内容承担全部责任：CRediT作者贡献说明李万文：写作——审阅与编辑、写作——初稿、验证、方法论、正式分析、数据整理。陈颖：项目管理、资金获取。刘俊飞：写作——审阅与编辑、验证。张俊如：写作——审阅与编辑、可视化。牛立勇：写作——审阅与编辑。朱丹丹：写作——审阅与编辑：利益冲突声明作者声明没有已知的财务利益或个人关系可能影响本文所述的工作：致谢本项工作得到了中国自然科学基金（项目编号62275228）、河北省自然科学基金（项目编号D2024203002和D2025203004）、河北省科技计划（项目编号19273901D和20373301D）的支持。