一种基于主成分浊度校正和集成变量选择的稳健紫外-可见光谱海水化学需氧量检测方法

《Frontiers in Marine Science》：A robust UV–Vis spectral method for seawater COD detection based on principal component turbidity correction and ensemble variable selection

　　

可靠评估沿海海水中化学需氧量（COD）对于监测有机污染和保护海洋生态系统至关重要。然而，浊度引起的光谱干扰以及紫外-可见光谱（UV-Vis）中的高维冗余阻碍了传统建模方法的准确性。本研究提出一种集成方法，该方法结合了新型主成分扰动反馈浊度补偿（PC-FDTC Hybrid）与基于堆叠的变量选择（SBVS）策略，以增强COD预测性能。PC-FDTC Hybrid引入第一主成分作为反馈校正项，以改善200–400 nm范围内的光谱基线稳定性。同时，SBVS策略通过元学习整合了竞争自适应重加权采样（CARS）、蒙特卡洛无信息变量消除（MC-UVE）和随机蛙跳（Random Frog）算法，以识别稳健且信息丰富的波长。研究人员使用自主研发的UV-Vis多参数传感器系统分析了来自中国胶州湾的共646份海水样品。实验结果表明，所提出的SBVS-PLSR模型结合Savitzky–Golay平滑和PC-FDTC补偿，实现了优越的预测精度（R2 = 0.993，RMSEP = 0.340），显著优于传统的全光谱和单一方法模型。总体而言，所提出的方法增强了模型稳健性，将光谱复杂度降低了96%以上，并为浑浊海洋环境中的实时COD监测提供了一种紧凑、精确且可现场部署的解决方案。

论文解读文章

研究背景与问题：海水质量监测对保护海洋生态系统和人类健康至关重要。沿海工业化和水产养殖活动导致有机污染加剧，化学需氧量（Chemical Oxygen Demand，COD）是评估海洋和河口环境污染程度的广泛认可指标。传统COD检测方法（如重铬酸盐氧化法和高锰酸盐滴定法）虽然准确，但耗时、使用有害试剂，且不适用于实时监测。紫外-可见光谱（Ultraviolet-Visible Spectroscopy，UV-Vis）因能捕获有机化合物的特征吸收，成为一种快速、无损的COD评估方法。然而，复杂性环境干扰，特别是悬浮颗粒物引起的浊度，会扭曲光谱基线并掩盖COD相关吸收带，导致定量不准确。传统浊度校正方法如乘法散射校正（Multiplicative Scatter Correction，MSC）和标准正态变量（Standard Normal Variate，SNV）只能提供部分解决方案，无法解决非线性或多源干扰效应。此外，UV-Vis光谱是高维数据，包含数百个高度共线性且部分冗余的波长，变量选择对构建简约且可泛化的预测模型至关重要。现有单一变量选择算法（如竞争自适应重加权采样（Competitive Adaptive Reweighted Sampling，CARS）、蒙特卡洛无信息变量消除（Monte Carlo-Uninformative Variable Elimination，MC-UVE）和随机树（Random Trees，RT））可能因随机采样、缺乏交互建模或对噪声和异常值敏感而表现出不稳定性。因此，研究人员开展本研究，旨在开发一种结合新型浊度补偿和集成变量选择方法的综合框架，以提升海水COD检测的准确性和鲁棒性。

研究内容与意义：研究人员提出了一种集成方法，将新型主成分扰动反馈浊度补偿（Principal Component Disturbance Feedback Turbidity Compensation，PC-FDTC Hybrid）与基于堆叠的变量选择（Stacking-based Variable Selection，SBVS）策略相结合，以增强COD预测性能。该研究使用自主研发的UV-Vis多参数传感器系统，分析了来自中国胶州湾的646份海水样品。实验结果表明，所提出的SBVS-PLSR模型（结合Savitzky–Golay平滑和PC-FDTC补偿）实现了优越的预测精度（决定系数R² = 0.993，预测均方根误差RMSEP = 0.340），显著优于传统全光谱和单一方法模型。该方法增强了模型稳健性，将光谱复杂度降低96%以上，为浑浊海洋环境中的实时COD监测提供了紧凑、精确且可现场部署的解决方案。该论文发表在《Frontiers in Marine Science》。

主要关键技术方法：研究人员采用了一种基于主成分扰动反馈的浊度补偿方法（PC-FDTC Hybrid），利用第一主成分（PC1）作为反馈校正项，抑制浊度引起的宽带基线效应。同时，开发了基于堆叠的变量选择（SBVS）策略，集成CARS、MC-UVE和随机蛙跳（Random Frog）三种基选择器，通过元学习（元回归器）融合选择结果，识别稳健的波长。光谱预处理使用Savitzky–Golay（S-G）平滑滤波。所有建模基于646份来自中国胶州湾的海水样品，采用Kennard-Stone（KS）算法按7:3比例划分训练集和预测集。模型性能通过决定系数（R²）、预测均方根误差（RMSEP）和相对百分偏差（RPD）评估。

研究结果：

（1）光谱预处理——S-G平滑：在浊度补偿和定量分析前，研究人员应用Savitzky–Golay（S-G）平滑滤波器（多项式阶数3，窗口大小21）处理原始UV-Vis光谱。结果显示，平滑后的光谱保留了关键吸收特征，同时显著降低了全波长范围内的噪声，提高了光谱平滑性和连续性，验证了预处理在浊度校正和特征提取前的必要性。

（2）浊度补偿——PC-FDTC混合方法：研究人员提取第一主成分（PC1）作为全局浊度向量，并将其作为反馈项纳入FDTC校正中，以提升补偿稳定性和光谱保真度。方差归因分析（ANOVA-PCA）表明，PC1主要与浊度相关（57.5%），超过COD（28.9%）和硝酸盐（5.3%）。通过10个合成浊度梯度样品比较五种校正方法，PC-FDTC Hybrid取得了最佳校正性能（RMSEP = 1.438，R² = 0.797，RPD = 3.817），优于PC-350、行式SNV、扩展乘法散射校正（EMSC）和经验模态分解（EMD）方法。校正后的光谱在COD敏感区（200–400 nm）与过滤参考光谱高度吻合，保留了化学相关特征。

（3）变量选择与预测模型性能评估：研究人员比较了CARS、MC-UVE、RF和SBVS四种变量选择方法，以相同FDTC补偿后的光谱数据集建立偏最小二乘回归（PLSR）模型。结果显示，SBVS-PLSR模型在测试集上表现最佳（R² = 0.993，RMSEP = 0.340），变量数减少约96%。CARS-PLSR（R² = 0.964）和RF-PLSR（R² = 0.953）也表现出较强预测能力，而MC-UVE-PLSR性能极差（R² = 0.001）。SBVS在100次运行中变量选择数量固定（77个），展现出完美重复性。在光谱分布上，多数方法集中于200–300 nm的COD敏感区，而SBVS还额外识别了补充区间，提升了模型泛化能力。综合比较表明，S-G平滑、PC-FDTC补偿和SBVS变量选择的整合框架显著优于传统全光谱和单一算法模型。

总结讨论与结论：讨论部分强调了所提出的PC-FDTC Hybrid方法在复杂海水条件下有效抑制浊度干扰并保持光谱完整性的优势，SBVS策略通过集成多种选择器平衡了选择多样性和模型稳健性。研究结论指出：本研究为利用UV-Vis光谱准确稳健检测海水COD提供了综合框架。新型PC-FDTC Hybrid方法通过引入PC1作为反馈校正向量，显著提升了200–400 nm COD敏感区的补偿性能，优于MSC和PC-350等经典方法。为进一步提升模型可解释性和泛化能力，开发了基于堆叠的变量选择（SBVS）策略，集成CARS、MC-UVE和随机蛙跳（Random Frog）三种经典算法，实现了信息波长的平衡选择，在预测精度和稳定性上优于单个方法。与全光谱模型相比，最终SBVS-PLSR模型（结合S-G预处理和PC-FDTC补偿）取得了优越的预测指标（RMSEP = 0.340，R² = 0.993），同时将变量维度降低90%以上。总体而言，该集成框架有效解决了复杂海洋基质中浊度干扰和高维光谱冗余的双重挑战，为沿海和河口环境的实时COD监测提供了紧凑、准确且可泛化的解决方案，在环境传感和水质管理中具有广泛的应用潜力。