基于高光谱技术的水体中氨氮浓度的检测方法

《Journal of Water Process Engineering》：The detection method of ammonia nitrogen concentration in water bodies based on hyperspectrum

氨氮浓度监测中，基于高光谱技术的机器学习模型构建与验证研究。通过室内建模与室外场验证结合，采用导数处理与特征筛选优化预处理，建立随机森林、支持向量机、梯度提升决策树、卷积神经网络等六种模型，发现ANN模型在原始数据下R2达0.73，经一阶导数和特征选择后提升至0.81，并保持复杂水体中0.62的精度。SHAP分析表明近红外波段贡献率51.7%。

　　
本研究针对水体氨氮浓度监测的关键需求，创新性地构建了"室内高精度建模-室外实地验证"双阶段技术体系，系统探索了高光谱遥感技术在氨氮浓度定量反演中的适用性。研究团队在西安理工大学晋华校区实验室开展的基础实验中，参照《地表水环境质量标准》（GB 3838-2002）规范，精确制备了0-4 mg/L的梯度化氨氮标准溶液，通过室内光谱建模实验有效排除了自然水体中复杂光学干扰因素。实验采用350-900 nm宽光谱范围采集数据，通过二阶导数处理优化光谱特征提取，并运用主成分分析（PCA）与皮尔逊相关系数（Pearson）结合的特征筛选方法，显著提升了数据解释效率。

在模型构建阶段，研究者对比了六种主流机器学习算法的性能表现：随机森林（RF）、支持向量机（SVM）、梯度提升决策树（GBDT）、反向传播神经网络（BP）、人工神经网络（ANN）和卷积神经网络（CNN）。通过构建原始数据、一阶导数数据、二阶导数数据及特征筛选数据四组对比实验，系统评估了不同预处理方法对模型性能的影响。研究发现，经过一阶导数处理并实施特征筛选的ANN模型在实验室环境下表现出最优性能，其决定系数（R2）达到0.81，较原始数据提升17.3%。特别是在复杂实际场景的验证中，该模型仍能保持0.62的R2值，验证了算法的鲁棒性。

SHAP（Shapley Additive Explanations）可解释性分析揭示了光谱特征的关键作用：近红外波段（700-1000 nm）对氨氮浓度反演的贡献率高达51.7%，其光谱响应与水体中氨氮分子吸收特性存在显著关联。研究特别发现，450 nm附近的吸收峰与氨氮浓度呈现非线性负相关关系，这种特征在导数处理后的光谱数据中表现更为突出。通过建立特征重要性排序模型，成功识别出12个关键波段，其中波段754 nm（R2=0.87）和波段798 nm（R2=0.82）对氨氮浓度预测的贡献度最高。

实际应用验证阶段，研究团队在西安曲江园林人工湖布设了6个监测点位，通过连续72小时的动态监测获取了高光谱与化学分析数据。验证结果表明，经过特征筛选的ANN模型在真实水体中仍能保持较高的预测精度（R2=0.62），且其预测值与实测值的相关系数（R=0.89）和平均绝对误差（MAE=0.23 mg/L）均达到可接受工业监测标准。值得注意的是，在氨氮浓度低于0.5 mg/L的敏感区间，模型表现出优异的分辨能力，其预测误差范围控制在±0.15 mg/L以内。

研究提出的双阶段验证体系具有重要方法论意义：第一阶段通过实验室可控环境建立基础模型，消除大气散射、悬浮物等干扰因素；第二阶段引入真实水体环境验证，重点考察模型在光谱分辨率降低（从实验室的0.5 nm降至野外的2.0 nm）、光照条件波动（日变化幅度达40%）以及水体浑浊度（NTU 5-15）等复杂条件下的适应性。这种分段式验证方法有效规避了传统研究"实验室理想条件-野外复杂环境"间的数据鸿沟。

在技术路径上，研究团队开发了三阶段数据处理流程：原始光谱数据经去噪处理后，采用快速傅里叶变换（FFT）进行频域分解，提取出8个具有显著特征差异的频段；接着通过主成分分析（PCA）降维至3个主成分，再结合皮尔逊相关系数筛选出12个关键波段；最后采用随机森林特征重要性评估方法，确定近红外波段754 nm和可见光波段532 nm为最优特征组合。

模型性能比较显示，CNN模型在实验室环境下表现最佳（R2=0.79），但在野外验证时由于小样本学习特性明显，R2值骤降至0.48。相比之下，ANN模型在两种环境下均保持稳定性能，其预测精度在实验室环境达到0.81，野外观测条件下仍保持0.62，这主要得益于其结构化特征学习机制。特别值得关注的是，梯度提升决策树（GBDT）在导数预处理后性能提升显著，其R2值从原始数据的0.65跃升至0.78，表明该算法对光谱非线性特征的捕捉能力较强。

研究还揭示了不同预处理方法对模型性能的差异化影响：二阶导数处理使随机森林模型预测精度提升17.3%，而反向传播神经网络（BP）模型在二阶导数处理下性能下降12%。这种差异源于导数运算对光谱曲线曲率信息的增强作用，随机森林模型擅长处理非线性关系，而BP网络对高频噪声敏感。特征筛选阶段，通过构建特征重要性加权模型，成功将预测误差降低19.6%，同时将特征维度从256个压缩至12个，显著提升了算法计算效率。

在应用场景方面，研究团队开发了面向城市人工水体的动态监测系统。该系统通过无人机搭载高光谱传感器（采样间隔2 nm，光谱范围400-1000 nm），实现了对湖体氨氮浓度的空间化监测。实际应用表明，在晨昏时段（太阳高度角<15°）监测时，模型预测精度下降约8%，但通过引入太阳轨迹补偿算法，可将精度恢复至0.65以上。系统特别设计了抗混浊干扰模块，当水体浑浊度超过10 NTU时，自动切换至近红外波段主导的特征组合，确保预测稳定性。

该研究成果为高光谱遥感技术在氨氮污染监测中的应用提供了重要技术支撑。研究建立的"特征筛选-模型优化-可解释性分析"三位一体技术框架，不仅解决了传统反演模型在复杂水体环境下泛化能力不足的问题，还通过SHAP值分析揭示了光谱特征与氨氮浓度之间的定量关系：近红外波段的光谱反射率每降低0.01，对应氨氮浓度增加0.38 mg/L（95%置信区间）。这种定量化特征贡献机制，为后续开发自适应光谱补偿算法奠定了理论基础。

在工程应用层面，研究团队开发了轻量化移动监测终端，集成高光谱相机（0.1 nm分辨率）、电化学传感器（检测限0.1 mg/L）和边缘计算模块。实测数据显示，该终端在200 m2湖面内可实现0.3 m的空间分辨率，监测响应时间缩短至15秒以内。在西安曲江新区生态廊道监测中，系统成功实现了对5个不同污染等级水体的实时分级预警，误报率控制在3%以下。

未来研究将聚焦于多源数据融合与模型优化：计划整合可见光-红外-微波多光谱数据，开发基于Transformer架构的时序预测模型；同时探索机器学习模型与物理化学模型的耦合方法，构建"数据驱动+机理解释"的混合反演框架。该技术体系的应用将显著提升城市人工水体氨氮污染的监测频率（从季度级提升至周级）和覆盖范围（单次监测面积扩展至10万㎡），为《"十四五"全国生态环境保护规划》中提出的"氨氮污染总量控制"目标提供关键技术支撑。

该研究在方法学层面实现了三个突破：首先建立了实验室-野外双验证体系，解决了光谱模型在真实环境中的泛化难题；其次开发了基于SHAP值的特征重要性动态评估方法，实现了对关键光谱特征的实时识别与更新；最后构建了"预处理-特征筛选-模型训练-解释验证"的全流程自动化系统，将传统监测流程的耗时从72小时压缩至4小时以内。这些创新成果为高光谱遥感技术在环境监测中的工程化应用提供了可复制的技术路径。