以数据为中心的水质预测方法:样本量、数据增强及模型性能研究——以热带湿地中的铵盐为例 多丽丝·梅希亚·阿维拉(Doris Mejia Avila)、 维维安娜·索托·巴雷拉(Viviana Soto Barrera) 富兰克林·托雷斯·贝哈拉诺(Franklin Torres Bejarano)

《Water》:A Data-Centric Approach to Water Quality Prediction: Sample Size, Augmentation, and Model Performance with a Focus on Ammonium in a Tropical Wetland Doris Mejia Avila, Viviana Soto Barrera and Franklin Torres Bejarano

【字体: 大 中 小 】 时间:2026年04月29日 来源:Water 3

编辑推荐:

  **摘要** 本研究在以数据为中心的人工智能框架下,整合了统计学、地质技术和人工智能,以提高水质预测的准确性。主要目标是确定训练出稳健且准确的机器学习模型所需的最小样本量。基于哥伦比亚北部热带湿地中的30个采样点,选择铵离子浓度作为目标变量,总溶解固体、悬浮固体、磷酸盐、溶解

  **摘要**
本研究在以数据为中心的人工智能框架下,整合了统计学、地质技术和人工智能,以提高水质预测的准确性。主要目标是确定训练出稳健且准确的机器学习模型所需的最小样本量。基于哥伦比亚北部热带湿地中的30个采样点,选择铵离子浓度作为目标变量,总溶解固体、悬浮固体、磷酸盐、溶解氧、硝酸盐和化学需氧量作为预测因子。由于30个观测数据不足以训练出稳健的模型,因此采用了普通克里金(OK)和经验贝叶斯克里金(EBK)方法进行数据增强。从克里金插值表面中随机抽取了1000个合成点(在保持估计的空间结构的同时进行空间分布);从这个扩展的数据集中抽取不同大小的子样本,用于训练六种算法:多元线性回归(MLR)、随机森林(RF)、k最近邻(k-NN)、梯度提升机(GBM)、多层感知器(MLP)和径向基函数神经网络(RBF-NN)。在这些算法中,RF、k-NN、MLP、RBF-NN和GBM在插值数据上的表现优异:在测试阶段,它们的调整决定系数(a_R2)超过0.95,对称平均绝对百分比误差(SMAPE)低于10%,并且在外部验证下的预测表面表现相当。根据稳定性、拟合优度和外部验证的标准,大多数算法的最佳最小样本量为104个观测值。这些结果在缓解水质建模中的数据稀缺问题上取得了显著进展。本文确定的有效数据增强方法和适当的样本量选择,支持了人工智能技术在水质预测中的广泛应用。所提出的策略可应用于其他定量、空间连续的环境变量,从而促进了地理空间人工智能(GeoAI)这一新兴子学科的发展。

**1. 引言**
水是地球上生命的重要资源[1];因此,监测和建模水质是一个全球性的挑战。水质监测包括众多水文、物理、化学和生物参数,其中一些参数在现场测量,另一些则通过实验室分析获得[2]。水质模型已成为控制、预防和修复水资源污染的有效工具;然而,其有效性取决于能否准确捕捉潜在过程;否则,管理决策可能会基于不可靠的信息[3]。
水质建模的主要限制之一是数据不足。参考文献[4,5,6]指出,传统的水质评估依赖于手动采样和实验室分析。这些方法可能速度慢、成本高且物流复杂,特别是在偏远地区。一些技术,如实时现场传感器网络(IoT—物联网)和与人工智能结合的遥感平台,可以提供更全面的数据。然而,当这些技术不可用或需要预测特定时间的水质时,现场监测仍然是建模的关键。参考文献[7]强调,水质评估中的数据稀缺是一个必须解决的问题。
在当前基于人工智能的建模中,机器学习的模式识别能力与数据集大小成正比:数据集越小,算法的效率和准确性越低[8]。因此,使用小数据集是一个限制。参考文献[9]指出,机器学习研究主要集中在开发模型类型和架构以及定义超参数以提高性能;然而,在机器学习中,算法并不是决定最终分类准确性的主要因素[10]。
参考文献[11]将数据为中心的人工智能(AI)定义为一个新兴领域,该领域通过提高数据质量和数量来改进AI系统。这种方法强调开发和应用方法、工具和最佳实践,以系统地设计优化基于AI系统性能的数据集[12]。数据为中心的AI方法包括三个目标[11]:(1)数据开发,包括数据收集、标记、准备、清洗、降维和增强;(2)推理数据开发,用于模型部署;(3)数据维护,确保在动态环境中的数据质量和可靠性。
数据增强解决了两个核心研究挑战:它增加了来自有限数据集的数据量,并减少了过拟合[13]。方法论上的进步主要集中在对象检测和医学图像分析[14,15]方面。
在增强水质评估数据方面,最近的研究采用了多种方法。参考文献[7]使用四种技术从实际观测数据生成合成数据,以评估马来西亚雪兰莪河和斯库代河的水质:条件表格生成对抗网络(CTGAN)、表格变分自编码器(TVAE)、高斯copula(GC)和copula生成对抗网络(CopulaGAN)。作者发现,从增强数据集得到的估计值比从小数据集得到的估计值更准确。
参考文献[16]认为,空间插值方法可以作为有效的数据增强技术,因为它们能够准确捕捉环境现象中的随机性、依赖性和空间变异性。作者评估了OK插值方法在提高预测总溶解固体(TDS)水质参数模型准确性方面的效果。他们发现,使用现场样本训练的模型与使用数据增强样本训练的模型之间存在统计学上的显著差异,因此得出结论,普通克里金方法是一种有效的模型质量提升技术。
参考文献[17]使用了两种插值方法——具有不同核的高斯过程(GP)和使用各种变异图的克里金——来增加农业数据库中的观测数量,以预测甘蔗田中杂草Commelina benghalensis L.的覆盖情况。参考文献[18]使用传统克里金从现场测量生成伪标签,然后将这些标签与未标记的卫星图像结合。随后,他们将增强后的图像与包含实际现场测量的现有训练集集成。利用这个增强后的数据集,他们训练了一个卷积神经网络模型(CNN-RF模型),并将其性能与未使用伪标签训练的模型进行了比较。
拥有足够的数据是必要的;然而,确定适当的样本量对于正确和客观评估AI算法至关重要[19]。过度采样可能导致时间和资源的浪费[20]。样本量对模型性能的影响仍然是一个需要进一步研究的领域[21]。
目前,关于AI应用样本量要求的研究主要集中在临床背景下。例如,参考文献[20]提出了一种估计AI模型样本量的程序,包括以下步骤:(a)定义误差阈值或临床可接受的准确性;(b)使用随机重采样多次构建多个具有较小样本量的子集;(c)在每个子集上训练模型;(d)使用将模型性能与不同样本量相关联的曲线来估计最佳数据量。
在热带地区,评估水质的数据稀缺是一个持续存在的问题,缺乏实时采集技术和预算限制阻碍了足够现场数据系列的收集。这种数据不足限制了AI在水质建模中的应用,并阻碍了能够为水资源管理和保护提供可靠信息的稳健模型的发展。
本研究在以数据为中心的AI框架下,解决了现场观测数据的稀缺问题,并确定了用于水质建模的最佳样本量。主要目标是确定训练出能够准确预测水质的稳健机器学习模型所需的最小样本量。为了增加数据可用性,对现场水质测量数据应用了OK和EBK方法。
数据集来源于2024年9月27日的现场采样,这一天在Bajo Sinú地区正好是雨季,此时湿地综合体达到最大蓄水量。在Guartinaja湿地内的30个地点记录了17个水质参数。
对此样本采用了以下程序:(1)选择铵离子(NH3)作为目标参数;(2)使用降维技术确定最佳预测因子;(3)使用OK和EBK进行数据增强;(4)从每个克里金表面抽取1000个点并生成不同大小的子样本;(5)在Python中实现了五种AI回归算法:多元线性回归(MLR)、随机森林(RF)、k最近邻(k-NN)、梯度提升机(GBM)、多层感知器(MLP)回归器和径向基函数神经网络(RBF-NN);(6)在增强后的子样本上训练每种算法;(7)通过评估模型稳定性、解释能力和预测表面与现场数据的外部验证来比较样本量。
地统计方法——OK和EBK——被证明是合适的数据增强策略。在插值数据上训练的RF、k-NN、MLP、RBF-NN和GBM模型表现出高解释能力,调整决定系数(a_R2)超过0.95,对称平均绝对百分比误差(SMAPE)在测试和预测表面上都低于10%。
在评估不同的训练和验证样本量时,五种模型的稳定点出现在200个观测值时。根据稳定性、拟合优度和外部评估的标准,大多数算法的最佳最小样本量为104个观测值。有两个例外:(a)MLR算法,在测试阶段和外部评估中的SMAPE值均超过10%;(b)RBF-NN算法,在78个观测量的样本量下满足了所有三个条件,表明在较小样本量下具有更高的解释能力。
在以数据为中心的人工智能框架下,本研究提出了一种结合统计工具、地质技术和人工智能的集成策略,以生成更稳健的模型,提高描述水生生态系统状态的预测准确性。本文确定的有效数据增强方法和适当的样本量选择将促进AI在水质预测中的更广泛应用。未来的研究应将该方法扩展到其他水质指标。该方法也可应用于其他定量、空间连续的环境变量,从而促进地理空间人工智能(GeoAI)这一新兴子学科的发展。

**2. 材料与方法**
**2.1. 研究区域**
2024年9月27日在哥伦比亚北部加勒比地区的Bajo Sinú湿地综合体(BSWC)内的Guartinaja湿地进行了现场采样。该综合体是Sinú河流域最低的河流-湖泊单元[22],包括永久性和临时性的沼泽、河口和淡水池塘。BSWC自然地缓冲和调节Sinú河洪水期间的降雨和多余水量[23]。研究区域的平均温度为27.5°C,平均降水量为1253.3毫米,平均蒸发量为1007.1毫米[24]。图1显示了Guartinaja湿地的地理位置。
**2.2. 数据集**
2024年9月27日的采样活动中,在湿地内的30个地点收集了17个水质参数的数据(图1)。这一天在Bajo Sinú地区正好是雨季,此时湿地综合体达到最大蓄水量。
现场观测的位置详细信息见附录A。测量的参数包括:浊度;温度;总溶解固体;悬浮固体;盐度;总磷;溶解磷酸盐;有机氮;二氧化氮;氨;pH值;溶解氧;硝酸盐;化学需氧量;生化需氧量;电导率。表1列出了这些参数及其相应的测量单位和收集方法。表1显示了2024年9月采样活动中在Guartinaja湿地收集的水质参数。
对于现场测量,使用了HI-9829多参数探针(HANNA,Leighton Buzzard,英国),遵循哥伦比亚水文、气象和环境研究研究所(IDEAM)的现场数据收集技术规范。根据这些规范,设备在每次测量前都进行了校准和检查。每次读数后,探针用样品冲洗,多参数电极在记录数据后用蒸馏水清洗,以防止测量之间的交叉污染[25]。
**2.3. 样本降维**
选定的目标变量是铵离子(NH3)。NH3是鱼类蛋白质代谢的副产品,也是细菌分解有机物(如食物残渣、粪便、死亡浮游生物、污水等)的产物。在其未结合的形式(NH3)下,它具有极高的毒性[26],主要存在于地表水中。为了确定适合NH3建模的预测因子,采用了以下程序:首先对NH3与候选预测因子进行了皮尔逊相关性分析。皮尔逊相关系数[27]用于衡量两个变量之间线性关系的强度和方向,其值范围从-1(完全负相关)到+1(完全正相关)。绝对相关系数|p|≥0.50的预测因子被保留下来。用于计算皮尔逊相关系数的公式如下:(1) 在此公式中,p(a,b)表示皮尔逊相关系数,σ_a表示参数a的标准差,σ_b表示参数b的标准差。对于与NH3相关的参数,还使用了方差膨胀因子(VIF)测试[28]来评估预测参数与目标参数之间的多重共线性程度。用于计算VIF的公式如下:(2) 其中R^2表示两个预测参数之间的线性回归决定系数。VIF值为1表示两个变量之间没有多重共线性;VIF值在1到5之间表示中度多重共线性,这通常是可接受的;VIF值大于5表示高度多重共线性[29]。在那些VIF值大于5的预测参数对中,与目标参数(NH3)相关性最低的参数被舍弃。

2.4 数据增强
2.4.1 地统计方法适用性分析
空间插值要求样本数据具有高斯分布和空间自相关性[30]。对于每个参数,基于直方图进行了正态性分析[31],并为不符合正态分布的参数定义了标准化函数。为了确定每个原位数据集的空间相关程度,应用了全局Moran’s I检验。该检验利用分析参数的位置和值来判断数据集是分散的还是聚集的[32]。全局Moran’s I指数使用以下公式计算:(3) 其中δ_i表示属性值xi与其平均值x?的偏差。对于特征X,w_ij表示特征x和y之间的空间权重,n表示特征的总数,Σ_w_ij表示所有空间特征的权重之和。Moran’s I指数的范围在+1到-1之间。值为+1表示数据呈聚集模式,0表示无相关性,-1表示数据呈分散模式[33]。通过空间随机性假设检验进一步确认了空间自相关性,该检验的零假设认为数据呈现随机空间分布。根据标准差(z分数)和概率(p值)来评估数据自相关性的可靠性[32]。z分数大于-1.65且p值小于0.05时,拒绝零假设[34]。

2.4.2 地统计方法在数据增强中的应用
采用了两种地统计方法:OK和经验EBK。对于每个参数,两种方法都进行了应用,并选择了统计性能最佳的克里金(kriging)表面。

OK是一种随机方法,它假设已知点之间的距离或方向,并利用这些信息来解释表面变化[35]。在OK方法中,权重的确定不仅基于测量点与预测位置之间的距离,还基于这些点的整体空间排列[36]。未知值的计算基于半变异函数或实验模型的计算(公式(2)[37],随后将其调整为理论模型以计算未知值[37]。

从克里金表面中提取了每个参数的浓度值,这些位置分布在Guartinaja湿地地区的1000个点上,排除了原始样本中的位置。这个数据集构成了增强后的样本。

2.5 机器学习(ML)算法
使用了六种基于Scikit-learn(https://scikit-learn.org/stable/(2025年5月5日访问)ML库构建的回归算法:通过OLS方法调整的MLR、RF、k-NN、GBM、MLP回归器和RBF-NN。

2.5.1 多元线性回归(MLR)
为了开发MLR算法,采用了普通最小二乘(OLS)方法,该方法将回归平面拟合到假设呈线性趋势的数据“云”上[39]。使用了Python 3.13中的Statsmodels库(https://www.statsmodels.org/dev/generated/statsmodels.regression.linear_model.OLS.html(2025年5月20日访问),以评估回归模型的有效性、鲁棒性以及是否符合假设,例如正态性、残差的同方差性和预测变量的多重共线性。

2.5.2 随机森林(RF)
RF算法由[40]提出,是一种通用的分类和回归方法,基于“分而治之”的简单而有效的原则:取出一部分数据样本,为每个子集创建一个随机树预测器,然后将这些预测器聚合起来[41]。随机决策森林能够轻松适应数据中的非线性,因此通常比线性回归提供更准确的预测[42]。

2.5.3 k-最近邻(k-NN)
k-NN算法是一种非参数的、基于实例的监督机器学习方法,用于分类和回归任务[43]。

2.5.4 梯度提升机(GBM)
这种算法构建的新基础学习器与整个数据集相关的损失函数的负梯度最大程度相关[44]。GBM在实际应用以及各种机器学习和数据挖掘挑战中都取得了显著的成功[45]。

2.5.5 多层感知器回归(MLP回归器)
MLP是一种由相互连接且可互换的人工神经元组成的神经网络。神经网络中的层数对应于感知器的层数[46]。

2.5.6 径向基函数神经网络(RBF-NN)
在RBF-NN中,输入层和输出层之间只有一个隐藏层。在隐藏层中,输入层提供的自变量被输入到一组多元基函数中以形成隐藏特征(即隐藏层的输出)。随后,在输出层中,这些特征被加权并线性求和(即RBF-NN近似)以逼近目标因变量[47]。

2.6 构建学习曲线
随着样本量增加到1000个数据点,训练了六种机器学习算法以生成学习曲线,并在20个数据点的间隔处确定断点。采用了三折交叉验证方法进行重复实验。使用Scikit-learn库中的MinMaxScaler(https://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.MinMaxScaler.html(2025年6月10日访问)对预测变量的值进行了标准化。为了确保模型之间的可比性,使用了相同的初始化种子(随机状态)。为了确定最佳超参数,结合使用了Scikit-learn库中的GridSearchCV工具(https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html(2025年6月10日访问)和手动调整。使用以下统计量评估模型的解释能力:
(a) a_R2。调整后的决定系数用于评估模型解释目标变量的能力,同时惩罚模型的复杂性,这与数据点和预测变量的数量有关[48]。计算决定系数的公式如下:(5)
其中a_R2是调整后的决定系数,n是观测值(样本点)的数量,k是自变量的数量。
(b) 均方根误差(RMSE)[49]。它是预测值与实际观测值之间平方差异的平均值的平方根。RMSE惩罚较大的误差[50],使用以下公式计算:(6) Xi是预测值,Yi是实际值,n是数据点的数量。
(c) 对称平均绝对百分比误差(SMAPE)[51]。使用以下公式计算:(7) 其中Xi是测量值,Yi是预测值,n是数据点的数量。SMAPE有助于比较不同值尺度下的回归模型的预测性能。交叉验证和测试统计是在原始数据尺度上进行的。

2.7 使用不同样本量训练模型
根据学习曲线,我们确定了性能趋于稳定的样本量,并用它来定义子样本。子样本是从扩展的数据集中抽取的,确保每个子样本在整个湿地区域内均匀分布。子样本的训练过程和评估指标与生成学习曲线时使用的相同。

2.8 选择生成NH3预测表面的最佳最小样本量
选择最小样本量的方法遵循了[20]中关于开发AI模型时估计样本量的指南。建立了三个必要条件:
条件1. 模型稳定性。性能必须在不同的数据划分中保持不变。为此,训练集和验证集之间的a_R2差异以及训练集和测试集之间的a_R2差异必须小于5%。
条件2. 模型拟合度和准确性。选择的模型满足:(a) 在测试阶段,a_R2 > 0.8且SMAPE < 10%;(b) 性能优于算术平均值[52],模型的RMSE小于其来源样本的标准差。
条件3. 外部验证:对于满足条件1和2的模型,生成预测表面,并将预测值与原位测量值进行比较。根据SMAPE值(从预测和现场测量中计算得出)选择模型,要求其SMAPE值低于10%。

为了构建预测表面,输入参数(预测变量)是克里金表面的像素值,排除了增强样本中的1000个数据点,以防止对训练数据集的依赖。生成NH3预测表面的最佳最小样本量是能够训练最多满足三个提出条件的算法的样本量。

2.9 预测表面
选择了满足三个提出条件的预测表面,并通过计算空间相关矩阵进行了比较。图2展示了方法的总结图。

3. 结果
3.1 参数维度降低
在野外测量的参数中,有九个参数与NH3参数的相关性大于±0.5:TDS、SS、SAL、PO4、DO、NO3、COD、BOD和EC。表2展示了NH3与其他参数之间的相关矩阵。表3展示了与NH3相关的九个参数的VIF矩阵。SAL、EC和BOD参数的VIF值大于5,表明它们之间存在共线性;因此,这些参数被舍弃作为预测因子。最终选定的预测因子是TDS、SS、PO4、DO、NO3和COD。表4展示了目标参数和预测因子的原位样本的描述性统计信息。所有参数共有30个测量值。变异系数(CV)最高的参数是NH3,其CV为85.7%。

3.2 数据增强
表5展示了Imoran检验和空间随机性假设检验的结果。Imoran值大于0,z分数超过1,p值远低于0.05,表明样本中存在强烈且统计上显著的空间自相关性。这些结果表明,地统计方法可以应用于原位样本。3.3 地统计插值 对NH3、COD、DO、NO3和SS参数进行了数据增强,使用了OK方法。相比之下,TDS和PO4参数则采用了EBK方法。附录B中的表A1比较了每种克里金方法的交叉验证RMSE与现场样本的标准差,表明插值估计值能够复制原始样本的变异性。详细分析这些结果的插值报告可以在附录B的表A2中找到。图3展示了交叉验证的RMSE与原位数据的标准差之间的图形比较。对于大多数参数而言,插值能够充分再现数据的固有变异性,因为预测误差低于或非常接近样本的标准差。3.4 增强样本 从每个克里金得到的表面中,均匀地在湿地中抽取了1000个位置,并提取了它们的估计值。每个参数的增强样本的描述性统计数据显示在表6中。图4使用平均值(a)和变异系数(b)比较了原位样本和增强样本。两个数据集在平均值和变异系数上的重叠突显了两个样本之间的相似性。3.5 配置样本大小 图5显示了使用增强样本训练的模型的学习曲线。在交叉验证中使用了四折法。图5 使用增强样本训练的模型的学习曲线。算法包括:(a) MLR, (b) RF, (c) k-NN, (d) MLP, (e) RBF-NN, 和 (f) GMB。阴影区域表示与模型相关的不确定性水平。使用增强样本训练的模型的学习曲线表明,在训练阶段(由蓝色曲线表示)性能较高且相对稳定,MLR模型除外。MLR模型的阴影区域表示训练阶段的不确定性程度。相比之下,在验证阶段(由黄色曲线表示),使用较小样本量(20和40)训练的模型性能下降,表明不稳定性增加。六种算法在大约200个观测值的样本量时达到了稳定点;也就是说,超过这个阈值后,性能的提高非常小。样本量低于200时,一些算法表现出不稳定性。例如,在MLP中,训练曲线中的宽阴影表示a_R2值的不确定性,此外,验证性能明显低于训练性能(分别为0.9和0.7)。表7列出了用于训练、交叉验证和测试的样本量,最大训练样本量为200个数据点。对于每个训练样本量,额外添加了30%的数据用于测试阶段。总共训练了48个模型:每种模型类型8个样本量,包括完整的1000个数据点。表8展示了每个样本量的NH3参数的描述性统计。3.6 使用不同样本量训练ML算法 表9展示了用于训练每种类型算法的超参数集。对于MLR算法,没有使用超参数。附录C中的表A4、表A5、表A6、表A7和表A8提供了每个模型中使用的超参数值的详细信息。每个模型都用ML算法缩写加上一个数字来表示训练、验证和测试的样本量。图6展示了按算法和样本量划分的训练、验证和测试阶段的性能比较。没有一种使用26个观测值样本量训练的模型在测试阶段的a_R2值超过0.5;因此,所有这种样本量的模型都被排除在分析之外。图6 按算法和样本量划分的训练、验证和测试阶段的性能比较:(a) MLR; (b) RF; (c) k-NN; (d) MLP; (e) RBF-NN; (f) GMB。随着样本量的增加,观察到了拟合度的提高。所有模型在训练阶段都表现出高拟合度(拟合指数>0.90),但在验证和测试阶段的值较低。样本量为52的模型在训练、验证和测试阶段之间的拟合度变化最大。训练和测试之间的差异如下:MLR = 0.39; RF = 0.25; k-NN = 0.17; MLP = 0.096; RBF-NN = 0.092; GMB = 0.18。这些结果表明,至少对于MLR、RF和k-NN模型来说,样本的潜在变异性没有得到充分捕捉,或者存在过拟合,因为训练阶段的性能很高,但在使用未见数据预测目标变量时性能下降。样本量为104时,三条曲线(训练、验证和测试)之间的分离变窄,表明模型具有稳定性和足够的泛化能力。所有三个阶段的a_R2值≥0.95,表明预测性能很高。图7比较了不同样本量模型在测试阶段的a_R2值。RBF-NN算法在所有样本量下始终表现最佳,而MLR的表现最差。其余算法在样本量为78或更大时表现相似。图8比较了不同样本量算法在测试阶段的SMAPE。MLR算法在样本量增加时没有显示出改进。图8 不同样本量算法在测试阶段的SMAPE比较。3.7 选择最佳样本量 3.7.1 分析模型稳定性(条件1)表10展示了训练阶段与交叉验证和测试阶段的a_R2值之间的差异。这些差异降至0.05以下的最小样本量为104个观测值。例外的是RBF-NN算法,它在78个观测值时就达到了这一阈值,表明用较少的数据点就能获得稳定的拟合。表10 训练阶段与交叉验证和测试阶段的a_R2值之间的差异。缩写‘Train’、‘Val’和‘Test’分别表示训练、验证和测试。3.7.2 模型的拟合优度和准确性(条件2) 在满足条件1的六个模型中,有五个也满足了条件2,在测试阶段实现了a_R2 > 0.8和SMAPE < 10%。同样,这五个模型的测试RMSE低于训练样本的标准差,表明预测误差小于数据的自然变异性。因此,由于其测试SMAPE超过10%,MLR104模型被排除在选程之外,如表11所示。表11 模型测试阶段的a_R2、RMSE和SMAPE以及用于训练的样本的标准差。3.7.3 外部验证(条件3)图9中,红色虚线条显示了满足条件2的六个模型在预测表面与原位测量值之间的SMAPE(%),在所有情况下都<10%。蓝色虚线条代表测试阶段的SMAPE。比较表明,在这两种情况下准确性相似,除了k-NN 104和GMB104,它们的SMAPE在使用原位数据时减少了大约一半,表明更好的现场预测和更准确的预测表面。图9 在测试阶段计算出的SMAPE(%)与外部验证的比较。三个条件的评估确定,最佳性能的最小样本量为104个观测值。只有RBF-NN模型在78个观测值时满足了条件。图10比较了满足三个条件的五个模型在训练、验证和测试阶段的a_R2。所有五个模型在所有阶段的a_R2值都非常相似(>0.90),表明高稳定性和解释能力。基于这些发现,RBF-NN在少量训练样本的情况下提供了最佳性能,使用78个观测值获得了合适的指标。在104个观测值下训练的模型中,GMB的表现最好,基于原位数据的SMAPE最低(4.4%)。3.8 预测表面 图11显示了来自满足三个条件的五个模型的预测表面及其基本统计信息。强烈的视觉和统计相似性支持使用这些算法预测NH3表面的合理性。图11 来自满足三个条件的五个模型的预测表面及其基本统计信息:(a) NH3-RF104; (b) NH3-k-NN104; (c) NH3-MLP104; (d) NH3-RBF-NN78; (e) NH3-GMB104。表12展示了六个预测表面之间的空间相关矩阵。观察到高度的空间相关性(值>0.90),表明使用任何六个模型获得的NH3浓度预测都是相似的。表12 来自满足三个条件的五个模型的六个预测表面之间的空间相关矩阵。4. 讨论 本研究属于以数据为中心的人工智能方法,解决了水质建模中原位观测数据稀缺的问题——这是基于AI的季节性水文系统建模的一个关键限制。主要目标是确定训练出能够准确预测水质的强大机器学习模型所需的最小样本量。为了增加数据的可用性,对原位水质测量数据应用了普通方法和EBK方法。基于2024年9月27日雨季收集的30个观测值的原位样本,使用OK和EBK进行了数据增强。从增强样本中选取了1000个点,这些点在哥伦比亚北部热带湿地群落中的Guartinaja湿地中空间分布均匀。NH3浓度被选为目标变量,而TDS、SS、PO4、DO、NO3和COD作为预测变量,在进行降维分析后使用。开发了六种ML算法(MLR、RF、k-NN、GMB、MLP和RBF-NN)。它们最初在1000个样本上进行了训练以生成学习曲线,表明模型性能在大约200个数据点时稳定。增强数据集被分成不同大小的子样本(26、52、78、104、130、195和260个点),从中训练了六个ML模型以确定进行稳健水质建模所需的最小样本量。五个模型(RF、k-NN、MLP、RBF-NN和GMB)在测试阶段的a_R2 > 0.95和SMAPE < 10%方面表现出高解释能力。模型的稳定性、拟合优度和外部验证标准的评估表明,大多数算法的最佳最小样本量为104个数据点。4.1 数据增强 使用两种插值方法OK和EBK并没有进行比较分析;选择了最适合原位样本的方法。为不同参数生成的克里金表面有效地再现了原始样本的变异性,因为交叉验证的均方根误差(RMSE)低于原始数据的标准差(SD)。我们得出结论,OK和EBK方法适用于增强用于训练水质应用人工智能模型的数据集。将克里金预测表面与实地测量结果进行验证后,SMAPE值低于10%,RMSE也表明这些方法的适用性。使用地统计方法进行数据增强是最近的发展,仅有少数作者对此进行了记录。参考文献[17]采用了两种插值技术来增强农业数据库:带有变分核的高斯过程(GP)和具有不同变异函数的克里金方法。他们发现GP方法在预测性能上优于克里金方法,而克里金方法则提供了更均匀的空间覆盖[18]。另一项研究也报告了克里金方法的有利结果:使用克里金方法生成的数据用于训练CNN-RF模型,并与未使用伪标签训练的模型进行了比较,结果表明包含伪标签图像显著改善了测试数据上的预测误差和空间相关性[53]。参考文献[53]使用不同的数据集训练了一个随机森林回归模型来预测钡(Ba)浓度(单位:mg/kg):(a) 克里金方法生成的数据;(b) 野外采集的数据;(c) 作为额外协变量的未标记空间数据;(d) 自我训练数据。另一方面,参考文献[54]还应用了克里金方法来增强地磁、海拔和坡度数据。所有作者都认为,当结合地统计方法生成的数据时,模型统计性能显著提高,这与本研究的结果一致。

在基于人工智能的水质建模中,参考文献[16]是评估OK方法在增强预测总溶解固体(TDS)模型有效性方面的已发表工作之一。研究发现,基于野外样本训练的模型与基于增强样本训练的模型之间存在统计学上的显著差异;因此,OK方法被认为是一种有效的模型质量提升技术。我们的发现与[16]的研究结果一致:克里金方法生成的表面再现了野外数据的变异性,而增强后的数据使模型的预测因子能够解释超过90%的NH3方差。参考文献[53]指出,当地目标变量的观测值表现出明显的空间依赖性时,地统计方法的表现最佳;当空间自相关性非常弱或可以忽略时,这些方法就不适用了。此外,我们强调地统计方法在数据增强方面的有效性取决于对实地样本的彻底评估,以确定其是否适合进行地统计处理[30,55]。适合插值的数据应具有近似高斯分布、可证明的空间自相关性、稳定性、足够的样本量以及能够捕捉现象变异性的适当空间配置。在构建克里金表面之后但在将其用于数据增强之前,进行交叉验证和原始样本与插值表面之间的统计比较是必要的[56]。我们认为本研究中预测表面的出色统计性能归功于遵循了这些协议。

许多研究者强调了实地数据缺乏是建模中的一个限制[57,58,59]。可以说,缺乏生成稳健模型所需的数据成为将人工智能整合到环境建模中的障碍。尽管利用地统计方法进行数据增强的尝试相对较新且数量有限,但这些方法可以被视为解决实地空间数据不足问题的潜在方案。在环境领域,这对于那些缺乏环境资源监测政策或实时监测先进技术的地区的研究人员来说具有重要意义。通过克服数据限制,将人工智能应用于地理空间数据分析将变得更加可行。

在水质建模方面,研究人员正朝着生物光学建模方向发展[33],利用遥感传感器作为增加数据可用性和改善空间分布的策略。然而,在这些模型中,实地数据仍然至关重要,因为它们对于校准是必需的[60]。这表明,至少在水质领域,需要大量人力和经济投入才能收集的实地数据仍然是不可替代的。因此,能够可靠地人工增强实地数据代表了在监测和理解水这一地球关键资源方面的重大进步。数据量的增加提高了使用各种人工智能算法的潜力,从而提高了预测的准确性。我们的研究以及其他关于使用插值器作为数据增强方法的相关研究,标志着一项全面研究轨迹的开始,这将有助于丰富地球科学人工智能(GeoIA)的知识体系。参考文献[30]描述了大约21种地统计插值器和12种确定性插值器,这些方法应作为数据增强手段进行评估。此外,在水质领域,将这些技术与生物光学模型相结合并根据其他物理化学参数进行评估是至关重要的。

4.2. 使用人工智能模型对NH3参数进行建模的样本量比较
六种机器学习算法(MLR、RF、k-NN、MLP、RBF-NN和GBM)最初使用从数据增强过程中获得的1000个点进行训练。训练后生成了一条学习曲线,分析表明这六种算法的最大稳定化样本量为200个数据点。对于这个样本量,所有模型的训练和验证性能都超过了0.9(a_R2)。参考文献[61]也报告了类似的结果,他们评估了一个随机森林模型,该模型用于预测局部、区域和全国范围内的森林地上生物量,并比较了不同的样本量(n = 25、50、100、200、300和500)。他们注意到a_R2值随着样本量的增加而提高;然而,当样本量超过300到500个时,准确性的提升变得微不足道,这突显了使用过大样本量所带来的收益递减现象。

从增强样本中提取了七个子样本,样本量分别为26、52、78、104、130、195和260个数据点。每种机器学习算法都使用八个数据集(包括1000个数据点的增强样本)进行训练,共训练出了48个模型。所有算法都表现出一致的行为模式,即随着样本量的增加,模型的泛化能力得到提升,这一现象也在多项研究[21,61,62]中有所报道。使用26个数据点子样本训练的算法在测试阶段没有一种算法的a_R2超过0.5。使用52个数据点子样本训练的算法中,MLR、RF和k-NN模型出现了过拟合现象,这与[61]的发现一致,该研究指出小样本量(n < 30)下的模型无法保持一致的准确性。使用104个数据点样本训练的模型在训练、交叉验证和测试三个阶段都表现出稳定性,a_R2值均超过0.95。在SMAPE方面,MLR算法的误差最高,没有实现随数据量增加而减少的预期趋势,所有MLR模型的误差都超过了30%。相反,RBF-NN算法在所有样本量下的误差最低。

通过对模型在稳定性、调整能力和外部验证条件下的评估,确定了大多数算法的最佳最小样本量为104个数据点。有两个例外:MLR算法在测试阶段和外部评估中的SMAPE值超过了10%;RBF-NN算法在78个数据量的样本量下满足了所有三个条件,表明该模型在较小样本量下具有更好的解释能力。这些结果在从选定模型派生的预测表面中得到了体现:RF104、k-NN104、MLP104、RBF-NN78和GMB104。预测表面的空间相关矩阵显示了非常高的相关值(范围从0.99到1),表明这些表面都适合用于预测NH3参数。研究结果表明,理想的最小样本量可能因算法和其他未在此研究中考虑的因素而异。例如,参考文献[63]研究了训练集大小的变化(从大样本(n = 10,000)到非常小的样本(n = 40)对六种监督机器学习算法在分类高空间分辨率(AR)遥感数据(1–5米)大范围应用性能的影响。总体而言,随着样本量的增加,全局准确性有所提高;对于所有分类方法,10,000个样本集的总体平均准确性最高,而40个样本集的准确性最低。然而,每种分类器对样本量增加的反应各不相同。

参考文献[64]评估了训练样本量、采样设计和预测模型类型(MLR和RF)对三种土壤属性(土壤有机碳、粘土和pH值)预测性能的影响。他们还使用了地统计技术来获取足够的数据。他们的总体结论是,在低到中等样本量范围内,较大的样本量是提高准确性的最关键因素。然而,还有其他值得注意的发现:(a) 尽管增加训练样本量可以提高预测准确性,但相对提升幅度逐渐减小;(b) MLR在准确性稳定性方面的提升比RF更为明显。因此,随机森林在较大样本量下的表现明显更好。

在机器学习中,算法并不是影响最终分类准确性的唯一关键因素[10];然而,不能断言这种准确性完全取决于数据量。本研究的结果以及其他关于人工智能模型样本量的研究结果表明,在样本量分析中需要考虑其他因素,如算法类型、各种数据增强方法、目标变量和研究区域的空间范围。关于目标变量,需要注意的是,水质是一个高度动态的属性,其行为在空间和时间上都有所变化,不同参数之间也存在差异。在本研究中,我们关注的是铵(NH3);因此,对于其他指标或在不同气候季节进行的采样,估计的样本量可能会有所不同。尽管如此,所采用的方法论提供了一个可复制的框架,可以作为研究其他水质参数的参考。

5. 结论
本研究表明,通过普通克里金和EBK进行数据增强可以生成高质量的水质NH3参数预测模型。这些发现代表了在解决水质建模中数据稀缺问题方面的重大进展,并有望促进人工智能技术在这一领域的更广泛应用。在以数据为中心的人工智能框架内,这项研究特别相关:它提出了一种整合统计方法、地理空间技术和人工智能的策略,以生成更稳健且预测准确性更高的模型。改进的预测将支持更精确的诊断和自然水生生态系统的管理决策。本研究的局限性在于我们仅关注了作为水质参数的铵,且样本是在雨季收集的。虽然这种方法使我们能够进行全面的分析并训练出48个人工智能模型,但其他参数和不同气候季节的样本量可能会有所不同。该方法适用于其他水质参数以及其他定量、空间连续的环境变量,为新兴的GeoAI领域做出了重要贡献。研究结果与相关研究的比较表明,应用于地理信息的人工智能研究——尤其是在水质领域——仍处于早期阶段。未来的研究方向包括:(1) 评估其他插值器作为数据增强方法;(2) 将这一方法论框架应用于其他参数,并在不同季节进行评估,以评估其普遍性,因为水质参数的空间连续性在不同气候季节之间存在差异。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号