《Groundwater for Sustainable Development》:Reproducible Statistical Inference for Assessing Water Quality: A Decision Framework for Method Selection and Reporting
研究人员将水质统计重构为可辩护的决策路径而非技术清单,识别当前水质评估中统计方法选择决策报告存在的空白,并提出一套面向水质评估的统计方法选择与报告决策框架。该框架旨在提升水质解读的透明度、可复现性与可辩护性。水质数据集通常具有多变量、尺度异质性、时间结构性及易受缺失值、异常值、删失观测值与空间依赖性影响的特征,因此统计推断在表征水文地球化学过程、识别污染源及支撑管理决策中发挥核心作用。尽管传统多元统计方法(如主成分分析(PCA)、层次聚类分析(HCA)、因子分析(FA)、判别分析(DA)及正定矩阵因子分解(PMF))与机器学习(ML)技术在水质研究中广泛应用,但现有研究多侧重技术罗列,缺乏对方法选择逻辑的系统阐释,且常忽视数据预处理、假设检验与结果稳健性的透明报告。研究人员强调,统计结构并不直接对应物理污染源,需结合水文地质知识与现场证据进行综合解读。本综述通过批判性评估现有统计实践,从决策点视角整合单变量、双变量与多元方法,构建覆盖数据诊断、方法选择、验证与解释全链条的决策框架,为研究人员依据数据特征、研究目标与环境背景匹配适宜统计方法提供结构化路径,最终服务于联合国可持续发展目标6(SDG 6)的水资源管理需求。
1. Introduction
水质评估处于环境监测、水文地球化学解读与管理决策的交叉领域。地表水与地下水水质受岩性、补给、蒸散发、土地利用、废水排放、灌溉回归水、化肥施用、城市径流及气候变异等自然与人为因素共同驱动,导致水质数据集普遍呈现多变量、尺度异质、时序结构化特征,且易受缺失值、异常值、删失观测及空间依赖性干扰。统计分析方法已从早期的描述性汇总发展为现代水质研究的核心工具,不仅用于揭示变量间关系,还支撑污染过程识别、水体类型划分、时空变异评估及污染源解析。近二十年来,相关分析方法显著扩展:相关性分析与回归仍用于初步解读;层次聚类分析(HCA)、主成分分析(PCA)、因子分析(FA)、判别分析(DA)及正定矩阵因子分解(PMF)等技术已广泛应用;人工智能(AI)与机器学习(ML)方法则进一步拓展了高频数据处理、预测与模式识别能力。然而,多数ML模型存在“黑箱”特性,对数据结构与变量关系的解释力有限,因此需将传统统计方法的解释优势与ML的计算预测能力相结合。值得注意的是,统计输出(如强载荷、树状图分支或提取因子)仅能指示潜在模式,不能直接证实水文地球化学机制或污染源身份,必须结合水文地质知识、现场证据及其他辅助信息进行综合研判。现有综述多聚焦方法功能描述,对分析选择的合理性论证与报告透明度关注不足,本研究由此将核心问题从“水质研究使用了哪些统计方法”转向“需要何种决策序列才能确保水质统计推断的可复现性与可辩护性”。
2. Part I: Literature search strategy and review context in WQ studies
2.1. Search strategy and rationale
本研究采用定性结构化批判性综述设计,检索2000–2025年间Web of Science、Google Scholar与SciSpace数据库中同行评审文献,检索词涵盖“水质”“地下水水质”“地表水水质”“水文地球化学”“污染源识别”等主题词,以及“探索性数据分析”“正态性检验”“相关性分析”“聚类分析”“主成分分析”“因子分析”“判别分析”“正定矩阵因子分解”等方法学术语。纳入标准包括:同行评审期刊发表、英文撰写、应用于环境水质或水文地球化学数据集、涉及统计分析或多元分析方法。排除实验室纯实验研究、仅关注水质指数而无统计方法评估的研究、统计实施信息不足的研究及非相关研究。SciSpace仅作为辅助检索工具,最终纳入决策基于原始文献全文评估。研究发现,尽管多数研究可能内部执行了探索性数据分析(EDA)、数据质量筛查、假设检验与预处理,但这些步骤的报告完整性不足以支撑读者复现从数据诊断到方法选择与解读的完整路径。
2.2. Framework-guided sensitivity demonstration approach
研究人员选取4组已发表水质数据集开展框架引导的敏感性演示,分别针对分布评估与相关性方法选择、PCA前标准化处理、HCA透明度与数据集结构考量、删失/未检出观测值处理四类决策点。演示目的并非重新分析原始研究或正式验证框架,而是展示逐步统计决策如何提升水质解读的透明度、可复现性与可辩护性。数值重分析采用IBM SPSS Statistics完成,根据决策点需求执行描述性统计、图形筛查、Shapiro–Wilk与Kolmogorov–Smirnov正态性检验、Pearson与Spearman相关性分析、PCA及HCA。针对删失数据案例,直接采用已发表研究中不同未检出值替代方法对PCA结果的影响分析作为实证依据。
2.3. Review context and framework rationale
既往综述虽系统梳理了PCA、HCA、FA、DA等方法在水文地球化学研究中的应用,但普遍缺乏连接数据诊断与方法选择的显式工作流。如表1所示,Ewuzie等(2021)指出了数据分析与报告实践的缺陷但未提供完整决策路径;Schreiber等(2022)强调了相关性、回归等方法的应用及独立性、正态性等假设重要性,但未覆盖从数据诊断到多元解读的全流程;Muniz与Oliveira-Filho(2023)记录了2001–2020年多元分析的增长趋势,但对基于数据条件的方法选择逻辑关注不足;Saab与Zéhil(2025)按监测目标组织了统计技术,但未充分发展面向可复现性的决策路径。本研究在此基础上,将决策中心推理引入水质统计推断,提出包含明确决策点与最低报告要求的框架,连接研究目标、数据诊断、假设检验、预处理、方法选择、验证、稳健性评估、不确定性量化、水文地球化学解读与报告局限,实现从“列举适用方法”到“阐释方法适配性”的范式转变。
3. Part II: Reproducibility gap in current WQ statistical practice
当前水质统计实践的缺陷不仅限于报告不完整,更源于关键分析决策的隐性化、不一致化或惯例化。由于水质数据对预处理敏感且多数常用方法为探索性而非严格验证性,细节遗漏会直接影响结果的稳定性、可比性与环境意义。
3.1. Method selection by convention rather than by question
许多研究倾向于按惯例选择统计方法(如PCA、HCA、相关性分析、水质指数(WQI)),而非基于具体科学问题。例如,相关性常被误读为污染源关联证据,但其本质仅反映协变关系;PCA既被用于降维也被用于推断潜在控制因素或污染源,但两类用途常被混淆;HCA生成的聚类结果未必具备水文地球化学一致性。可辩护的工作流应始于研究问题,基于分析目标、数据结构、假设条件与解读边界选择方法,否则会降低可复现性并使解读沦为惯例产物。
3.2. Inadequate attention to data structure and exploratory diagnostics
探索性数据分析(EDA)是统计分析的初始阶段,需通过图形工具、描述性统计与初步分布检验识别异常值、缺失值、录入错误、假设违背及转换需求。当前研究虽常提及EDA,但多仅简要报告描述性统计,对缺失机制、异常值处理及EDA如何影响后续方法选择的信息披露不足。异常值在水质评估中具有双重属性:既可能反映数据质量问题,也可能指示污染热点、混合过程或极端水文事件,需谨慎甄别。预处理选择(如标准化、变换、异常值处理)会显著影响PCA、FA、HCA的输出与环境解读,因此需报告选择依据并评估替代方案的结论差异。样本量亦是关键考量:小样本(n≤50)可用于探索性可视化,但多元建模、分类或源解析需更强的稳定性检验与不确定性报告。本研究采用n≤50为小样本、50<n<100为中样本、n≥100为大样本的实用分类,但研究人员仍需结合具体方法与目标评估样本量充足性。
3.3. Weak distributional assessment and ambiguous use of parametric assumptions
水质数据普遍存在偏态、异方差、非线性或序列依赖等偏离正态的情况。正态性检验(如Shapiro–Wilk、Kolmogorov–Smirnov/Lilliefors、Anderson–Darling检验)需结合图形诊断(Q–Q图、直方图、箱线图)与抽样背景综合判断,避免小样本检验效能不足或大样本过度敏感的偏差。中心极限定理虽支持大样本下均值推断的正态近似,但不意味着原始观测值服从正态分布,也不能豁免对异常值、依赖性、方差结构及方法特定假设的评估。当前存在Pearson相关、t检验、方差分析(ANOVA)及最大似然FA等方法在未验证假设情况下被不当应用的现象。
3.4. Transformation and scaling as hidden analytical choices
变换与标准化常被视作常规预处理步骤,实则会对统计结果与环境解读产生实质性影响。对数变换等方法虽可改善偏态,但需报告变换后分布改善情况、对推断基础的改变及对变量环境含义的影响。标准化在距离基方法与多元分析中至关重要,但需区分研究目标是比较相对变异还是保留浓度绝对差异——自动标准化可能掩盖环境意义的量级差异,而不标准化则可能使高方差参数主导分析结果。此外,变换可能影响结果的可解释性(尤其需反变换报告时),且不适用于未检出值,需配合适当的删失数据处理策略。因此,变换与标准化应作为显式分析决策进行报告,阐明依据、后果与解读限制。
4. Part III: Evaluation of major statistical methods through decision points used in WQ assessments
4.1. Exploratory data analysis and quality screening
EDA与质量筛查是统计决策的首要环节,需明确数据集的时间属性(截面/纵向/季节性/事件驱动)与空间结构(嵌套/聚类),这些特征直接影响独立性与后续方法选择。最佳实践将EDA视为决策阶段而非预备流程:极端偏态、严重删失、样本量相对于变量数不足或时间聚类等情况,均应纳入后续方法选择与实施的考量。需特别关注删失观测(如低于检测限的值)对描述性统计、相关性、回归、PCA/FA、HCA及源解析输出的潜在偏差,以及空间聚类或重复观测对独立性假设的违背。
4.2. Univariate and bivariate methods
描述性统计、分布检验、组间比较、相关分析与回归是基础工具,但需严格区分其适用假设。强偏态水质变量的均值与标准差可能产生误导,此时中位数或稳健/秩方法更具代表性。组间比较需关注正态性、方差齐性、样本均衡性与观测独立性;回归有效性更依赖残差行为与模型假设而非响应变量的边际分布。Pearson相关系数(r)与Spearman秩相关系数(ρ)是最常用的双变量技术:前者量化线性关联强度与方向,后者基于秩次测量单调关联。多数水质变量(如主要离子、营养盐、痕量金属)呈偏态分布,不满足Pearson相关假设,此时数据变换或采用Spearman相关可获得更稳健的推断。方法选择需基于数据分布特征、关联类型与研究推断目的。
4.3. Multivariate methods
4.3.1. Hierarchical Cluster Analysis (HCA)
HCA因直观的图形输出与无需预定义类别的特性被广泛用于水样或变量的分组(Q型/R型聚类)。但其结果对距离度量、标准化策略、 linkage规则与截线选择高度敏感。Ward法结合欧氏距离与标准化变量虽能产生紧凑可解释的聚类,但无普适最优组合。HCA应被视为探索性决策支持工具而非自验证分类程序,需明确报告聚类对象(样本/变量)、纳入变量、变换/标准化方法、距离度量与linkage规则、聚类数确定依据(如树状图 inspection、轮廓系数、共表相关系数),并比较不同linkage规则(Ward法、平均linkage、完全linkage、单linkage)的结果差异。聚类解的稳定性、水文地球化学合理性、与已知场地条件及环境梯度的吻合度(如结合PCA/FA结果、离子化学、空间格局与野外观测)是评估其有效性的核心依据。
4.3.2. Discriminant analysis (DA)
DA适用于将观测归类至预定义组别(如季节、含水层、土地利用类型)或识别最佳区分变量。线性判别分析(LDA)通常假设组内近似多元正态与协方差矩阵齐性;二次判别分析(QDA)放宽了协方差齐性假设但需更大样本量估计组特异性协方差。DA对多元正态违背、组间样本量不均衡、预测变量强相关及异常值敏感,可复现应用需报告组别定义、样本量与均衡性、协方差假设与预测变量评估方法、验证流程及分类性能指标。
4.3.3. Principal Component Analysis (PCA) and Factor Analysis (FA)
PCA通过正交变换将相关变量转换为少数主成分以捕获数据方差;FA则试图用潜在因子解释观测相关性,在支持水文地球化学推理时可解读为潜在过程或污染源。两者均需透明报告预处理与适用性检验:标准化依据、样本量相对于变量数的充足性、异常值与缺失值处理、相关矩阵适宜性(如Kaiser-Meyer-Olkin(KMO)测度与Bartlett球形检验)。成分/因子保留不应仅依赖特征值大于1的Kaiser准则,需结合碎石图、平行分析、解释方差与水文地球化学可解释性综合判断。旋转方法(最常用Varimax旋转)、载荷阈值与因子命名需明确报告,区分Kaiser标准化(旋转相关步骤)与数据预处理。PCA虽不严格要求多元正态,但非正态会影响推断性质与成分得分分布。成分载荷反映变量贡献,得分反映样本在提取维度上的位置,其解读需结合土地利用、水文地质或独立化学指标等情境证据,严禁仅因离子共载荷即将其标记为污染源。
4.3.4. Positive Matrix Factorization (PMF)
PMF通过非负约束与显式利用不确定度估计实现污染源解析,可分离自然与人为贡献并估算源贡献率。其核心输入为浓度矩阵与不确定度矩阵:当实验室不确定度不可用时,需采用USEPA PMF 5.0推荐方法(基于方法检测限与误差分数)进行估计。因子数选择需迭代评估拟合优度诊断、残差模式、解稳定性、旋转模糊性与环境可解释性,而非依赖单一数值准则。最佳实践包括:为每个观测估计不确定度、测试多个因子数、检查残差行为、评估旋转模糊性与解稳定性(如Bootstrap与位移分析)。PMF结果对因子数选择敏感,且依赖线性可加性与源廓线稳定性假设,受旋转模糊性影响,因子命名具有主观性,因此应将其解读为 plausible 源贡献证据而非源身份的独立证明,必须结合同位素示踪剂、土地利用信息、排放清单、水文地球化学特征等独立证据进行三角验证。可复现研究需报告浓度与不确定度矩阵构建、删失与缺失值处理、误差分数假设、因子数选择、残差诊断、旋转分析、敏感性检验及因子身份解读的独立证据。
4.3.5. Machine learning in relation to classical statistics
ML方法(分类、预测、脆弱性评估、模式检测)的兴起并未降低经典统计的重要性,反而凸显了预处理、特征处理与验证透明性的关键作用。经典统计在ML工作流中持续发挥变量筛选、冗余评估、降维、诊断检查与可解释性支撑作用。可复现分析应避免“经典统计”与“AI/ML”的对立,采用混合工作流。ML优化需在明确定义的验证框架内进行,仅报告算法名称与整体精度不足以支撑可复现性。针对水质数据的空间聚类、时间依赖或相关预测变量特征,预处理与特征选择应在训练/交叉验证流程内执行,数据拆分需反映模型预期用途(如按监测点位、时间段或环境事件划分)。可解释人工智能(XAI)技术(如SHAP、LIME)可提升ML模型透明度,识别关键预测因子并评估预测与水文地球化学推理的一致性,但其不能替代合理研究设计、统计诊断与验证,尤其在预测变量强相关时解释可能不稳定,需结合验证设计、不确定度估计、泄漏预防流程与水文地球化学合理性检验共同报告。
5. Part IV: A reproducible decision framework for WQ statistical analysis
针对现有统计方法选择逻辑碎片化与报告不足的问题,研究人员提出结构化决策框架,整合预分析与分析决策,依据研究目标、数据特征与分析约束引导方法选择,并建立最低报告要求以提升透明度、一致性与可复现性。框架以交互平台形式实现(见补充材料S3),用户通过逐步指定样本量、数据完整性、分布特征及分析目标(描述性评估、关联分析、模式识别、分类、源解析),获得潜在的适宜单变量、双变量或多元方法建议。框架提供两个版本:静态决策树(图2)直观展示完整框架与常用统计检验;交互式网页平台支持动态探索与方法详情访问。需注意,框架并非严格线性算法,实践中水质统计分析具有迭代性——EDA、假设检验、预处理或水文地球化学解读的发现可能要求回溯调整变换、标准化、方法选择或稳健性评估步骤。
5.1. Decision framework pathway
静态与交互版本遵循相同分析逻辑,作为决策支持工具提升分析路径透明度,而非自动生成水文地球化学结论或替代分析者判断。框架规则综合自文献综述中识别的反复出现的决策点,支持结构化判断而非自动方法选择。当不同分支指向多种合理解选项时(如变换与非参数分析选择、Pearson与Spearman相关选择、常规PCA与稳健排序选择、聚类距离度量与linkage规则选择),需结合专业知识决策。路径始于研究目标定义与数据集初步认知,前期需明确样本量、数据结构、变量类型、缺失/删失观测、潜在异常值等特征,再基于分析目标与数据条件推进方法选择决策。EDA、假设检验与方法选择仅是更广阔可复现分析流程的核心序列,还需衔接预处理、标准化、删失数据处理、验证、稳健性评估、不确定性沟通、水文地球化学解读与局限报告等后续决策。
5.2. Interactive implementation of the decision framework
交互式框架基于Python开发,采用Dash库构建动态浏览器端分析工具,集成Dash核心组件与Dash Cytoscape实现可扩展节点式决策树。平台在线访问地址为
https://statistical-framework-water-quality.onrender.com ,源代码公开于GitHub(
https://github.com/Btalsabti/statistical-framework-water-quality.git )与Zenodo(
https://doi.org/10.5281/zenodo.19327593 ),保障框架的可复现性、透明度与长期可及性。
5.3. Framework-guided sensitivity demonstrations
通过4项敏感性演示验证框架的实践价值:
5.3.1. Sensitivity test 1: Distribution assessment and correlation-method selection
采用?nuderl等(2007)天然矿泉水数据集(n=50),框架引导依次进行样本量考量、正态性检验与方法选择。结果显示,原始研究强调的Na–电导率、Na–Cl、Cl–电导率强关联在Pearson与Spearman相关下均稳健;但HCO3 - –电导率关联从Pearson中度(r=0.425)变为Spearman极强(ρ=0.846),SO4 2- –电导率从无显著Pearson相关变为Spearman中度相关,表明分布评估对相关性解读的关键影响。
5.3.2. Sensitivity test 2: Scaling and preprocessing before PCA
采用Zhang等(2014)银川潜水数据集(n=39),对比跳过框架标准化步骤的原始协方差PCA与遵循框架的标准化PCA。前者第一主成分解释93.3%方差,前三累计99.2%,被TDS、总硬度等高方差参数主导的“盐度量级轴”压缩;后者三个主成分分别解释54.6%、17.2%、10.5%方差,累计82.3%,成功分离矿物化/硬度组分与K–HCO3 –F、NO3 - 等次级过程,凸显标准化对多元结构解读的必要性。
5.3.3. Sensitivity test 3: Dataset structure and transparency in HCA
采用Pisciotta等(2019)Mont de la Saxe混合水资源数据集(含排水、压密、溪流、泉水、河流样本),原始研究未充分报告HCA变量选择、标准化方法、距离与linkage规则。框架引导的透明度核查显示,此类混合数据集聚类结果可能反映水体类型、流径、海拔、水力联系或水文地球化学梯度,需结合水文地质背景解读。演示强调HCA解读不能仅依赖树状图结构,必须报告变量选择、预处理、距离/linkage方法及与独立证据的吻合度。
5.3.4. Sensitivity test 4: Censored-data handling before multivariate analysis
基于Farnham等(2002)地下水地球化学研究,框架明确要求多元分析前透明处理未检出值。研究表明,DL/2替代法优于0或DL替代,但当未检出比例超过25%时所有替代法性能均下降。演示证实未检出值处理是解释性决策,需报告并通过敏感性分析评估影响。四项演示共同表明,框架能有效识别影响水文地球化学解读的关键决策点,支撑透明化报告。
6. Part V: Limitations, future directions, and conclusions
6.1. Limitations
本研究为结构化批判性综述而非系统评价或Meta分析,虽采用预定义检索策略与人工筛选降低选择偏差,但不声称覆盖2000–2025年所有水质统计研究。提出的框架为概念性决策支持工具,四项演示仅说明部分决策点对解读的影响,未覆盖所有水文地质背景、数据结构、方法与目标,替代分析路径在特定情境下亦具合理性,框架应作为透明推理指南而非刚性算法。
6.2. Future directions
未来研究需在不同水质数据集与水文地质背景下验证框架,识别影响方法选择与可复现性的关键决策点;开发方法特异性敏感性协议(如HCA linkage/距离选择、PCA/FA保留策略、PMF因子数与不确定性分析);制定涵盖研究目标、数据质量、假设、方法论证、稳健性、不确定性与解读局限的报告清单。框架需扩展至地统计、时间序列与ML工作流,明确空间/时间方法的依赖性处理、插值、季节性分析及ML的预处理、特征选择、数据划分、交叉验证、超参数调优、泄漏预防、可解释性与泛化性报告要求。还需整合高频传感器数据、物联网系统、云平台与自动化决策支持工具,强化校准、质量控制、缺失数据处理、验证、不确定度报告与人工监督的透明度。同时推动与开放科学、FAIR数据原则的对接,公开元数据、预处理记录、代码、软件版本与模型设置,提升水质分析的整体可复现性。
6.3. Conclusions
本综述指出,水质统计的核心挑战并非技术匮乏,而是缺乏指导方法选择、实施与解读的显性分析逻辑。现有文献虽具方法论价值,但因预处理、假设检验、标准化、验证与解读等环节报告不足,限制了可复现性。研究人员将水质统计分析重构为可复现性挑战,提出结构化决策框架,以明确检查点为枢纽,串联从科学目标与数据表征到探索性分析、假设检验、预处理、方法选择、稳健性评估、不确定度量化、报告与解读的完整链条。四项敏感性演示证实,相关性方法选择、标准化处理、HCA实施与删失数据处理的决策差异均可显著影响统计解读。核心任务并非选择最复杂的方法,而是确保每个决策均可从研究目标与数据特征追溯至实施、评估与解读全过程。分析逻辑的缺失既削弱知识累积(相似数据集可能因无充分论证而采用不同分析路径),也降低管理决策的证据置信度。本研究的贡献不在于引入新统计方法,而在于为现有方法的选择、论证、评估与报告提供了更清晰的分析逻辑。所提框架应被视为灵活的结构化指南,其实际效能需通过案例应用、分析者间测试、敏感性分析、基准测试及跨情境验证进一步评估,未来还将向地统计、时间序列、ML与高频监测工作流拓展,最终推动水质研究统计实践向更透明、可复现与可辩护的方向发展。