群体意识与外部验证技术在机器学习中用于区分水资源污染物清除过程中的插值方法与迁移方法

《Journal of Hazardous Materials》：Group-Aware and External Validation Distinguish Interpolation from Transfer in Machine Learning for Aqueous Pollutant Removal

　　

摘要

机器学习模型越来越多地被用于对吸附剂和处理条件进行排名，以去除水中的有害污染物。然而，随机行划分可能会将来自同一材料、污染物或来源研究的测量数据同时包含在训练集和测试集中，因此高分数可能代表的是插值效果而非真正的迁移效果。我们调查了75项水去除研究，并在保持行数据、物理可用特征、学习者和超参数不变的情况下重新测试了五个可重构的吸附数据集。其中64项研究（85.3%）使用的验证方法未能保留报告的实体边界。将随机五折验证方法替换为留一法（leave-one-specified-group-out testing）后，汇总的R2值降低了0.108-0.983。在化学特征保留的情况下，一个基准测试的R2值为0.878；而当保留来源研究数据时，一个涉及铀-生物炭的研究的R2值从0.981降到了接近零。在对四种吸附剂的60个条件均值进行的独立模型数据迁移测试中，保留来源研究数据后R2值为-7.187，而保留原始数据时的R2值为0.510。由于公布的特征集中缺乏剂量信息，且外部描述方法和实验室程序存在差异，因此这一外部结果不能将原因归咎于数据划分本身。一种能够分别报告行级插值效果、特定组迁移效果和独立外部性能的验证方法，使水去除模型的决策边界变得更加明确。

引言

如今，机器学习被用于预测水处理研究中的吸附能力、去除效率和降解动力学[1]、[2]、[3]、[4]。在实际工作中，这些模型可以在投入实验资源之前对吸附剂、污染物和操作条件进行排名。相关的环境应用包括膜设计和工艺优化[5]、[6]、[7]。因此，报告的分数价值取决于它所要支持的决策：对已记录测量数据进行插值与筛选在模型开发期间未出现的物质或污染物是不同的任务。

当一个表格中包含来自同一实体的重复测量数据时，这种区别就变得尤为重要。随机行划分可能会将同一吸附剂、污染物、材料框架或来源研究的行数据分配到划分的两侧。由此得出的分数有助于预测该群体内的其他测量结果，但它本身并不能证明新实体之间的数据迁移。环境机器学习指南强调，划分设计、预处理、调优和报告方式应与所声称的效果相匹配[8]、[9]。Cahyana和Jang指出了生物炭处理重金属过程中机器学习中相关的数据处理风险[10]。验证结果的可迁移性与目标群体和部署边界有关[11]，而数据泄露则属于超出该边界的异常情况，这类信息无法用于预期的预测[12]。

这个问题不仅仅是术语上的区别，还具有统计学意义。在样本量有限或结构化程度不高的情况下，验证设计会显著影响性能估计[13]、[14]。分组划分可能会揭示预测未知实体的难度，但它无法修复缺失的物理变量、采样不足的设计空间或实验室协议的变化。相反，较低的分数并不意味着所有行级分数都是无效的。相关机器学习失败案例在多个科学领域都有记录[15]、[16]、[17]。关键问题是评估实际上测试的是哪个边界，以及该边界是否与预期的应用相匹配。

在水污染物去除的机器学习研究中，可以区分出三种证据水平。文献综述描述了当前的验证实践。控制性重测在保持数据和模型规格不变的情况下，用特定的未见组测试替代了行级评估。独立实验则考察整个模型和特征规格是否能够迁移到新的数据集中。正文中的所有控制性重测、图表和数值结论都针对五个吸附数据集。另外两个降解数据集仅在支持信息中进行了跨工艺扩展的探讨。这种区分有助于将普遍性、划分敏感性和外部迁移性视为相互关联但不同的概念。

章节摘录

研究设计与推断目标

该研究区分了三个不同的推断目标。文献综述总结了当前的验证实践。控制性重测量化了当评估单位从行数据变为指定组数据时性能的变化情况。湿实验室测试评估了从已发布的吸附数据集到独立测量的吸附剂之间的迁移效果。调研中的普遍性结果并不被视为分数膨胀的证据，而外部评估结果也不被认为是划分敏感性差异的另一种衡量方式。

文献综述与分层分析

在所有调查的研究类型中，结构盲验证（structure-blind validation）非常普遍

75项研究组成的样本集提供了普遍性的基础数据（图1）。互斥的验证总结显示：54项研究（72.0%）采用了随机划分方式，10项研究（13.3%）采用了非分组k折验证，2项研究（2.7%）采用了分组划分方式，9项研究（12.0%）未报告具体的划分方法。由于两项分组研究也被归类为k折研究，因此相关的k折标签也被计入统计范围内。

验证方法的意义

这三个证据层次回答了不同的问题。文献综述表明，在所有类型的文献和单实验室研究中，未报告实体边界的验证方法非常普遍。尽管高引用率的研究较多，但这并不能证明结构盲验证的普遍性较低；但由于样本量和小范围的具体数据，无法得出期刊影响不存在的结论。控制性重测结果显示，改变评估单位可能会导致性能的轻微或显著变化。

结论

在水污染物去除的机器学习研究中，常见的验证方法是使用未报告实体边界的行级划分方法。在五个可重构的吸附数据集中，从行级评估转换为指定组别的评估时，性能变化程度从轻微到几乎完全不同；其中一个基准测试在保留了有用的组别敏感性指标。Org-bench和LogKd在这五个模型家族中的划分敏感性较低，但其具体影响仍取决于组别和模型类型。

CRediT作者贡献声明

杨莹：撰写 – 审稿与编辑、验证、方法论、数据分析。蒋思远：撰写 – 初稿编写、软件开发、方法论、资金申请、正式分析、数据分析、概念构思。严赫：撰写 – 审稿与编辑、验证、数据分析。毛亚茹：撰写 – 审稿与编辑、验证、数据分析。程秀文：撰写 – 审稿与编辑、项目监督、资金申请、概念构思。周辰然：撰写

在本文的撰写过程中，作者使用了大型语言模型来辅助全文信息提取（详见方法和支持信息部分），并协助进行语言润色。使用这些工具后，作者对内容进行了必要的审核、验证和编辑，并对提交的手稿内容负全责。

作者声明他们没有已知的财务利益或个人关系可能影响到本文的研究结果。

本研究得到了中国国家博士后科学基金（2026M791330）、甘肃省重点研发计划项目（25YFFA003）、兰州市青年科技创新项目（2023-QN-80）以及中央高校基本科研业务费（lzujbky-2023-ey14和lzujbky-2025-pd09）的支持。

支持信息可免费获取，其中包含文献检索和筛选的详细信息；还包括LLM提取基准测试的结果。

Siyuan Jiang|Ying Yang|Yaoru Mao|He Yan|Chenran Zhou|Xiuwen Cheng