《ACS Environmental Au》：How to Build Machine-Learning Models for Molecular Science: A Step-by-Step, Annotated Tutorial
编辑推荐：
机器学习（ML）在预测建模方面具有巨大潜力，但常常在没有系统理解完整模型开发流程的情况下被误用。本教程提供了一个全面的端到端工作流程——从原始数据到部署模型——明确为机器学习建模经验有限的环境化学家设计，同时也为寻求加强其建模工作流程的其他用户提供实用指导。使
机器学习（ML）在预测建模方面具有巨大潜力，但常常在没有系统理解完整模型开发流程的情况下被误用。本教程提供了一个全面的端到端工作流程——从原始数据到部署模型——明确为机器学习建模经验有限的环境化学家设计，同时也为寻求加强其建模工作流程的其他用户提供实用指导。使用一个包含超过80,000个小分子的公共高效液相色谱小分子保留时间（SMRT）数据集，本教程演示了关键阶段：通过化学相似性和骨架分析进行数据清洗、面向应用的数据拆分、使用分子指纹和图的特征工程、使用常用的LightGBM和图卷积网络（GCN）进行模型开发，以及使用不同方法进行模型解释。这项工作突出了领域知识如何指导每一步以避免常见陷阱，例如通过不适当的数据拆分高估模型性能。该工作以一个稳健的部署框架结束，确保模型既准确又易于访问。所有代码均公开可用，为用户在不同应用中开发机器学习模型提供了示例实现。
**研究背景与问题**
机器学习（ML）在环境化学领域已广泛应用于物理化学性质预测、毒性评估和污染物去除，但面临数据质量参差不齐、模型鲁棒性不足、可解释性缺失和部署困难等挑战。现有模型常因不适当的数据拆分（如随机拆分）导致泛化性能被高估，且缺乏从原始数据到生产级系统的完整流程指导。为此，研究人员旨在提供一份系统教程，以高效液相色谱小分子保留时间（SMRT）数据集（含超过80,000个化合物）为案例，展示从数据清洗到部署的端到端工作流，帮助环境化学家构建可靠且可复用的ML模型。该论文发表在《ACS Environmental Au》。
**主要关键技术方法**（不超过250字）
研究人员使用公开的SMRT数据集（来源于文献25，包括从文献和数据库收集的实验测量值）。关键技术方法包括：1）数据清洗：通过Morgan分子指纹和Tanimoto相似性进行化学相似性分析，并结合骨架（scaffold）分析，识别异常保留时间（RT）值。2）数据拆分：采用随机拆分、时间顺序拆分（基于生成的伪日期标签）和基于骨架的拆分（使用DeepChem），确保训练/验证/测试集反映应用场景。3）特征工程：使用RDKit生成的分子指纹（固定长度位向量）作为LightGBM（LGBM）的输入，以及分子图（原子和键）作为图卷积网络（GCN）的输入。4）模型开发：使用默认参数和Optuna超参数优化工具训练LGBM和GCN模型，并在未来测试集（ftest）上评估。5）模型解释：采用SHAP（SHapley Additive exPlanations）解释LGBM的全局和局部特征重要性，Captum解释GCN的原子贡献。6）模型部署：提供三层架构，包括GitHub仓库、Streamlit Web应用和Docker容器化，支持Kubernetes（K8S）扩展。
**研究结果**
*Data Analysis and Cleaning*
通过目标分布（RT直方图）和特征-目标关系分析，结合化学相似性，研究人员发现并标记了异常值。例如，化合物PubChem_ID 44433028的RT极短（0.3 s），但与其结构相似分子（均含胺基）的RT均大于600 s，且该化合物缺乏额外亲水基团，因此被判定为异常值。类似地，化合物1228因含磷酸基团（pKa低）导致RT异常长。骨架分析进一步识别出化合物53032477为异常值，因其含疏水C-S-C结构却RT较短。结论：数据清洗需结合领域知识，而非仅依赖统计方法。
*Data Splitting*
研究人员比较了随机拆分、时间顺序拆分和骨架拆分。随机拆分使训练集和验证集的RT分布相似（IID假设成立），但验证集与训练集分子结构高度重叠，导致模型性能被高估。时间顺序拆分（基于伪日期标签）也满足IID假设，且更贴近真实应用场景，因为训练集由较早数据组成，测试集由较晚数据组成。骨架拆分则因某些骨架数据量少，导致IID假设不成立（p<0.01），需通过合并或过滤低表示骨架处理。结论：数据拆分策略应基于模型的实际应用场景，而非默认选择随机拆分。
*Feature Engineering*
研究人员使用分子指纹（Morgan指纹）和分子图分别代表分子。指纹具有计算高效、易于解释的优点，但存在哈希碰撞；图表示直观，但GNN存在过平滑和梯度消失问题。特征预处理（如缺失值处理、缩放）需在数据拆分后进行，以避免数据泄露。对于SMRT数据集，RT由分子疏水性、氢键能力、分子大小等决定，因此指纹和图均可有效表征。结论：特征工程需结合目标理解，如添加功能基团计数可提升模型性能。
*Model Development*
使用默认参数时，LGBM（基于指纹）和GCN（基于图）在验证集上表现相近。超参数优化后，两者性能均显著提升，且优化后的GCN在ftest集上R2达0.95，优于LGBM的0.92。不同拆分策略下，随机拆分在验证集上表现更好（因训练/验证集相似度高），但在ftest集上两者性能相近，说明随机拆分高估了模型泛化能力。时间顺序拆分则更真实反映未来预测场景。结论：超参数优化至关重要，且模型评估需依赖应用导向的拆分。
*Model Interpretation and Diagnosis*
SHAP分析显示，指纹位1791（叔胺）对RT有负贡献，符合叔胺在酸性条件下质子化、亲水性增强的物理化学知识。全局特征重要性排序中，位1791、1160、675等为关键位点。通过分析最佳和最差预测案例，发现最佳预测的训练集相似分子具有高结构相似度（Tanimoto >0.8）和接近的RT值；最差预测的训练集相似分子则相似度低（<0.6）且RT分散。SHAP分析进一步表明，最差预测的关键指纹位在训练集中出现频率低，说明化学空间覆盖不足。结论：模型解释可诊断失败原因，并指导未来数据收集方向。
*Model Deployment and Updating*
研究人员提供了三层部署方案：GitHub仓库（代码和依赖）、Streamlit交互式Web应用（低资源用户）、Docker容器化（可扩展至K8S集群）。模型更新需持续监控性能，当新数据扩展化学空间时，可通过完全重训练（小模型）或微调（大模型）实现，但微调需注意灾难性遗忘。引入Kolmogorov–Arnold Network（KAN）模块可支持持续学习，在保护原始数据隐私的同时更新模型。结论：部署需兼顾可靠性、可扩展性和可访问性，更新策略需考虑数据隐私和模型稳定性。
**总结讨论与结论翻译**
讨论部分强调了领域知识贯穿全流程的重要性，并指出本教程的代码和示例可推广至其他建模任务，前提是理解目标机制。研究结论为：构建预测模型是一项系统性工程，需要专门的化学知识和ML技术熟练度。ML的快速发展虽使实现更易，但开发稳健可扩展的模型仍需严谨的多步骤流程，包括对目标终点或过程的深入理解，以及高质量数据作为基石。该工作提供了从原始实验数据到生产就绪预测系统的详细逐步指南，其实例和方法见解可适用于其他建模目标，所提供的代码片段也可轻松修改和扩展用于未来研究。
