甲烷氧化偶联反应中自动化特征工程的基准测试与领域知识影响的深度解析

本研究针对材料信息学中特征工程自动化工具的性能评估问题，系统比较了TPOT、autofeat、Feature-engine和xfeat四种工具在甲烷氧化偶联反应(OCM)数据上的表现。研究人员发现自动化工具在特征选择方面表现优异，但特征创建仍需依赖领域知识。结合碳吸附能等物理特征与自动化特征选择，显著提升了C2产率预测模型的精度（R2达0.91，RMSE降至0.74），为高效催化剂开发提供了新范式。

　　

在材料开发领域，传统"试错法"探索无限元素组合的方式效率低下，而机器学习辅助的自适应实验设计(adaptive experimental design)成为新趋势。其中特征工程(feature engineering)作为机器学习的核心环节，通过特征创建、选择和转换将原始数据转化为模型可理解的形式，直接影响模型预测精度和可解释性。尽管近年来出现了TPOT、autofeat等自动化特征工程工具，但这些工具的性能缺乏中立评估，且特征创建仍高度依赖工程师的经验知识。

针对这一现状，明治大学的Jun Maki和Hiromasa Kaneko在《Results in Chemistry》发表了关于甲烷氧化偶联反应(oxidative coupling of methane, OCM)中自动化特征工程的基准测试研究。OCM反应作为重要的催化反应，需要在氧化环境下将甲烷(C₁)转化为乙烷和乙烯(C₂)，但由于产物比原料更易被氧化，反应效率提升面临巨大挑战。该反应涉及催化剂表面多种化学物质的吸附、反应和解吸过程，理论分析困难，使得机器学习方法成为有效解决方案。

研究人员采用北海道大学开发的催化反应数据库(Catalyst Acquisition by Data Science, CADS)中的OCM数据集，包含384个样本的催化剂金属种类、组成、载体类型、反应温度和反应结果等数据。研究主要运用四种特征工程库(TPOT、autofeat、Feature-engine、xfeat)进行自动化处理，同时结合领域知识进行特征创建，通过根均方误差(RMSE)和决定系数(R²)评估不同回归模型的性能。

关键技术方法包括：1)从CADS数据库获取OCM反应数据集；2)使用四种自动化特征工程库进行处理；3)采用交叉验证和多种回归模型(包括GPR、GBDT、XGB等)评估性能；4)结合Materials Project数据库的碳吸附能数据构建领域知识特征；5)使用CVPFI方法进行特征重要性分析。

2. Feature engineering

2.1. Overview

特征工程包含三个核心过程：特征创建基于原有特征生成新特征；特征选择减少冗余特征以降低计算成本和过拟合风险；特征转换对分类变量进行编码和标准化。研究表明自动化工具在特征选择方面表现良好，但特征创建仍需人工干预。

2.2. Existing libraries on feature engineering

研究人员详细比较了四种特征工程库的特点：TPOT实现从数据预处理到超参数调整的全自动化流程；autofeat支持特征自动生成和选择但不包含数据预处理；Feature-engine和xfeat需要人工确定特征生成条件但支持自动特征选择。各库在自动化程度和功能侧重上存在明显差异。

3. Experiments

3.1. Data and libraries used

研究采用CADS数据库的OCM数据，包含催化剂金属元素(最多三种)及其含量、载体类型、反应温度和反应结果等变量，以C₂产率作为目标变量。由于数据完整性较好且仅"载体"为分类变量，大部分库无需进行数据预处理。

3.2. Evaluation method

采用训练集-测试集分割(测试集比例0.25)和五折交叉验证，使用多种回归模型进行评估。高斯过程回归(GPR)计算了11种核函数组合，包括常数核(ConstantKernel)、点积核(DotProduct)、白噪声核(WhiteKernel)、径向基函数(RBF)和马特恩核(Matern)等。

3.3. Data content and feature handling

针对元素种类和组成信息，研究采用三种特征创建方法：计算元素交叉项、三元交叉项，以及使用Xenonpy库将元素信息转换为原子半径、电负性等物理特征。同时基于领域知识添加了碳吸附能特征，并采用Boruta算法进行特征选择对比。

4. Results and discussion

4.1. Comparison of feature engineering libraries and domain knowledge

自动化特征创建工具TPOT的表现略低于未使用工具的情况，且由于其自动化执行众多过程，不适合需要逆分析的自适应实验设计。autofeat的性能与未使用工具相当，但出现了Na3Temp*3等可能过拟合的特征项。

特征选择工具Feature-engine和xfeat的表现与未进行特征选择时相近，且优于Boruta。Feature-engine在选择有效特征方面最为高效，能提取最少数量的特征。当添加三元交叉项时，所有库的RMSE和R²值与未使用库时相同，Boruta能用最少的变量构建良好模型。

基于领域知识的特征工程表现出色，通过添加金属表面碳吸附能特征，并结合Feature-engine的特征选择，获得了最佳模型性能(R²=0.91，RMSE=0.74)。最终模型使用了35个特征，包括温度、载体种类、元素组成、17个元素交叉项和碳吸附能特征。

4.2. Contrast with previous predictions of OCM reactions

与Mine等人使用随机森林、XGB和极端树回归的文献数据预测结果(R²=0.708-0.728，RMSE=3.56-3.71)相比，本研究的预测精度显著提高(RMSE<1)。通过CVPFI特征重要性分析发现，反应温度是最重要特征，Na、Mn、Na*Mn等元素项和碳吸附能也被提取，这与已有研究中La、Na、W、Mn等元素重要性的报道一致。

从反应机理角度，OCM反应涉及13个基元过程，最关键的是2CH₄ + 1/2O₂ → C₂H₆ + H₂O，需要在催化剂表面产生氧自由基和甲烷自由基。本研究识别出的Na、Mn、V、Cr、W、Fe等金属元素，在碳吸附能(代表甲烷吸附性)和氧化物生成焓(代表氧反应性)方面表现出适宜的数值范围，表明这些金属可能通过调节对甲烷和氧的亲和力来促进OCM反应。

5. Conclusions

研究表明，现有特征工程库在自动化程度和功能侧重上各具特色，能有效进行特征选择，但在特征创建方面仍有局限。结合领域知识进行特征创建和自动化特征选择，能显著提升模型性能。本研究通过计算特征重要性，发现适合催化剂表面甲烷或氧吸附的金属元素被选为重要特征，为高效OCM催化剂设计提供了重要见解。

该研究的创新在于系统评估了自动化特征工程工具在实际催化材料数据集上的性能，并证明了领域知识与自动化工具结合的有效性。这不仅对OCM反应研究有直接指导意义，也为材料信息学中特征工程的方法选择提供了实践指南，对推动机器学习在材料开发中的应用具有重要价值。