多变量线性回归模型中的特征选择用于数据高效的反应优化

《ACS Catalysis》：Feature Selection in Multivariate Linear Regression Models for Data-Efficient Reaction Optimization

　　

研究人员引入了NaviCat ReaFS（反应特征选择）框架，用于在小型异质数据集中测试和支持多变量线性回归（MLR）模型进行反应优化，此类场景中过拟合风险高且额外实验成本昂贵。ReaFS将特征选择（FS）方法的系统基准测试与涵盖数据、特征子集和预测的定向诊断相结合。研究人员还引入了一个复合评分，该评分捕捉外推性能的互补方面，即候选恢复能力、预测准确性和排序质量，从而能够跨均相催化数据集直接比较模型和特征选择策略。ReaFS进一步整合了交叉验证方案、数据和特征诊断以及用于前瞻性模型评估的稳健性检验。这些组件共同为低数据反应优化中更明智的决策提供了一条实用途径。

**研究背景与意义**

数据驱动的反应优化领域长期面临实验数据获取成本高昂、耗时费力且数据规模有限的瓶颈。现有数据集往往覆盖不均、重现性参差不齐，这给建立可靠预测模型带来极大挑战。多变量线性回归（MLR）结合具有机理相关性的化学描述符（如分子电荷、体积、角度等）来预测反应性能（如选择性、产率或速率），为从小规模数据中提取化学见解提供了实用且可解释的框架。然而，MLR模型若要兼具稳健性和实用性，必须严格控制模型简约性——即选择少量相关且冗余度低的特征子集，并使其数目与可用数据量相匹配。特征选择（FS）可手动进行，亦可借助数据驱动方法自动完成，后者在反应机理认知有限时尤为关键。尽管大多数FS方法易于实施，但在小数据均相催化领域，系统比较不同FS策略的研究仍然稀缺。此外，模型在反应优化中的实际效用不仅取决于FS本身，还受到数据质量、特征对化学本质的捕捉能力以及回归模型预测性能的综合影响。基于上述背景，研究人员开发了NaviCat ReaFS（反应特征选择）框架，旨在系统评估FS策略并评价MLR模型在反应优化中的外推可靠性，为低数据条件下的实验候选优先排序提供结构化决策路径。

**研究内容与核心发现**

ReaFS框架包含两大核心组件：FS基准测试和模型诊断。FS基准测试涵盖多种FS方法的实现以及跨数据集比较FS策略的模型评估协议。模型诊断则包括目标分布质量的数据诊断、所选子集质量的特征诊断以及模型可靠性的预测诊断。该框架在涵盖12种反应类型、4种过渡金属（Rh、Pd、Ni、Cu）及无金属有机催化的20个数据集上进行了验证。研究的一个核心创新是开发了面向低数据场景的模型评估协议，通过预留排名前五的高性能反应作为测试集，模拟真实优化场景，并引入复合评分S_ReaFS——即候选恢复率（Recall，R）、预测准确性（Q²_t）和排序质量（r_st）三个指标的未加权平均值——来直接比较不同FS策略的外推性能。通过对8种常见及改进FS方法的基准测试，研究发现顺序FS方法（sequential FS）在复合评分和模型复杂性之间取得了最佳平衡；对372种顺序FS变体的扩展研究表明，采用研究人员提出的LOMO（leave-one-more-out）渐进式留出交叉验证策略的变体在复合评分和模型复杂性方面表现尤为突出。进一步的数据诊断揭示，大多数数据集的目标分布质量并非模型性能的主要瓶颈，但Pictet–Spengler反应数据集因缺乏高绩效样本而成为数据质量限制外推性能的典型案例。在Ni/光氧化还原催化交叉亲电偶联反应案例中，ReaFS的多维度诊断揭示了三种不同特征化策略所得MLR方程各自侧重不同——CC-O（亲电偶联-氧杂环丙烷开环）展现出最清晰的特征行为，CC-R（亲电偶联-还原消除）提供最强的预测性能诊断，CC-BL（亲电偶联-双齿配体）则在可解释性和预测指标间取得均衡；尽管三个特征子集不同，但均保留了至少一个与金属中心直接相关或邻近的电子描述符，这与Doyle课题组的Eyring分析和非共价相互作用分析所识别的Ni(III)中间体还原消除为对映决定步骤的结论相吻合。在铜催化氧炔基化反应的实际应用案例中，ReaFS推荐的两种顺序FS变体较原始逐步法获得了更高的复合评分，且模型选择完全舍弃电子描述符而仅依赖位阻和拓扑特征，这一发现与BOX配体反应中提出的象限分辨进攻模型在化学机理上具有一致性。

**主要技术方法**

研究人员主要采用了以下关键技术方法：（1）贝叶斯岭回归（BRR）作为核心线性回归器，利用正则化抑制过拟合并提供预测不确定性；（2）三类别FS方法基准测试——过滤法（F-score和互信息）、包装法（顺序FS和递归特征消除RFE）及嵌入法（LASSO和自动相关性确定ARD）；（3）独特的外推性评估协议，将排名前五的高性能反应预留为测试集；（4）LOMO交叉验证策略，逐步增加测试集中高性能样本数量；（5）数据诊断指标——目标值间隔变异系数（CV_G）、高百分位数据占比及负局部离群因子（nLOF）；（6）特征诊断——特征相关性矩阵行列式（D_corr）、方差膨胀因子（VIF）和距离相关性；（7）预测诊断——交叉验证、Jackknife重采样和Y随机化检验；（8）主成分分析（PCA）/偏最小二乘（PLS）投影可视化描述符空间。数据集涵盖来自9篇已发表研究的20个实验和计算数据集。

**研究结果**

**3.1 特征选择方法基准测试**。在MLR模型中对FS方法进行基准测试，结果表明没有单一方法在所有指标上均占优；包装法基础顺序方法获得最高复合评分，嵌入法ARD+ARD（ARD用于FS和回归）在Recall指标上表现最佳，过滤法KBest在r_st指标上最优。基础顺序方法在模型复杂性——性能权衡中靠近帕累托前沿，综合表现突出。扩展测试的372种顺序FS变体中，采用LOMO交叉验证与测试MSE且束宽更宽的变体获得最佳平均复合评分，且模型复杂度低于基础顺序方法。

**3.2 数据诊断**。将目标分布诊断指标（CV_G、80百分位数据和nLOF）应用于各数据集后发现，对大多数数据集而言，这些诊断指标对最终评分的预测价值有限，但可作为数据集状态的快速检查工具。Pictet–Spengler反应数据集是目标分布限制FS成功和模型外推的典型案例，该数据集缺乏高绩效样本，三种推荐FS方法均返回低复合评分。

**3.3 特征子集与模型诊断**。对Ni/光氧化还原交叉亲电偶联数据集（CC-O、CC-R、CC-BL）的三种特征化策略进行比较分析，模型性能卡片显示没有单一模型在所有诊断指标上均占优。CC-O表现最清晰的特征行为（低特征间相关性和低VIF），CC-R给出最强的面向性能的诊断结果，CC-BL在可解释性和预测指标间取得均衡。对照实验使用KBest和互信息选择三个特征，交叉验证指标严重恶化（包括负R²_LOO），证明了三种原始特征化策略的竞争力。三个独立推出的特征子集均保留了与金属中心相关的电子描述符，与Mechanistic研究相互印证。

**3.4 ReaFS应用于反应优化**。在铜催化氧炔基化数据集（OA-BL）中，ReaFS推荐的"Test LOMO"和"Base Sequential"两种变体均实现了比此前逐步法更高的复合评分，尽管每个模型选择了5个特征而增加了模型复杂性。训练数据上的RMSE_LOMO和ΔRMSE_LOMO是测试性能的最强指标，支持LOMO作为前瞻性优化活动实际默认选择。ReaFS推荐的两个模型完全舍弃电子描述符仅依赖位阻和拓扑特征，且三个模型均未保留覆盖远离供体原子区域的位阻特征，从化学机理上支持了该反应的四象限进攻模型和铜卡宾中间体机理假设。

**讨论与结论**

研究人员指出，FS算法本身缺乏化学和实践洞察力，即使顺序方法能够提升生成外推模型的可能性，仍易识别虚假相关性，因此部署前检查至关重要。所开发的综合诊断层涵盖数据质量、特征子集特性和预测行为三个维度，VIF、Y-randomization和特征相关性分析被特别强调为有效工具。通过已有反应的案例研究，研究人员证明这些诊断能够揭示单一指标所掩盖的FS方法互补性优缺点。模型性能卡片整合多种诊断信息以支持透明比较和最终模型选择。诊断主要针对一组固定描述符值内的冗余性和信息性，而非描述符本身的不确定性；由于所有描述符均由DFT优化结构计算而来，其受构象采样、泛函和基组选择影响，开发量化描述符不确定性及其对预测模型影响的框架是未来重要研究方向。综合而言，ReaFS组件建立了一条兼具实用性和可扩展性的工作流程，能够筛选和验证可解释的低数据MLR模型，通过系统方法基准测试与诊断深度相结合，即使实验数据稀缺且昂贵，也能为数据驱动的反应优化决策提供结构化路径。

研究结论翻译：本文提出的ReaFS框架用于测试和支持面向反应优化的多变量线性回归（MLR）模型开发。测试通过系统性基准测试特征选择（FS）方法实现，采用面向外推的评估协议，优先识别和排序高性能实验候选；支持通过涵盖数据、特征和模型预测的定向诊断实现，从而在模型前瞻性部署前做出明智决策。通过引入超越经典拟合优度的指标，拓展了优化和外推的定义：复合评分结合了候选恢复率（R）、最具相关性反应的预测准确性（Q²_t）和排序质量（r_st）。这一方式认识到在优化背景下，准确的总体拟合并不保证可靠识别最优候选；反之，虚假的异常值可能拉低准确性而不影响其余预测空间的可靠性，这些互补指标提供了对模型实用性的更现实评估。利用该评估框架，研究人员系统评估了跨数据集的FS方法，发现顺序FS方法，特别是采用本研究提出的LOMO（leave-one-more-out）交叉验证的变体，尤其适用于外推场景。在测试的372种顺序变体中，纳入LOMO的变体同时改善了候选恢复和排序质量，同时保持较低的特征数量并实现更优的复杂度-性能权衡。然而FS算法缺乏化学和实践洞察力，部署前检查至关重要。研究人员开发了全面的诊断层以实现严格的事前模型评估，涵盖数据质量（目标分布覆盖、高性能样本代表性、离群检测）、特征子集特征（冗余性、信息性、共线性）和预测行为（交叉验证性能、系数稳定性、Y随机化稳健性）。通过已有反应的案例研究，研究人员证明这些诊断揭示了单一指标所掩盖的不同FS方法互补性优缺点。模型性能卡片集成多种诊断以支持透明比较和最终模型选择，展示了应优先考虑哪些方面（如特征可解释性或预测准确性在特定优化背景下的相对重要性）和需警惕的潜在失败（如高共线性、离群值代表性差或孤立高性能样本导致的准确性虚高）。目前诊断主要针对固定描述符集内的冗余性和信息性而非描述符本身不确定性，开发量化描述符不确定性及其影响的框架是未来重要方向。总之，ReaFS组件建立了实用且可扩展的工作流程，用于选择和验证可解释的低数据MLR模型，通过系统方法基准测试与诊断深度相结合，为数据稀缺且昂贵条件下的数据驱动反应优化决策提供了结构化路径。