《Journal of Chemical Information and Modeling》：Toward Imbalanced Molecular Property Regression: A Benchmark Study and Interval-Aware Mixture of Experts
编辑推荐：
分子性质预测是AI驱动药物发现中的一项关键任务，然而标签不平衡在分子性质回归中的普遍性和影响仍知之甚少。通过对广泛使用的分子性质数据集进行系统性基准测试，研究人员表明目标值通常高度不平衡，且预测误差始终集中在标签空间中稀疏表示的区域。研究人员进一步评估了为一般
分子性质预测是AI驱动药物发现中的一项关键任务，然而标签不平衡在分子性质回归中的普遍性和影响仍知之甚少。通过对广泛使用的分子性质数据集进行系统性基准测试，研究人员表明目标值通常高度不平衡，且预测误差始终集中在标签空间中稀疏表示的区域。研究人员进一步评估了为一般回归任务开发的代表性不平衡学习方法，并发现它们在分子数据集上的有效性有限。为了应对这一挑战，研究人员提出了区间感知专家混合模型（interval-aware mixture-of-experts, IA-MoE），这是一种即插即用框架，可将连续目标空间划分为多个区间，并促进专家在不同标签分布区域间的专业化。IA-MoE可以无缝集成到多种分子编码器中，而无需修改其底层架构。在五个分子性质基准和四个图神经网络骨干上的实验表明，IA-MoE持续改善代表性不足区域的预测性能，同时保持或提高整体准确性。研究结果确立了标签不平衡是分子性质回归中的一个重要挑战，并强调区间感知专家学习是应对该挑战的有效策略。
**论文解读：面向不平衡分子性质回归的基准研究与区间感知专家混合模型**
**研究背景与问题**
分子性质预测是AI驱动药物发现中的基础任务，广泛应用于药代动力学建模、毒性评估、先导化合物优化和虚拟筛选。近年来，图神经网络（graph neural networks, GNNs）和分子语言模型的进展显著提升了预测性能。然而，大多数现有研究主要聚焦于提升整体预测精度，往往忽略了模型性能在不同目标分布区域间的差异。实际中，分子性质数据集的标签分布经常是高度不平衡的，大量分子集中于狭窄的目标值范围，而仅有少数分子占据稀疏区域。这种不平衡可能导致模型在低密度区域的系统性性能退化，即便整体精度表现良好。例如，在脂溶性数据集中，Log P值大于5的化合物既在分布中代表性不足，又与较大预测误差相关，而这些化合物根据Lipinski五规则又与吸收和渗透性不良风险相关。尽管标签不平衡在分类任务中已被广泛研究，其在回归场景中的研究相对匮乏。现有针对不平衡回归的方法可分为数据层面方法、损失层面方法和特征层面方法，但它们在分子性质回归中的有效性尚未得到充分理解。因此，亟需系统评估现有不平衡学习方法在结构化分子数据上的表现，并探索替代性解决方案。
**研究内容与结论**
针对上述问题，研究人员开展了系统性基准研究，评估了代表性不平衡学习方法在分子性质预测任务中的表现，并提出了区间感知专家混合模型（interval-aware mixture-of-experts, IA-MoE）。该框架是一个轻量级即插即用模块，通过将连续目标空间划分为预定义区间，鼓励专家在不同标签分布区域间实现专业化。与依赖输入路由机制的传统专家混合（mixture-of-experts, MoE）架构不同，IA-MoE对于每个分子，软融合两个最近区间专家的表示以生成最终预测，实现相邻目标区域间的平滑过渡，同时减少密集与稀疏区域间的干扰。IA-MoE可以无缝集成到多种分子编码器，无需修改其底层架构。在五个分子性质基准和四种分子编码器上的实验表明，IA-MoE持续改善低密度区域的预测性能，同时保持或提高整体准确性。研究结果表明，架构层面方法为处理分子性质回归中的目标不平衡提供了一个有前景的方向，并可能补充现有的数据、损失和特征层面技术。
**主要技术方法**
本研究使用的主要关键技术方法包括：（1）区间感知专家混合模型：将目标空间按分位数划分为8个区间，每个区间对应一个轻量级专家网络，通过局部化Top-2路由策略融合两个最相关专家的表示；（2）门控监督：基于目标值与定义区间之间的距离构建软分配向量，通过KL散度最小化路由分布与软目标间的一致性；（3）基准数据集：使用来自 Therapeutics Data Commons（TDC）的五个公开分子性质基准数据集，包括Caco2_Wang、Lipophilicity_AstraZeneca、PPBR_AZ、LD50_Zhu和Solubility_AqSolDB；（4）四种分子编码器：GAT、DeeperGCN、ChemBERTa和GROVER，覆盖基于图和基于Transformer的分子表示。
**研究结果**
**基准不平衡学习方法评估**
在五个分子性质预测基准上对完整测试集的整体预测性能进行评估。与涵盖数据层面、损失层面和特征层面的代表性不平衡学习策略相比，IA-MoE在不同的分子编码器上始终取得竞争性或更优的性能。例如，在GAT骨干的Caco2数据集上，平均绝对误差（MAE）从0.383降至0.324。IA-MoE在17/20的骨干-数据集组合中相较不平衡感知方法取得相等或更好的皮尔逊相关系数（PCC）。
**目标分布不平衡下的性能**
将连续标签空间基于标签密度划分为低密度和高密度区域。在五个数据集和四种分子编码器上，IA-MoE持续改善低密度样本的预测性能，且这些改善通常不以牺牲高密度样本性能为代价。现有方法往往在改善低密度样本性能的同时导致高密度样本性能下降，而IA-MoE则实现了更均衡的性能提升。
**门控监督对专家专业化的影响**
区间感知门控监督鼓励各专家聚焦于特定目标区间，形成与预定义区间对齐的结构化划分。无监督情况下，路由变得混乱，专家要么在窄区间内重叠，要么利用不足。消融实验表明，无门控监督时模型性能退化，极端情况下路由退化为单一专家，接近基线性能。
**对目标空间划分的敏感性**
IA-MoE对专家数量B的敏感性有限，性能在较宽范围内保持稳定。但B过大时（如50），所有数据集出现明显退化。分位数划分策略在不同数据集和指标上提供相对稳定的性能，特别是在低密度区域。
**预测分布与对齐**
基线模型常产生过度集中、单峰的预测分布，而IA-MoE能捕捉目标分布中更复杂的局部结构。在Caco2和溶解度数据集中，IA-MoE在峰值位置与真实分布对齐更紧密，表明在高密度区域的校准有所改善。
**低密度样本的误差分布**
通过分析稀有样本绝对误差的经验累积分布函数（ECDF），IA-MoE持续将误差分布向较低值方向移动。在Caco2和溶解度数据集中效果尤为明显，反映出稀疏区域可靠性的提升。
**案例研究**
在PPBR数据集中选取两个位于目标分布低密度区域的测试分子，其最相似的训练样本主要来自高密度区域。基线GAT模型偏向高密度区域的预测方向，而GAT + IA-MoE生成的预测更接近真实值，表明区间特定的专家专业化能缓解高密度优势样本的影响。
**总结与结论**
本研究表明，目标分布不平衡是分子性质回归中的一个重要挑战。现有数据、损失和特征层面的不平衡学习方法在分子数据集上的有效性较为有限。IA-MoE作为一种架构级解决方案，通过区间感知专家专业化实现了跨目标分布更均衡和稳健的预测行为。研究结果为该领域提供了重要启示，表明架构方法为处理分子性质回归中的目标不平衡提供了有前景的方向，并可能补充现有技术。当前框架的局限在于区间划分是预定义的，未显式适应底层目标分布。未来工作可探索自适应或数据驱动的区间构建策略，并将该框架扩展到分子性质建模之外的其他连续预测任务。
