编辑推荐：
研究人员针对药物研发难题，开展神经网络结构 - 活性模型校准研究，助力药物研发决策。
在药物研发的漫长征程中，每一款新药的诞生都像是一场艰难的冒险。研发一款安全有效的药物，不仅要面临高昂的成本，还要承受药物出现不良反应或疗效不佳的风险，这些都可能导致药物研发的失败，或者让新药的上市之路变得漫长而曲折。
随着科技的发展，机器学习模型如同一位神奇的助手，走进了药物研发的领域。它利用不断增长的计算资源和海量的数据，在预测任务中表现出色，能够快速地从众多的化合物中筛选出可能有效的药物候选物，大大提高了研发效率。然而，这个助手也有自己的 “小脾气”。在实际应用中，虽然机器学习模型的预测准确率较高，但它在估计预测结果的不确定性时却常常 “掉链子”。这就好比医生在给病人诊断时，虽然说某种治疗方法有一定的效果，但却无法准确告知病人这个效果的可靠性以及可能存在的风险，这无疑会让病人在选择治疗方案时感到迷茫。
在药物研发这个高风险的领域，准确评估不确定性至关重要。例如，在选择药物候选物时，如果无法准确知道模型预测的可靠性，就可能会在一些效果不佳的候选物上投入大量的时间和资源，导致研发进度受阻。那么，如何才能让机器学习模型在药物研发中更可靠呢？为了解决这个问题，来自比利时鲁汶大学（KU Leuven）等机构的研究人员 Hannah Rosa Friesacher、Ola Engkvist、Lewis Mervin 等人开展了一项全面的研究，相关成果发表在《Journal of Cheminformatics》上。
研究人员主要采用了以下关键技术方法：
首先，从 ChEMBL 数据库提取了针对单胺氧化酶 A（MAO - A）、细胞色素 P450 3A4（CYP3A4）和 hERG 这三个靶点的生物活性数据。这些靶点在药物研发中具有重要意义，比如 CYP3A4 在药物代谢和药物 - 药物相互作用中起着关键作用，抑制 hERG 可能会导致严重的心脏副作用，而 MAO - A 则与治疗行为和神经疾病的药物研发相关。
其次，使用了多层感知器（MLP）作为基线模型进行二进制分类任务，并通过网格搜索调整模型的超参数。同时，研究人员对比了不同的不确定性估计和概率校准方法，包括蒙特卡罗随机失活（MC dropout）、深度集成（Deep ensembles）、HMC 贝叶斯最后一层（HBLL）以及后验校准方法普拉特缩放（Platt scaling）。
下面我们来看看具体的研究结果：
- 模型选择研究：研究人员探究了不同超参数（HP）优化指标对模型校准的影响。通过对比基于准确率（ACC）、受试者工作特征曲线下面积（AUC）、二元交叉熵损失（BCE loss）和自适应校准误差（ACE）优化超参数的模型校准误差，发现基于 BCE loss 和 ACE 优化超参数的模型在校准误差方面表现更优，同时在 AUC 和 Brier 分数（BS）等指标上也有较好的表现。这表明，选择合适的超参数优化指标对于提高模型的校准性能至关重要。
- 模型校准研究：对比了不同不确定性估计和概率校准方法的性能。结果显示，除了 MC dropout（MLP - D）模型外，其他模型在 CYP3A4 和 MAO - A 靶点上的校准误差均低于基线模型。其中，Platt scaling（MLP + P）和 HBLL 在概率校准方面表现最为突出，HBLL 在 MAO - A 和 hERG 数据集上的校准误差最小。这说明这些方法能够有效地改善模型的概率校准，为药物研发提供更可靠的不确定性估计。
- 后验校准不确定性量化方法：研究人员将 Platt scaling 与 MLP - E 和 HBLL 相结合，评估校准不确定性估计对模型校准的影响。结果表明，Platt - scaled 模型在大多数情况下优于训练时不确定性估计方法，不过 HBLL 模型本身已经具有较好的校准性能，Platt scaling 对其校准的提升效果因靶点而异。
综合以上研究，研究人员得出结论：超参数调整指标的选择对模型性能有显著影响，考虑模型概率校准的指标能降低校准误差并提高 AUC 分数；HBLL 是唯一能成功改善概率校准且性能与其他常用方法相当或更优的训练时不确定性量化方法，其计算复杂度低于全贝叶斯方法；后验校准方法并不总是能提高模型校准，HBLL 模型在大多数情况下表现出色。
这项研究为药物研发过程中的不确定性估计提供了重要的参考，有助于研究人员做出更明智的决策，提高药物研发的效率和成功率。同时，研究也指出了未来的研究方向，比如探索更复杂的化学描述符和更大的神经网络对模型性能的影响。相信在未来，随着研究的不断深入，机器学习模型将在药物研发中发挥更大的作用，为人类的健康事业带来更多的希望。
