《SLAS Discovery》：Hit selection using SSMD-based machine learning performance metrics in high-throughput screening assays
编辑推荐：
高通量筛选(High-throughput screening, HTS)分析是早期药物发现的核心，但常常受到极端数据稀疏性的限制，因为初筛通常每个测试物质仅使用单次重复。这种稀疏性使得常规机器学习性能指标，如敏感性、特异性和接收者操作特征曲线下面积(Area
高通量筛选(High-throughput screening, HTS)分析是早期药物发现的核心，但常常受到极端数据稀疏性的限制，因为初筛通常每个测试物质仅使用单次重复。这种稀疏性使得常规机器学习性能指标，如敏感性、特异性和接收者操作特征曲线下面积(Area under the receiver operating characteristic curve, AUROC)，难以进行经验估计，因为这些指标需要足够大小的标注样本。研究人员引入了一个基于模型的框架，从严格标准化均数差(Strictly standardized mean difference, SSMD)（一种公认的HTS效应量参数）推导出这些分类指标。在高斯等方差假设下，研究人员推导出将SSMD与Youden最优敏感性和特异性以及预设特异性下的敏感性相联系的闭式关系，从而即使在单重复设计下也能从非中心t分布(noncentral t-distribution)获得显式估计量和精确置信区间。与经典统计功效不同——后者随着样本量增长而趋于1，无论组均值之间的真实非零差异有多小——SSMD推导的敏感性收敛到一个反映两组之间真实分离程度的有限总体值，使其成为更有意义且稳定的命中选择性能度量。研究人员在包含约22,000个单重复测量的丙型肝炎病毒(hepatitis C virus, HCV)初筛siRNA筛选中展示了该框架的实用性，表明基于SSMD、AUROC和敏感性的阈值可产生等价且可解释的命中集。这项工作弥合了经典HTS统计学与机器学习评估理论之间的鸿沟，为超低重复筛选工作流程中估计分类性能提供了一种具有统计学原则、可重现的方法。
高通量筛选(High-throughput screening, HTS)是药物发现和功能基因组学中的核心技术，它通过自动化平台对大量小分子、小干扰RNA(siRNA)等扰动进行系统评估。典型的HTS采用两阶段设计：初筛阶段每个测试物质通常仅测量一次（单重复）以最大化通量，之后对少量候选进行确认性筛选。这种设计导致初筛数据极其稀疏，因为每个物质只有一个观察值，使得常规机器学习分类性能指标——如敏感性、特异性、接收者操作特征曲线下面积(Area under the receiver operating characteristic curve, AUROC)——无法通过经验方式可靠估计，因为这些指标需要足够数量的标注样本。在HTS实践中，常使用的命中选择标准，如百分比抑制、倍数变化和均值差异，忽略了测量变异性，缺乏决策校准；Z分数、B分数等稳健方法虽然改进，但并未直接量化分类性能。严格标准化均数差(Strictly standardized mean difference, SSMD)作为一种效应量参数，能够整合信号幅度和变异，且适用于单重复设计，已被广泛应用；但以往SSMD与AUROC的关系仅用于质量控制，未进一步导出敏感性和特异性等机器学习指标。因此，研究者面临一个关键问题：如何在超低重复、缺少标注的条件下，以统计上严谨的方式评估和优化命中选择的分类性能？本项研究的目的正是开发这样一个模型驱动框架。
研究人员在假定测试物质与阴性对照的测量值均服从正态分布且方差相等的条件下，推导出SSMD与Youden最优敏感性/特异性、以及预设特异性下敏感性之间的闭式关系。这些关系将SSMD与AUROC连接起来，使得即使没有经验ROC曲线，也能从SSMD估计值直接计算分类性能。进一步地，利用非中心t分布，研究人员给出了这些指标的精确置信区间，适用于单重复甚至小样本设计。与经典统计功效不同，SSMD导出的敏感性不是随样本量无限趋近1，而是收敛到反映两组真实分离程度的有限总体值，因此更符合命中选择的实际需求。为验证框架，研究人员将方法应用于一项丙型肝炎病毒(hepatitis C virus, HCV)初筛siRNA筛选研究，该研究包含约22,000个siRNA，每个siRNA只有一个测量值。分析表明，SSMD、AUROC和敏感性阈值可以产生等价且可解释的命中集，从而在实际数据中确认了框架的实用性。这一成果为连接经典HTS统计与机器学习评估理论提供了一座桥梁，使单重复筛选工作流程也能进行有原则、可重现的分类性能估计。
关键技术方法方面，本研究的样本队列来自上述HCV初筛，总共约22,000个siRNA，分布于97个384孔板，每个板含16个阳性对照和16个阴性对照，最终有83个板通过质量控制。主要分析步骤包括：对每个板估计SSMD，采用均匀最小方差无偏估计(uniformly minimum variance unbiased estimator, UMVUE)公式；利用非中心t分布构造SSMD的精确置信区间，并通过闭式关系映射到AUROC、敏感性和特异性；使用Youden指数和预设特异性0.975作为阈值决策依据；同时使用plate-well series plots和dual-flashlight plot等可视化方法，将效应量与分类性能联合展示。
**3. Application**：在HCV筛选中应用所提出的框架。研究人员对83个通过质控的板分别计算SSMD、平均抑制率差以及模型估计的AUROC和敏感性。以SSMD≥1.96作为命中阈值时，共选出269个抑制命中和793个激活命中。根据解析关系，这些阈值对应的AUROC≥0.975，Youden最优敏感性/特异性≥0.917，预设特异性0.975时的敏感性≥0.792。直接以AUROC≥0.975为截止值时，所得命中集与SSMD法完全相同，证实了两种选择指标在模型下的等价性。若使用Youden指数≥0.90进行选择，则产生355个抑制命中和1101个激活命中，其特异性仅为0.90，允许相对较高的假阳性率。为更严格控制假阳性，研究人员固定特异性为0.975并选择敏感性超过0.80，最终得到260个抑制命中和748个激活命中。这些结果说明，通过调整阈值，可以灵活地在真阳性发现率与假阳性代价之间进行权衡。另外，dual-flashlight图等可视化将平均抑制率与SSMD、AUROC、敏感性在同一散点图中展示，使决策者可以同时考虑效应大小和预期分类性能。
讨论部分，研究人员首先强调了该工作的理论贡献：将SSMD这一传统HTS效应量转化为可操作的分类性能指标，从而把命中选择从启发式排序提升为具有解析性能保证的阈值优化问题。从机器学习视角看，这是对数据稀缺条件下模型评估的有益补充。但讨论也明确指出若干局限：正态等方差假设是解析推导的基础，若实际数据偏离该假设，性能估计可能不准确；当前计算实现尚未在广泛独立数据集中验证；框架仅针对单变量响应。未来工作可以扩展到不等方差、重尾分布或稳健估计，并可探索多变量特征和更复杂的机器学习模型。最后，研究结论如下：该工作通过建立SSMD与标准分类性能指标之间的显式解析联系，为超低重复设置下的命中选择提供了统计上有原则的基础，使高通量筛选中的决策可解释、可重现且与机器学习一致；在经验验证严重受限时，该框架提供了一种基于理论分析的评价范式，也符合机器学习研究中倡导分析驱动评价的趋势。
