《Cytometry Part B: Clinical Cytometry》:Artificial intelligence-based screening of paroxysmal nocturnal hemoglobinuria clones: Development and comparative evaluation of machine learning models
编辑推荐:
阵发性睡眠性血红蛋白尿(paroxysmal nocturnal hemoglobinuria,PNH)的诊断依赖于检测GPI锚定蛋白缺陷细胞,目前基于需要专业知识的耗时人工判读。本研究旨在利用包含细胞大小、复杂程度及FLAER、CD15、CD45、CD64和
阵发性睡眠性血红蛋白尿(paroxysmal nocturnal hemoglobinuria,PNH)的诊断依赖于检测GPI锚定蛋白缺陷细胞,目前基于需要专业知识的耗时人工判读。本研究旨在利用包含细胞大小、复杂程度及FLAER、CD15、CD45、CD64和CD157表达信息的流式细胞术数据,开发机器学习模型以识别粒细胞和单核细胞中的PNH克隆。训练阶段随机选取20份正常和20份PNH样本;正常样本全量纳入,而PNH样本仅保留PNH细胞。分析验证阶段对22份正常和18份PNH样本进行全量分析。样本经预处理流程处理后分为训练集(12份正常、12份PNH)、验证集(4份正常、4份PNH)和测试集(4份正常、4份PNH)。研究开发了两种监督学习模型:随机森林(Random Forest,RF)和人工神经网络(Artificial Neural Network,ANN)。验证样本采用相同预处理流程,但省略拼接步骤。两种模型均实现接近100%的特异度、>93%的准确度、ROC-AUC>0.99和PR-AUC>0.98;ANN表现出更高的灵敏度(0.85 vs. 0.78)和F1分数(0.92 vs. 0.87)。定性分析中,RF和ANN与人工分析的一致性分别为100%和45%,定量分析确认RF与人工结果具有统计学等效性。RF的可重复性通过10份样本的三次重复检测获得完全一致的结果得以证实。加标实验中,RF在全部添加200或100个PNH细胞的样本中识别出>50个PNH细胞,在5份添加50个细胞的样本中有3份识别成功,而在添加25个细胞的样本中均未识别成功。上述结果表明RF模型在PNH分析中具有应用前景;然而,临床实施需整合至免疫表型分析软件并进行部署后性能监测。
论文解读:基于机器学习的阵发性睡眠性血红蛋白尿克隆筛查模型开发与验证
一、研究背景与意义
阵发性睡眠性血红蛋白尿(paroxysmal nocturnal hemoglobinuria,PNH)是一种获得性克隆性造血干细胞疾病,估计发病率约为每百万人1–2例,患病率为每百万人10–20例。作为一种罕见病,PNH具有慢性进行性特点,可在任何年龄段发病,对患者生活质量造成显著影响并增加死亡率。PNH的诊断通过多参数流式细胞术(multiparametric flow cytometry,MFC)进行免疫表型分析,基于鉴定缺乏糖基磷脂酰肌醇(glycosylphosphatidylinositol,GPI)锚定蛋白表达的红细胞、单核细胞和中性粒细胞。目前流式细胞术免疫表型数据的解读依赖软件根据免疫表型相似性对细胞进行聚类,但群体分离、特征描述和判读仍以人工为主,耗时且需要专业知识。日益增长的检测需求和复杂性推动了自动化解决方案的探索,机器学习的发展使人工智能(artificial intelligence,AI)在检验医学中的应用成为可能。然而,AI模型在常规流式细胞术工作流程中的采用仍有限,主要由于对这些技术缺乏熟悉以及对其临床可靠性存在顾虑。因此,拟用于诊断的计算工具必须经过检验医学中确立的严格质量控制和验证程序。本研究旨在开发、评估和验证用于解读流式细胞术免疫表型panel以识别中性粒细胞和单核细胞中PNH克隆的机器学习模型。
二、主要技术方法
研究人员从2024年1月至2025年3月期间随机选取诊断性流式细胞术文件用于模型开发,包括训练、验证和测试集。分析验证采用2025年5月至2025年8月期间独立采集的样本。排除事件数少于50,000的样本以保证数据质量。PNH中性粒细胞和单核细胞评估panel包括CD15、CD64、CD45、CD157和FLAER。数据在两台FACSLyric流式细胞仪上采集,使用Kaluza软件分析,原始数据经Infinicyt软件从.cyt格式转换为.xlsx格式。训练阶段选取20份正常和20份PNH样本,正常样本全量纳入数据库,PNH样本仅保留人工识别的PNH细胞。分析验证阶段使用22份正常和18份含不同比例PNH细胞的样本,全量分析。预处理流程包括排除非生物或冗余变量、纳入PNH状态变量、标准化变量命名、根据CD15或CD64表达进行细胞过滤、异常值识别与排除、双曲反正弦变换、按数据集拼接文件、Z-score标准化,以及使用合成少数类过采样技术(Synthetic Minority Over-sampling Technique,SMOTE)平衡训练集。研究开发了两种监督学习模型:随机森林(Random Forest,RF)模型和前馈人工神经网络(Artificial Neural Network,ANN)。两种模型均接收相同的八个细胞水平输入特征:FSC-A、FSC-H、SSC-A、CD45、CD15、CD64、CD157和FLAER。RF算法使用SMOTE平衡数据集训练,包含500棵决策树。ANN基于TensorFlow/Keras框架开发,采用紧凑架构:输入层8个神经元、两个密集隐藏层(16和8个神经元)及单神经元sigmoid输出层。分析验证采用传统实验室技术采用前的验证方案,包括定性和定量准确性评估、可重复性评估和检测能力评估。
三、研究结果
3.1 数据预处理效果
预处理前,所有变量均呈现显著离散性、极端值和正常组与PNH组之间的明显重叠。大小和复杂程度相关参数(FSC-A、FSC-H和SSC-A)以及CD45、CD15和CD64表达呈现宽分布和大量异常值,反映原始数据中细胞群体的异质性。尽管CD157和FLAER表达在组间已存在差异,但极端值和偏态分布限制了可视化分离并增加了组内变异性。预处理后,变量分布变得更加紧凑和对称,与PNH克隆识别直接相关的CD157和FLAER在正常和PNH事件间呈现更清晰的分离,PNH组标准化表达值持续较低。
3.2 RF和ANN模型性能
RF模型选择最小灵敏度标准定义的截断值(thr=0.9580),ANN模型选择最大F1分数对应的截断值(thr=0.99939)。两种模型均实现接近100%的特异度和大于93%的准确度。ANN模型表现出更高的灵敏度(0.85 vs. 0.78)和更优的F1分数(0.92 vs. 0.87)。两种模型的ROC-AUC和PR-AUC均大于0.98。RF模型在测试集上的准确度为0.9389,PPV为0.9999,NPV为0.9222,灵敏度为0.7785,特异度为1,F1分数为0.8754。ANN模型准确度为0.9583,PPV为0.9969,NPV为0.9465,灵敏度为0.8517,特异度为0.999,F1分数为0.9186。
3.3 PNH细胞分类模型的分析验证
定性分析中,RF模型与人工分析结果达到100%一致性。相比之下,ANN模型在所有样本中均识别出超过50个PNH细胞,一致性仅为45%,因此未获准进入后续验证步骤。定量一致性分析确认RF模型产生的结果与人工评估在统计学上可比,未检测到系统性偏倚。配对Wilcoxon检验未显示偏倚(p=.696;r≈0.07,小效应量)。中位偏倚为+1个细胞,Bland–Altman一致性界限为?22.25至+24.25个细胞。RF模型的可重复性评估中,10份样本三次重复分析结果完全一致。检测能力评估中,在200和100个事件水平,模型在全部5份样本中识别出超过50个PNH事件;在50个事件水平,5份样本中有3份被分类至50个事件决策阈值以上;在25个事件水平,无样本超过该阈值。
四、讨论与结论
本研究结果强调了在模型开发获得的常规性能指标之外评估机器学习模型的重要性。分析验证揭示,尽管ANN在测试数据集中表现出优于RF的细胞水平性能指标,但其性能未能充分推广至独立的完整流式细胞术样本,提示对开发数据集特征的过拟合。ANN正确分类了所有已知PNH阳性样本,但在每份PNH阴性样本中均识别出超过50个PNH事件,导致其被错误分类为阳性,总体定性一致性仅为45%。相比之下,RF模型正确分类了所有样本,在模拟常规实验室使用条件下展示了从细胞水平分类到样本水平分析的更好泛化能力。这一差异的可能原因在于开发数据集构建策略:正常样本全量纳入,而PNH阳性样本仅保留人工识别的PNH细胞,导致PNH类别可能未充分代表完整临床样本中遇到的异质性和边界事件。研究还考虑了细胞仪性能日常变异的影响,训练、验证和测试数据集由约15个月内随机选取的文件构建,分析验证使用随后四个月期间独立采集的样本。尽管存在时间间隔,RF模型仍与人工分析保持优异一致性。据研究人员所知,这是首个将机器学习模型应用于PNH诊断检测解读的研究。研究结论指出,RF模型在定性分析中实现100%一致性,定量分析显示与人工分析无可检测偏倚。在50个PNH事件的临床决策阈值评估中,5份样本中有3份被分类至截断值以上,这与目标事件数恰好位于决策阈值时的预期分析变异性一致。所有含100或200个PNH事件的样本均被正确分类至阈值以上,而仅含25个PNH事件的样本均未超过阈值。这些发现支持模型在临床决策阈值附近具有适当行为,而非系统性灵敏度丧失。然而,所有样本均来自单一实验室,该模型的使用不应未经外部验证而推广至采用不同处理流程、试剂、人员或仪器的其他实验室。尽管结果令人鼓舞,RF模型尚不具备常规诊断使用条件,临床实施需要整合至免疫表型分析软件并建立部署后性能监测策略。