将机器学习与MALDI-TOF质谱技术相结合，用于快速区分耐甲氧西林金黄色葡萄球菌（MRSA）和敏感于甲氧西林的金黄色葡萄球菌（ MSSA）

《PLOS Computational Biology》：Application of machine learning with MALDI-TOF MS for rapid differentiation between methicillin-susceptible and methicillin-resistant Staphylococcus aureus

　　摘要
背景
将机器学习技术与矩阵辅助激光解吸/电离飞行时间（MALDI-TOF）质谱技术相结合，可以快速区分耐甲氧西林的金黄色葡萄球菌（MRSA）和敏感型甲氧西林金黄色葡萄球菌（MSSA），从而实现更早的抗生素使用指导。然而，以往的研究显示模型性能有限。本研究旨在将新型机器学习技术应用于大型数据集，以创建具有临床应用潜力的预测模型。

方法
本研究使用了迄今为止最大的数据集之一，共收集了24,487株金黄色葡萄球菌（13,776株MRSA和10,711株MSSA），这些样本收集时间为2021年1月至2024年5月期间，在香港进行。这些光谱数据被随机分为80:20的比例用于训练和验证，以构建不同结构的模型。顶尖模型包括大规模神经网络（NN）、LightGBM梯度提升框架（LGBM）以及NN和LGBM的加权平均集成模型（“ensemble”），并通过2,975株额外临床样本（1,867株MRSA和1,108株MSSA）进行了前瞻性测试，并使用来自台湾的1,000个光谱数据（500株MRSA和500株MSSA）进行了外部验证。

结果
NN、LGBM和集成模型在前瞻性测试中的准确率分别为0.9284-0.9388，AUPRC分别为0.9843-0.9866，表现优异。通过设置置信阈值（拒绝20%的低置信度预测），准确率进一步提高至0.9697-0.9777。外部验证显示准确率为0.695-0.723，AUPRC为0.8409-0.8765，但假阴性数量有所增加。Shapley加性解释揭示了与先前研究一致的顶级特征组，但特征重要性具有地理特异性。

结论
我们提出了新的机器学习模型，能够在MRSA和MSSA之间实现高度区分。通过设置置信阈值可以进一步提高模型性能，但这些模型在不同地理区域的普遍性有待验证。临床应用时应使用具有地理特殊性的模型，并在置信度较低的预测情况下回退至传统的抗生素敏感性测试（AST）方法。

作者总结
金黄色葡萄球菌是一种常见的人类感染细菌。其中一种变异株——耐甲氧西林金黄色葡萄球菌（MRSA）因对多种抗生素具有抗性而备受关注。及早识别MRSA非常重要，以便使用有效的抗生素进行治疗。目前，传统的MRSA识别方法需要24小时培养样本以确定某些抗生素是否有效。然而，研究表明，利用常规质谱数据结合机器学习可以在培养前预测样本是否为MRSA。我们收集了超过25,000株金黄色葡萄球菌样本来构建这样的机器学习模型，并证实这些模型在本地测试中具有很高的准确性，但在分析训练数据外源样本时准确性较低。这意味着这些模型有助于更早地使用适当的抗生素，但其安全应用需要结合本地情况和解释模型自身的预测置信度。

引言
耐甲氧西林金黄色葡萄球菌（MRSA）被列入2024年世界卫生组织（WHO）的重点病原体名单，对全球医疗系统构成重大威胁[1]。可以通过矩阵辅助激光解吸/电离飞行时间（MALDI-TOF）质谱技术（MS）对其进行识别，并报告为金黄色葡萄球菌；而需要通过抗菌药物敏感性测试（AST）来确定其是否为MRSA或敏感型金黄色葡萄球菌（MSSA），这一过程还需额外24小时培养时间。及时使用适当抗生素对于控制这些细菌引起的感染至关重要，但快速检测细菌耐药性是实现这一目标的关键。现有的传统培养方法需要48小时才能区分MRSA和MSSA，这延长了广谱抗生素的使用时间，进一步推动了抗菌素耐药性的发展。最近的研究表明，MALDI-TOF技术不仅可用于生物体识别，还可通过分析金黄色葡萄球菌的质量谱来预测其耐药性。尽管过去十年有很多关于耐药性分析的尝试，但大多数方法基于非深度学习技术[2–13]，且大多尚未达到临床应用所需的性能水平。深度学习方法的应用较为有限，例如Weis等人使用多层感知器（MLP）模型区分肺炎克雷伯菌的耐药株和非耐药株[14]。然而，这些方法的模型规模和样本量相对较小，且生物体菌株的多样性是分析抗生素耐药性的另一个主要挑战。来自不同地理区域的菌株可能在表型和/或基因型上存在差异，导致抗菌图谱和质量谱模式不同，这些变化往往不可预测且不具备普遍性，因此在有限的样本量下难以捕捉。限制样本收集和模型应用的范围可能会通过关注本地菌株的特征来提高模型准确性。在本研究中，我们开发了一个复合模型，用于将MALDI-TOF光谱分类为MSSA和MRSA。Yu等人之前的研究使用了一个包含20,359株临床样本的数据集来快速区分MSSA和MRSA[3]。在此基础上，我们使用了迄今为止最大的数据集之一（24,487株临床样本用于训练和验证，3,975株样本用于两阶段测试），构建了具有高精度和召回率的模型，使其成为指导抗生素使用的可靠工具。通过提供快速准确的耐药性识别，我们的方法有望改善治疗效果并促进抗生素合理使用。

方法
研究设计
图1展示了本研究的各个阶段。本研究使用了三組金黄色葡萄球菌光谱数据：基础数据集、前瞻性数据集和外部数据集。基础数据集被随机分为80:20的比例进行训练和验证。所有模型首先使用训练数据集进行训练，然后使用验证数据集进行评估。表现最佳的模型被纳入前瞻性阶段，在此阶段数据预处理流程和模型参数被固定后，用于预测前瞻性收集样本的耐药性。为了评估模型的地理泛化能力，最终阶段使用了来自台湾的历史外部数据集对表现最佳的模型进行评估。

细菌样本
基础数据集共包含24,487株金黄色葡萄球菌的质量谱数据，这些数据由布鲁克公司（Bruker）的MBT Compass IVD 4.2.90和4.2.100版本的MALDI-TOF分析仪生成，样本收集自2021年1月至2024年5月期间香港威尔士亲王医院（Prince of Wales Hospital）微生物科，该医院拥有2,000张急性病床和700张急性病床，服务人口约100万。样本来源于多种临床标本（包括伤口拭子、痰液、血培养物、尿液、组织、脓液及各种MRSA/MSSA筛查样本）。该数据集包含10,711株MSSA和13,776株MRSA样本（表S1）。前瞻性数据集包含2,975株金黄色葡萄球菌的质量谱数据，这些数据使用相同仪器和方案从前瞻性收集的临床样本中生成，收集时间为2024年6月1日至9月30日。外部验证数据集包含1,000株金黄色葡萄球菌的质量谱数据，这些数据由布鲁克公司的MBT Compass 4.1版本MALDI-TOF分析仪生成，采集自台湾中国医科大学医院（China Medical University Hospital），与香港地理位置不同，样本收集时间为2020年1月至2021年6月。

光谱数据
MALDI-TOF光谱数据来自布鲁克公司的MALDI-TOF分析仪，重复数据已被排除。只有当识别分数≥2.0且类别A（代表最匹配的属和种级识别结果）具有高度一致性时，才选择金黄色葡萄球菌光谱进行后续分析。这些原始光谱数据使用自主研发的Python脚本处理：nmrglue包用于获取质量校准常数和每个光谱的强度谱；相应的m/z谱通过Titulaer等人提出的公式计算[15]。为确保模型验证的客观性，基于同一住院期间的医院编号对光谱进行去重处理，因此同一患者或同一住院期间的光谱不会在训练和验证集中共现。

数据处理
原始光谱数据以m/z值及其对应强度的形式获取后，遵循Weis等人的方法进行预处理[14]：
1. 对所有强度值应用平方根转换以减少方差；
2. 使用Savitzky-Golay算法进行 smoothing 处理，窗口大小为10；
3. 通过20次SNIP迭代去除基线噪声；
4. 将强度归一化，总离子电流设为1；
5. 将光谱范围限制在2,000–20,000 m/z之间；
6. 将数据分为6,000个间隔为3 m/z的区间。数据处理使用Python中的Pandas、NumPy、SciPy和pybaselines等包实现。

模型构建
本研究评估了多种机器学习模型的性能，包括密集连接神经网络、LightGBM[16]、XGBoost[17]、CatBoost[18]、随机森林、逻辑回归和支持向量机，以及基于上述模型的集成模型。参考Weis等人的超参数设置[14]，对每种模型类型进行了优化，以最小化训练数据集的验证损失。由于数据集中的类别不平衡较为轻微（表S2），且评估指标不受类别不平衡影响，因此未实施类别平衡或权重调整。一个显著的变化是从Scikit-learn切换到Tensorflow Keras来利用硬件加速密集连接神经网络。集成模型通过组合表现最佳的模型类型并加权平均其输出构建，然后作为独立模型进行评估。所有模型类型均进行了5折交叉验证以确保性能稳定。最佳模型通过5次评估的平均值确定。

性能评估
基础数据集按80:20比例分为训练集和验证集，分别为19,590个训练样本和4,897个验证样本。模型性能通过二元交叉熵损失、准确率、召回率、F1分数和精确度-召回率曲线下面积进行评估。模型输出介于0和1之间的连续值，0表示MSSA，1表示MRSA。模型输出与目标值之间的数值差异通过二元交叉熵量化，这是一种对“错误预测”进行惩罚的对数损失函数。当模型输出被解释为离散类别时，使用准确率、召回率和F1分数评估性能。其定义如下：
TP = 真阳性（模型预测为MRSA且AST confirm为MRSA）；
TN = 真阴性（模型预测为MSSA且AST confirm为MSSA）；
FP = 假阳性（模型预测为MRSA但AST report为MSSA）；
FN = 假阴性（模型预测为MSSA但AST report为MRSA）。
敏感模型具有高召回率，而特异性模型具有高精确度。为了同时评估这两种质量，F1分数采用了二者的调和平均值，只有那些同时具有高敏感性和高特异性的模型才能获得高F1分数。这确保了该指标不会偏向多数类。默认的分类阈值设置为0.5，高于或等于此值的被归类为MRSA，低于此值的被归类为MSSA。为了评估调整这个阈值时模型性能的稳定性，会绘制精确度-召回率曲线，并测量该曲线下的面积（AUPRC）。接近1的值表示模型稳定，输出非随机。在对每个模型类型的最佳变体进行了超参数调整后，进行了5折交叉验证。所有指标都是在5次折叠中取平均值，最佳模型被选为临床前瞻性测试的最终候选者。在选择的前瞻性测试阶段，这些模型被私下托管用于推理。在前瞻性阶段，这些模型通过Streamlit网络界面以只读状态访问，确保数据处理流程和模型参数在整个阶段保持不变。训练和验证后的模型使用AST结果作为金标准，在前瞻性样本上进行了测试。在外部验证阶段，使用相同的最佳模型进行推理。模型参数保持不变，而对数据处理流程的修改仅限于适应外部数据集的不同文件格式的部分。由于所有测试的模型类型都输出0-1范围内的连续值，除了二元标签分配外，如果模型输出与分类准确性高度相关，模型的输出也可以解释为对预测的信心。使用0.5的分类阈值，其中大于或等于0.5的输出被归类为MRSA，模型的预测信心可以如下近似：当信心较高的预测更有可能是正确的时，可以设置一个信心阈值，只接受信心高于该阈值的预测，而拒绝其余预测。因此，拒绝一小部分输出可能会提高剩余预测的准确性。为了研究模型信心的实用性并 enable 模型之间的比较，检查了每个模型的信心可靠性图和准确性-拒绝曲线。信心可靠性图按信心对模型输出进行分组，并显示每个组的准确性。一个校准良好的模型应该在模型信心和准确性之间有线性相关性，以便模型信心能够反映预测正确的概率。准确性-拒绝曲线显示了拒绝低信心输出百分比时准确性的提高程度。理想的模型应该在拒绝最少输出的情况下实现高准确性[19]。结果：模型结构对所有模型类型进行了带有手动超参数调整的网格搜索以优化性能。对于神经网络，网格搜索结果倾向于具有多达1.2亿个可训练参数的大型模型。该模型能够在大型数据集尺寸下实现良好的性能，并在最小验证损失时提前停止训练。对于其他非深度学习模型，与默认设置或Weis等人[14]的工作中的训练尝试相比，超参数几乎没有变化。模型性能在初步的超参数调整后，发现密集连接的神经网络以及包括LightGBM、XGBoost和CatBoost在内的提升算法表现更为优越。随后测试了这些模型的不同组合，以产生一个集成模型，其中神经网络、LightGBM和CatBoost的输出的加权平均比例为13:12:7时获得了最佳结果。然而，将CatBoost添加到集成模型中显著增加了训练和推理时间，因此后来从集成模型中移除了CatBoost，尽管准确性绝对损失仅减少了0.03%，同时神经网络和LightGBM的比例仍保持为13:12。最终，集成模型在交叉验证期间的准确率为0.9442（95% CI: 0.9432-0.9452），AUPRC为0.9872，优于验证阶段的其他模型（表1）。为了平衡模型性能、多样性和计算时间，选择了神经网络、LightGBM和集成模型进行前瞻性测试。与验证阶段相比，准确性下降了0.31%至1.21%，但模型性能总体保持稳定。三个选定的模型表现非常相似，集成模型的AUPRC最高，为0.9866（图2）。在外部验证中，所有三个模型的性能都有所下降，但仍能保持对MRSA预测的特异性。神经网络、LightGBM和集成模型的准确率分别为0.723、0.695和0.722，AUPRC分别为0.8409、0.8598和0.8765（表1和图3）。值得注意的是，与假阳性相比，假阴性的增加不成比例。因此，从表1可以看出，所有三个模型都具有高精度但召回率低。在验证阶段，我们观察到表现最佳的模型有两个特性支持使用信心阈值。首先，大多数模型输出具有高信心（图4）。这允许设置较高的信心阈值，同时仍然接受大多数模型预测。其次，上述公式得出的模型信心与预测准确性高度相关。在模型信心较低（0.5）时，预测接近随机，而在模型信心较高（1.0）时，准确率可达到0.98（图4）。这表明模型校准良好，模型信心是对预测正确概率的良好估计。在前瞻性测试阶段，使用准确性-拒绝曲线评估了信心阈值的效果。当所有预测都被接受时，三个模型的原始准确率在0.9284到0.9388之间。当应用阈值时，所有模型在接受的预测中准确率都有显著提高，最多拒绝了20%的样本。当拒绝20%的预测时，神经网络、LightGBM和集成模型的接受预测的准确率分别为0.9697、0.9727和0.9777（图5）。实际上，我们的实验室不会报告被拒绝的病例，而是会等待培养和敏感性测试的结果，后者仍然是金标准方法。在外部验证中，拒绝低信心预测也提高了模型准确性，但效果不那么明显。如图6所示，拒绝样本百分比与准确性之间的关系是线性的。这可能是由于外部数据集中有许多香港没有的新耐药模式，因此低比例的样本拒绝未能排除这些模式。为了提高机器学习模型的可解释性，开发了Shapley加性解释（SHAP）来可视化输入特征在模型输出中的重要性。在这项研究中，使用shap Python包中的适当解释器计算了神经网络、LightGBM和集成模型的SHAP值。集成模型的SHAP值是使用其组成模型的SHAP值的加权平均值计算的。由于计算限制，使用验证集的随机1500个样本子集来计算SHAP值。每个模型的特征重要性以光谱图的形式呈现，在S1图3中可以看到。在考虑了峰值偏移后，所有3个模型中都存在一些共同的重要的SHAP特征组，这些特征组在交叉验证折叠中是一致的。这些特征组包括特征999–1002（m/z 4997–5009）、特征1526–1528（m/z 6578–6584）和特征1172–1175（m/z 5516–5525），但神经网络和LightGBM在不太重要的特征上存在显著差异（S1图）。特征1526–1528（m/z 6578–6584）和特征1172–1175（m/z 5516–5525）与先前研究中的潜在标记一致，位置的轻微移动可能是由于使用的数据预处理方法[3,20–23]。为了进一步研究前3个特征组，使用随机500个样本的训练数据子集准备了伪凝胶图。参考Yu等人的工作，伪凝胶图是一种用于比较一批MRSA和MSSA样本之间信号差异的大量光谱数据的可视化工具[3]。每个光谱由一行水平条表示，x轴代表特征，每个特征的归一化强度由颜色刻度表示。500行这样的条垂直堆叠形成y轴。在所有三个位置都可以看到信号强度的 narrow band 差异（S2图）。然而，重要的是要注意，没有单个特征组能够一致地区分MRSA和MSSA。图7中的散点图展示了验证数据集中每个样本根据两个特征组的幅度在图上的位置。尽管不完全一致，可以观察到特征组999–1002和1526–1528将样本分为两个不同的MRSA簇，而特征组1172–1175形成了一个MSSA簇。我们可以推断，每个特征组可能是小部分样本的独立预测器，而只有当所有预测器都被准确捕获时，才能总体上实现准确的预测。单独使用这三个特征组训练的多层感知器二元分类器的准确率为0.8107，表明这些顶级特征组覆盖了大多数样本，但没有捕获达到所提出的机器学习模型的高准确率所需的所有必要信息。为了进一步研究前3个特征组，使用随机500个样本的训练数据子集准备了伪凝胶图。相对于Yu等人的工作，伪凝胶图是一种用于比较一批MRSA和MSSA样本之间信号差异的大量光谱数据的可视化工具[3]。每个光谱由一行水平条表示，x轴代表特征，每个特征的归一化强度由颜色刻度表示。500行这样的条垂直堆叠形成y轴。在所有三个位置都可以看到信号强度的 narrow band 差异（S2图）。然而，重要的是要注意，没有单个特征组能够一致地区分MRSA和MSSA。图7中的散点图展示了验证数据集中每个样本根据两个特征组的幅度在图上的位置。尽管不完全一致，但可以观察到特征组999–1002和1526–1528将样本分为两个不同的MRSA簇，而特征组1172–1175形成了一个MSSA簇。为了研究外部验证期间假阴性预测的增加，为比较MSSA样本、预测为MRSA的真正阳性MRSA样本以及预测为MSSA的假阴性MRSA样本的外部数据集准备了伪凝胶图。对于每个类别，准备了200个随机样本的图，并以1526–1528特征组为例在图8中展示。1526–1528特征组是验证数据集中根据SHAP值确定的最重要特征组之一，但图显示MSSA和假阴性MRSA样本之间没有明显的差异，而真正阳性的MRSA样本在特征1526附近显示出明显的强度增加。这表明模型可以识别出与香港样本具有相似强度模式的MRSA样本，从而在外部数据集中保持了高精度，但无法泛化到未见过的模式，其中重要峰值的位置可能不同。为了研究外部验证期间假阴性预测的增加，为比较MSSA样本、真正阳性MRSA样本（集成模型预测为MRSA）和假阴性MRSA样本（集成模型预测为MSSA）的外部数据集准备了伪凝胶图。这张伪凝胶图展示了200个MSSA样本、200个真阳性MRSA样本（由集成模型预测为MRSA）以及200个假阴性MRSA样本（由集成模型预测为MSSA）。该图的焦点集中在特征组1526-1528上，这是验证数据集中表现最好的特征组之一。真阳性MRSA样本与MSSA样本之间存在明显的差异，而假阴性MRSA样本则没有这种差异。
参考文献：https://doi.org/10.1371/journal.pcbi.1013760.g008

**讨论**
以往有多项研究尝试通过利用机器学习方法分析MALDI-TOF MS数据来预测抗生素敏感性。然而，多项因素限制了这些模型的性能和临床应用性，例如需要额外的实验室流程、模型规模较小以及样本量有限（表2）。在这项研究中，我们通过使用大规模数据集和创新的机器学习技术来克服这些挑战，并通过设置置信阈值来提高模型的可靠性。
下载：
- 更大图像（PNG格式）
- 原始图像（TIFF格式）

**表2. 与过去5年研究的比较**
排除了那些在MALDI-TOF处理前需要进行额外实验室流程的研究。总样本量包括所有用于训练、验证和测试的金黄色葡萄球菌（S. aureus）样本。性能指标来源于每项研究的验证阶段（AUROC = 受试者操作特征曲线下的面积）。
参考文献：https://doi.org/10.1371/journal.pcbi.1013760.t002

样本量、置信阈值以及样本的地理分布被认为是决定模型性能的最关键因素。在由未知金黄色葡萄球菌谱系产生的数据中，不存在一种能够可靠预测抗生素敏感性的模式或规律。因此，训练数据必须包含多样化的样本，以覆盖目标地理区域内较少见的菌株。置信阈值提供了额外的安全性，但在不同模型中的效果并不完全一致。具有对数损失函数的神经网络似乎比梯度提升框架更优，其模型置信度与准确率之间的相关性更好。这可能解释了为何即使LightGBM的原始性能更强，但在集成使用时准确率仍有所提升。尽管相关性良好，我们仍认为进一步校准（如应用Platt缩放或温度缩放）可能会进一步提高置信区间的有效性，值得进一步研究。

尽管样本量较大，但本研究中的所有训练样本均来自同一地区的实验室，该实验室服务于约100万人口的 two 家医院，因此模型具有地域局限性，在外部验证时的表现较差。对外部数据集的模型性能仔细观察表明，抗生素敏感性的分类在其他地理区域可能不具备通用性，因为缺乏相应样本。因此，在实际应用中应限制这些模型的使用范围，仅在其训练的地理区域内使用，并对低置信度预测结果回归传统的AST方法。需要进一步研究以在预测性能与广泛地理覆盖范围之间找到平衡。此外，随着细菌菌株的演变，模型的性能也会随时间下降。为探究这一现象，我们使用2021年的样本训练了神经网络、LightGBM和集成模型，并按年份评估了它们的性能。每年之间的性能没有显著趋势，但由于样本收集时间较短，无法研究细菌菌株更替的影响（见S3图）。

从实际角度来看，神经网络是一个参数超过1.2亿的大型模型。在不使用硬件加速的情况下进行训练需要极长的时间，但借助硬件加速可以大大缩短训练时间。预训练版本即使在使用较多内存的情况下也能通过CPU进行实时预测。根据我们的经验，神经网络在不超过1.5秒的时间内（使用3GB内存）即可预测1000个样本。相比之下，LightGBM模型的文件尺寸更小，对硬件资源的要求也较低。考虑到训练和内存成本，在某些情况下，选择本地运行的LightGBM模型而非集成模型可能是合理的。

总之，我们提出了一个在大量样本上训练和验证的高精度模型，该模型利用了物种鉴定过程中生成的光谱数据，无需额外的人工处理或成本投入。我们还在模型中引入了置信阈值这一新颖参数，以进一步剔除可能的错误预测，从而提高准确性。最后，我们开发了一个Web界面来实现数据处理和预测过程的自动化，并支持批量处理多个样本。该模型易于使用且性能出众，能够安全地整合到现有的临床工作中。然而，这些模型并不具备跨不同地理区域的通用性。

**支持信息**
**参考文献**