哮喘诊断预测模型的系统评价揭示方法学陷阱与临床应用挑战

《BMC Medical Research Methodology》：Methodological and applicability pitfalls of clinical prediction models for asthma diagnosis: a systematic review and critical appraisal of evidence

本研究针对哮喘诊断临床预测模型(CPM)存在的方法学缺陷与临床应用瓶颈，系统评价了69项研究（54项监督机器学习(ML)模型、15项回归模型），发现两类模型普遍存在高偏倚风险（分析域达100%）和高适用性担忧（ML模型81.5%），主要源于病例对照设计、样本量不足及缺失数据处理不当。研究强调遵循TRIPOD+AI指南对提升模型透明度和临床转化价值的关键意义。

　　

哮喘作为全球常见的慢性呼吸道疾病，其诊断始终面临巨大挑战。典型的哮喘症状如喘息、气短、胸闷和咳嗽，往往与其他呼吸系统疾病（如慢性阻塞性肺疾病(COPD)、过敏性反应等）重叠，导致临床实践中普遍存在过度诊断和诊断不足的问题。过度诊断可能引发不必要的药物治疗，增加医疗开支和潜在副作用；而诊断不足则可能导致患者生活质量下降、肺功能长期受损，甚至出现严重的临床后果。尽管肺功能测试（如FEV₁/FVC比值、FEV₁可逆性）是诊断哮喘的金标准，但在某些医疗资源有限的地区，这些检查并非随时可用。

为了优化临床工作流程，提高诊断效率，研究人员开发了多种临床预测模型(Clinical Prediction Model, CPM)。这些模型通过整合多个预测因子（如 demographics、症状特征、生物标志物等）来估算个体罹患哮喘的概率。近年来，随着大数据时代的到来，机器学习(Machine Learning, ML)技术，特别是监督机器学习(Supervised Machine Learning)，在医疗预测模型开发中展现出巨大潜力。与传统回归模型相比，ML模型能够处理高维数据（如影像学、基因测序数据），并减少人为建模决策的干预。然而，尽管已有大量哮喘诊断CPM被开发出来，但真正应用于临床实践的却寥寥无几。这主要源于对模型透明度、报告完整性和整体可用性的长期担忧。特别是基于ML的CPM研究，其方法学严谨性往往不如传统回归模型，这进一步限制了它们的临床转化。

在此背景下，Wongyikul及其同事在《BMC Medical Research Methodology》上发表了一项系统评价研究，旨在全面评估现有哮喘诊断CPM的方法学质量和适用性。该研究聚焦于比较传统回归模型与监督ML模型，以期揭示该领域存在的共性问题和改进方向。

研究人员采用了系统评价的方法，检索了PubMed、Scopus、Embase、Cochrane图书馆等数据库截至2024年9月的文献，并辅以灰色文献检索。研究严格遵循PRISMA指南，并使用TRIPOD+AI和PROBAST工具进行数据提取和偏倚风险评估。最终纳入了69项研究，共涉及169个预测模型和312,522名患者。研究主要从参与者、预测因子、结局指标和分析方法四个领域评估纳入研究的偏倚风险和适用性。

研究结果

研究特征与数据来源

纳入的69项研究中，54项评估了监督ML模型，15项评估了回归模型。ML模型研究更多采用病例对照设计（51.9%），且多基于回顾性数据（66.7%），样本量中位数较小。回归模型研究则更多采用基于人群的前瞻性设计，样本量相对更大。值得注意的是，超过一半的ML模型研究未明确说明哮喘的诊断标准，而回归模型在这方面报告相对完整。

方法学设计与偏倚风险

在参与者领域，ML模型研究因广泛使用病例对照设计（招募健康志愿者或其他疾病患者作为对照）而引入谱偏倚(Spectrum Bias)，导致高偏倚风险（79.6%）。这种设计扭曲了疾病的真实患病率，可能虚增模型的性能指标。回归模型研究在此领域风险较低。

在预测因子领域，ML模型使用的预测因子数量中位数为15个，显著多于回归模型（中位数8个）。两类模型都存在使用肺功能参数等“金标准”指标作为预测因子的情况（ML模型28.6%，回归模型46.7%），这可能导致模型性能被高估，因为这些指标在模型实际应用场景中可能无法获取。

在结局指标领域，ML模型研究对哮喘诊断标准的报告严重不足（53.7%未说明），而部分研究使用病历记录、专家意见等次优标准，引入了结局错误分类偏倚。

在分析领域，所有研究均存在高偏倚风险。ML模型的Events Per Variable(EPV)中位数仅为8.2，低于模型稳定性通常所需的数据量。37.7%的研究未报告缺失数据处理方法，91.3%的研究未充分报告模型性能指标（如混淆矩阵）。内部验证方法上，ML模型多采用交叉验证，而回归模型则更多使用拆分样本法。

预测性能

尽管支持向量机(Support Vector Machine, SVM)、深度学习等ML模型报告的曲线下面积(Area Under the Curve, AUC)、准确性等判别性能指标普遍高于逻辑回归等传统模型，但其方法学上的缺陷（如谱偏倚、预测因子循环等）使得这些高性能结果的可靠性和临床适用性存疑。阳性预测值(Positive Predictive Value, PPV)和阴性预测值(Negative Predictive Value, NPV)在ML模型研究中报告较少，这与病例对照设计下这些指标可靠性低有关。

适用性

ML模型研究在参与者领域的适用性担忧最高（59.3%），主要源于病例对照设计限制了模型在真实世界临床人群中的推广。总体而言，ML模型研究的适用性担忧（81.5%高）远高于回归模型研究（60.0%高）。

结论与讨论

这项系统评价揭示，当前哮喘诊断CPM研究，尤其是基于监督ML的研究，普遍存在方法学缺陷和高适用性担忧。关键问题包括不恰当的参与者招募策略（病例对照设计）、样本量不足、缺失数据处理不透明、预测因子选择不合理（包含金标准指标）以及结局定义不明确或次优。这些问题严重影响了模型结果的可靠性和在真实临床环境中的转化潜力。

研究强调，不能仅仅追求模型的高性能指标，而忽视了方法学的严谨性和临床实用性。一个包含易于获取的预测因子（如 demographics、症状）的简单模型，可能比一个复杂但依赖临床实践中难以获取的指标的高性能模型更具应用价值。

该研究的发现对CPM研究者、学术期刊编辑和临床工作者具有重要启示。研究者应在研究设计阶段就严格遵守TRIPOD+AI等报告指南，确保模型的透明度和可重复性。期刊编辑应要求作者提交关键方法学项目的报告清单，以提高发表模型的质量。最终，提升CPM的方法学质量将有助于其外部验证和在不同医疗环境中的推广，从而真正实现优化临床决策、改善患者预后的目标。

Wongyikul等人的这项工作为哮喘诊断预测模型领域提供了全面的质量评估蓝图，指出了明确的改进方向。随着人工智能在医疗领域的持续深入，确保其应用的科学性和稳健性至关重要。这项研究为此树立了一个重要的标杆。