《Biometrical Journal》：Comparison of Different Methods for the Meta-Analysis of Diagnostic Test Accuracy Studies—A Simulation Study
编辑推荐：
诊断试验准确性（Diagnostic Test Accuracy, DTA）研究的Meta分析汇总多项研究中灵敏度和特异度的信息。经典方法每研究选取单一对灵敏度与特异度（单阈值法，Single Threshold Method, STM），忽略了研究报道多个诊
诊断试验准确性（Diagnostic Test Accuracy, DTA）研究的Meta分析汇总多项研究中灵敏度和特异度的信息。经典方法每研究选取单一对灵敏度与特异度（单阈值法，Single Threshold Method, STM），忽略了研究报道多个诊断阈值时额外信息的利用；近期提出的多阈值法（Multiple Threshold Method, MTM）考虑所有可用信息并能推断各诊断阈值下的估计值。研究人员在模拟研究中比较5种STM与6种MTM，在涵盖广泛真实场景的设定下变化数据生成机制的八个参数维度，包括指标检验的连续或有序结局类型及各研究报告的诊断阈值数目。虽然模型在偏倚、经验覆盖率和收敛性上表现相当，观察到MTM类中的logit广义线性混合模型（logit GLMM）在多数情形下表现最优。模型表现受结局类型影响最强，而阈值数对表现影响较小。因此研究人员发现使用MTM的主要优势在于可获得依赖诊断阈值的灵敏度与特异度估计。此外研究人员用两个实例——连续生物标志物糖化血红蛋白HbA1c诊断2型糖尿病和有序问卷HADS-A筛查焦虑障碍——说明STM与MTM间及内部的估计差异，可通过选取最贴近实况的模拟设定校正偏倚予以缩小。
论文解读：《Comparison of Different Methods for the Meta-Analysis of Diagnostic Test Accuracy Studies—A Simulation Study》（发表于Biometrical Journal）
一、研究背景与立题依据
诊断试验准确性（Diagnostic Test Accuracy, DTA）研究的Meta分析旨在综合多项独立研究中灵敏度和特异度的信息以指导临床决策。灵敏度（Sensitivity, Se）指患病者检测为阳性之概率，特异度（Specificity, Sp）指非患病者检测为阴性之概率，二者随诊断阈值（diagnostic threshold）变化，常绘制为受试者工作特征（Receiver Operating Characteristic, ROC）曲线。传统Meta分析方法每研究仅纳入单一阈值下的一对Se和Sp，称为单阈值法（Single Threshold Method, STM），如Moses等的SROC模型、Reitsma等的双变量线性混合模型（basic LMM）、Chu和Cole的双变量广义线性混合模型（basic GLMM）、Holling等的SROC Lehmann模型及Nikoloulopoulos的Beta copula模型，这造成多阈值信息的损失。近十年出现了多阈值法（Multiple Threshold Method, MTM），如Steinhauser等的logit线性混合模型（logit LMM）、Hoyer和Kuss的logit广义线性混合模型（logit GLMM）、Hoyer等的Weibull加速失效时间（Accelerated Failure Time, AFT）模型、Stoye等的离散广义线性混合模型（discrete GLMM）、Martínez-Camblor的非参SROC（nPSROC）及Fr?mke等的半参秩法（sPGR），可在模型中引入诊断阈值获得阈值依赖的SROC曲线。既往仅Zapf等比较过三种MTM且未含有序结局也未与STM比较，因此有必要在全面模拟情景下系统比较STM与MTM的性能，明确结局类型（连续vs有序）及报告阈值数对模型表现的影响，为实践中的模型选择提供依据。
二、主要技术方法概述
研究人员采用Morris等提出的ADEMP框架设计III期模拟研究，预注册于Open Science Framework。数据生成机制设八个变动维度各取两水平（阈值数取三水平）：Meta分析纳入研究数I～U[2;15]或U[7;50]；每研究样本量Ni～U[20;500]或U[100;3000]；疾病患病率pi～U[0.01;0.1]或U[0.3;0.5]；真值AUC=0.75或0.90；连续结局由广义F分布加二元高斯随机效应生成，有序结局（0–21分）由Dirichlet多项分布生成；研究间异质性通过随机效应方差或Dirichlet集中参数控制；每研究报告阈值数为全为1个、1–5个或1–21个（含30%单阈值点质量）；标准阈值加权w=0或0.7（连续取6.5，有序取10）。共384种设定，每种重复1000次。纳入5种STM（SROC、basic LMM、basic GLMM、SROC Lehmann、Beta copula）和6种MTM（logit LMM、nPSROC、logit GLMM、Weibull AFT、sPGR、discrete GLMM）。待估参数含AUC、最优Youden指数下灵敏度与特异度及（适用时）最优诊断阈值；评价指标为偏倚（bias）、95% Wald置信区间的经验覆盖率（empirical coverage）及收敛率。另用两个实证数据集（HbA1c诊断2型糖尿病38项研究；HADS-A筛查任意焦虑障碍55项研究）展示模型应用差异并用最相近模拟设定偏倚校正。
三、模拟研究结果
3.1 Model Estimation（模型估计）
所有模型均按文献方法用R或SAS实现，logit LMM仅在至少一研究报告>1阈值时可估计（占256/384设定），nPSROC不估计诊断阈值，SROC及SROC Lehmann不提供特异度标准误而无法算覆盖率。
3.2 General Results on Bias, Empirical Coverage, and Convergence（偏倚、经验覆盖率和收敛性的总体结果）
nPSROC与sPGR持续低估AUC；Beta copula与SROC Lehmann持续低估灵敏度；discrete GLMM与SROC Lehmann高估特异度；discrete GLMM低估最优阈值较严重。以绝对偏倚<1百分点为满意标准，各模型达标设定比例差异大（AUC偏倚达标最高为basic GLMM 69.3%，最低sPGR 0%）。经验覆盖率达93.6%以上者在灵敏度最高为SROC模型98.4%。收敛率≥90%者在SROC、basic LMM、SROC Lehmann、nPSROC、sPGR中达100%，logit LMM在其可估设定中亦≥90%，Weibull AFT与discrete GLMM较低（分别为49%和43.8%）。综合六项指标同时满意的仅有SROC（1/384）、logit LMM（4/256）和logit GLMM（81/384）。
3.3 Effects of Parameter Dimensions（参数维度的影响）
模型表现最主要受结局类型（连续vs有序）影响，其次为阈值数、真AUC、标准阈值权重和研究间异质性；患病率和研究大小范围未被选出为重要维度。有序结局下所有模型AUC绝对偏倚增大。增多研究数、样本量、患病率、真AUC及标准阈值权重一般降低偏倚；增大异质性和改用有序结局增大偏倚；增加每研究报告阈值数对STM偏倚影响微小，但明显降低nPSROC和sPGR的AUC偏倚。离散GLMM的阈值偏倚在有序结局和多阈值时明显增大。
3.4 Comparison of Continuous and Ordinal Outcome Settings（连续与有序结局设定的比较）
模型偏倚对检验标尺敏感——有序结局AUC偏倚普遍升高，尤以discrete GLMM（由低估变高估）、basic GLMM、logit GLMM和Weibull AFT为著。灵敏度偏倚仅在连续下SROC与logit GLMM较低，有序下SROC与discrete GLMM较低；特异度偏倚连续下basic LMM、basic GLMM、logit LMM、logit GLMM及Weibull AFT较低，有序下仅Weibull AFT较低。经验覆盖率和收敛性基本不受结局类型影响。STM与MTM无系统性跨尺度的优劣之分，最佳模型取决于评价指标。
3.5 Comparison of MTM and STM Depending on Number of Diagnostic Thresholds（MTM与STM依阈值数的比较）
当各研究仅报单阈值时STM并未系统性优于MTM，当有多阈值时MTM也未能系统性优于STM。偏倚不随报告阈值数呈规律性变化；经验覆盖率大多稳定或随阈值数略升。MTM主要优势不在单/多阈值下的偏倚或覆盖率胜出，而在于可提供阈值依赖的SROC曲线及最优诊断阈值推断。
3.6 In What Situations do Models Outperform Others?（模型互较优胜情形）
按"在一参数维度>80%设定中全面更优"定义，仅少量关系成立：仅考量(AUC、Se、Sp)偏倚时logit GLMM优于SROC Lehmann与discrete GLMM，Weibull AFT优于SROC Lehmann；仅考量覆盖率时basic LMM、basic GLMM、logit GLMM、Weibull AFT和discrete GLMM均优于Beta copula，logit GLMM优于basic GLMM；收敛性上Weibull AFT与discrete GLMM被其余多数模型超越。nPSROC与sPGR除收敛外几乎全面劣于其余模型故后文排除。无模型在所有维度全面胜出。
四、实例应用（Section 4 Application）
连续标志HbA1c数据集（38研究）与有序HADS-A数据集（55研究）中，11种模型给出的汇总AUC、灵敏度、特异度及最优阈值差异明显（AUC范围分别0.761–0.859和0.784–0.873）；用最相近模拟设定偏倚校正后估计范围收窄，discrete GLMM在有序结局的高估经偏倚校正后与其它模型接近。MTM允许加权Youden指数调节灵敏度与特异度权重获取不同临床偏好下的最优阈值。
五、讨论与结论（Discussion）
研究人员指出无单一模型适用于所有情形。SROC Lehmann（灵敏度与特异度偏倚大）、Beta copula（灵敏度偏倚大）、nPSROC与sPGR（AUC偏倚大）及discrete GLMM（有序结局AUC高估）在所选设定中存在系统性偏倚。剩余模型（SROC、basic LMM、basic GLMM、logit LMM、logit GLMM、Weibull AFT）表现相当，但MTM可在各研究仅报单阈值时不劣于STM且额外提供阈值依赖SROC及最优诊断阈值推断；其中logit GLMM因较Weibull AFT收敛更好、较logit LMM可用于单阈值数据且在多指标上具较广满意度，推荐为较稳健MTM选择。模型表现强烈依赖结局类型（连续/有序），实践者宜参照近似模拟设定评估偏倚或用自编模拟辅助模型选择。本研究首次在III期模拟框架下联合比较STM与MTM并涵盖连续与有序结局及单/多阈值情境，采用非源自任一入选模型的数据生成机制保证公平比较并预注册保证透明。局限含未纳入贝叶斯HSROC等因计算规模限制、未考察发表偏倚影响、未系统探究加权Youden指数变化对性能之影响。综上，若仅关注整体准确性（AUC）STM（如basic GLMM）在多阈值数据仍可用；若需推断最优诊断阈值或阈值依赖SROC宜选用MTM（推荐logit GLMM或Weibull AFT）。进行DTA Meta分析时应根据研究问题决定模型——推断阈值相关信息须用MTM，仅汇总AUC时STM亦可接受——并鼓励基于近似模拟或敏感性分析确认模型适用性。
