内部验证方法用于识别与患者报告的结果测量中项目功能差异相关的患者特征

《Quality of Life Research》：Internal validation methods to detect patient characteristics associated with differential item functioning in patient-reported outcome measures

差异项目检测、机器学习模型、交叉验证方法、模拟数据、真实数据

　　

摘要

目的

差异项目功能（DIF）检测方法是评估患者报告结果测量工具（PROMs）有效性的手段之一。鉴于人们对用于分析PROMs数据的机器学习模型的兴趣日益浓厚，包括用于DIF检测的模型，建议使用内部交叉验证（CV）来评估模型性能。我们在模拟数据和真实世界数据中比较了两种用于DIF模型的CV方法。

方法

为了检测差异项目功能（DIF），我们比较了两种常见的CV方法：k折交叉验证和保留法交叉验证。模拟参数包括样本量、与DIF相关的项目数量和协变量，以及DIF效应大小。通过项目、协变量以及所有项目-协变量组合的真正例率（TPR；功效）和假正例率（FPR；I型错误）来评估模拟性能。还使用接收者操作特征曲线下面积（AUROC）来评估真实世界中的医院焦虑和抑郁量表（HADS）项目响应的DIF性能。

结果

在模拟中，随着DIF效应大小、样本量和项目数量的增加，两种CV方法识别与DIF相关的项目和协变量的真正例率（TPR）也随之提高。10折CV方法在许多情况下的TPR最高，几乎达到了100%，而50%保留法CV方法的假正例率（FPR）最低。对于HADS项目，不同CV方法之间的DIF检测结果存在差异，AUROC范围在0.74到0.80之间。

结论

选择用于检测DIF的机器学习模型的CV方法会影响DIF项目检测的一致性。10折CV方法在平衡系统误差和数据稳定性方面具有优势。