《Diagnostics》：Calibration- and Workload-Aware Machine Learning for PTSD-Focused Triage in Children Referred Following Sexual Abuse
编辑推荐：
论文摘要翻译
背景/目标： 童年期性虐待后创伤后应激障碍（PTSD）的早期识别有助于及时评估，但分诊需评估校准、漏诊病例及转诊工作量。本研究评估了常规记录信息能否支持PTSD重点评估的优先排序。方法： 这项回顾性单中心研究评估了对311份法医转诊记录中由专科儿
论文摘要翻译
背景/目标： 童年期性虐待后创伤后应激障碍（PTSD）的早期识别有助于及时评估，但分诊需评估校准、漏诊病例及转诊工作量。本研究评估了常规记录信息能否支持PTSD重点评估的优先排序。方法： 这项回顾性单中心研究评估了对311份法医转诊记录中由专科儿童青少年精神病学家记录的创伤后诊断结局的分类。DSM-5诊断被分为PTSD对比无记录创伤后精神科诊断组（n = 218；PTSD = 106）以及PTSD对比其他非PTSD临床结局组（n = 199；PTSD = 106）。比较了五种模型。在每个评估设计内，预处理、模型选择、Sigmoid校准及阈值推导均限定于开发分区；每个流程未经修改地应用于留存或时间上较晚的记录。结果： 基于直方图的梯度提升在主要公式化方案中产生了留存集ROC-AUC为0.6190（95% CI，0.4472–0.7853）和PR-AUC为0.6578。其阈值标记了44条记录中的36条，并捕获了21例PTSD病例中的18例（灵敏度，0.8571；特异度，0.2174）。LightGBM在次要公式化方案中产生了ROC-AUC为0.6441（95% CI，0.4475–0.8125）和PR-AUC为0.6805。其阈值标记了40条记录中的30条，并捕获了21例PTSD病例中的18例（灵敏度，0.8571；特异度，0.3684）。校准将Brier分数降低至0.2537和0.2401，但校准后的主要模型仍略差于仅基于患病率的参考模型（Brier技能评分，?0.0165；校准斜率，0.4276）。时间序列ROC-AUC值为0.6358和0.6767，伴随高工作量。结论： 常规记录信息提供了适度的区分能力，而高病例捕获率需要对大部分记录进行评估。在临床应用前，需要进行外部验证、前瞻性工作流评估及本地重新校准。
论文解读文章
研究背景与问题
童年期性虐待是一个严重的公共卫生问题，可导致持续终生的发育、精神、家庭及社会后果。创伤后应激障碍（PTSD）是此类儿童重要的潜在不良结局，但其发生具有高度异质性。在临床实践中，每位受性虐待转诊的儿童都应获得全面的创伤知情精神评估，但当专科资源受限时，服务提供者需要确定哪些儿童应优先接受PTSD重点评估。既往机器学习（ML）研究多聚焦于分类性能，忽略了校准风险估计、阈值特异性转诊工作量、假阳性评估、漏诊PTSD病例以及在时间靠后记录中的表现等关键要素，这导致了统计预测与临床分诊实用性之间的鸿沟。因此，有必要评估常规记录信息能否在实际分诊场景中支持PTSD优先排序，并综合考虑区分度、校准、工作量及漏诊情况。
研究方法概述
这是一项单中心回顾性研究，纳入2018–2023年间土耳其萨卡里亚大学儿童青少年精神科诊所的311份法医转诊记录。研究人员构建了两种二元诊断公式化方案：主要方案对比PTSD（106例）与无记录创伤后精神科诊断（112例）；次要方案对比同一批PTSD病例（106例）与其他非PTSD临床结局（93例）。研究比较了五种监督学习模型：L2正则化逻辑回归、随机森林、基于直方图的梯度提升（HGB）、XGBoost和LightGBM。关键技术方法包括：在开发分区内进行数据自适应预处理（如中位数插补、独热编码）、嵌套交叉验证下的Sigmoid概率校准、基于预设筛选导向规则（灵敏度≥0.85下最大化特异度）的模型与阈值选择，以及对留存集和时间靠后记录进行独立评估。此外，还进行了全流程自助法稳定性分析、置换重要性分析、缺失数据敏感性分析及亚组探索性分析。
研究结果
3.1 诊断公式化方案与类别平衡
源队列中，34.1%为PTSD，36.0%无记录诊断，29.9%为其他非PTSD临床结局。主要方案PTSD患病率为48.6%，次要方案为53.3%，两组类别分布近似平衡。
3.2 开发稳定性与留存区分度
在主要方案中，尽管随机森林交叉验证均值最高，但HGB因满足预设灵敏度要求且特异度最高而被选中，其在留存集上的ROC-AUC为0.6190，PR-AUC为0.6578。在次要方案中，LightGBM被选中，留存集ROC-AUC为0.6441，PR-AUC为0.6805。两个选定模型的ROC-AUC置信区间均包含0.50，经Holm校正后均未达到统计学显著性，表明未能建立优于随机的区分能力。
3.3 校准、工作量感知阈值设定与时序评估
3.3.1 概率校准
Sigmoid校准降低了两个选定模型的Brier分数，但主要HGB模型校准后的Brier技能评分为负值（?0.0165），表明其概率误差甚至高于仅使用开发集患病率作为常数的预测。次要LightGBM模型获得了微弱的正Brier技能评分（0.0376）。校准斜率方面，主要模型仅为0.4276，远低于理想值1，提示预测风险过度分散。
3.3.2 留存操作特性与工作量
在开发派生的Rule A阈值下（灵敏度≥0.85），主要HGB模型标记了81.8%的留存记录，捕获了21例中的18例PTSD，漏诊3例，特异度为0.2174，工作量仅减少18.2%。次要LightGBM模型标记了75.0%的记录，同样捕获18例，漏诊3例，特异度为0.3684，工作量减少25.0%。相反，精确导向的Rule B1/B2阈值虽大幅降低工作量，但几乎漏诊所有PTSD病例。没有操作点能同时实现高病例捕获、高特异度和低工作量。
3.3.3 内部时序评估
在严格的时间顺序划分下，主要HGB模型在后期记录中的ROC-AUC为0.6358，灵敏度0.9474但需标记81.8%的记录；次要LightGBM模型ROC-AUC为0.6767，灵敏度0.8947需标记77.5%的记录。时序评估重现了病例捕获与工作量之间的权衡。
3.3.4 自助法稳定性分析
开发数据集的自助法重抽样显示，模型选择和Rule A阈值在不同复制间存在变异。主要HGB在31%的复制中被再次选中，其留存集灵敏度中位数为0.8095，仅41%的复制达到0.85的目标灵敏度。次要LightGBM的再选率为18%。
3.3.5 探索性置换重要性
在主要HGB模型中，威胁、父亲年龄和家庭状况是导致ROC-AUC下降最大的变量；在次要LightGBM模型中，母亲年龄、父亲年龄和家庭构成影响最大。但排名依赖于模型和评分指标，且变异性较大。
3.3.6 缺失数据敏感性分析
不同的缺失数据处理策略影响了区分度和概率误差估计，但总体方向一致。主要方案的校准斜率在所有策略下均低于1。
3.3.7 探索性亚组评估
亚组分析显示，≥12岁年龄组的假阴性数量多于<12岁组；男性亚组因PTSD记录极少，结果极不稳定，无法得出可靠结论。
讨论与结论
讨论总结： 本研究表明，常规记录信息仅提供中等程度的区分能力，且宽泛的置信区间包含了随机水平的表现。敏感性导向的操作阈值虽捕获了大多数PTSD病例，但需要评估大部分记录，导致工作量减少有限。Sigmoid校准降低了概率误差，但主要模型并未优于仅基于患病率的参考模型。内部时序评估再现了相同的工作量限制。这些发现不支持模型以当前形式进行自主诊断或临床实施。研究的方法学优势在于将数据自适应处理、模型选择、校准和阈值推导与评估数据严格分离，并联合考虑了区分度、校准、漏诊和工作量。然而，严格的内部评估无法弥补样本量、预测因子可用性、结局记录及环境多样性的局限。任何未来的应用应仅限于辅助而非替代专科评估的分层工具，并且需要外部验证、前瞻性工作流评估、本地重新校准及亚组审计。
研究结论翻译： 在这项回顾性分类研究中，常规记录信息在遭受性虐待转诊的儿童中，对临床医生记录的创伤后诊断组别提供了中等程度的区分能力。高PTSD病例捕获率需要标记大部分记录进行评估。校准后的主要模型的概率误差略高于基于开发集PTSD患病率的常数预测（Brier技能评分，?0.0165），校准斜率为0.4276。内部时间序列分离下的相似发现表明，灵敏度与转诊工作量之间的权衡并非随机数据划分所特有。额外的自助法重拟合显示了模型选择、派生阈值及阈值依赖性表现的变异性。这些结果不支持以当前形式进行自主诊断或临床实施。任何未来的应用应限于支持而非替代专科评估的优先排序。在考虑临床应用前，需要进行外部验证、前瞻性工作流评估、本地重新校准及亚组级别审计。
