采用怀疑性p值（sceptical p-value）评估老年肱骨近端骨折手术治疗真实世界证据（real-world evidence, RWE）可重复性的研究

《Scientific Reports》：The replicability of real-world evidence for the surgical treatment of proximal humeral fractures in older patients evaluated using sceptical p-value

　　

研究结果的可重复性具有核心作用，尤其在真实世界证据（real-world evidence, RWE）背景下。然而，两项研究结果之间一致性的评价并不简单，现有多种指标可用。作为RWE示例，研究人员基于德国最大健康保险公司数据分析了老年患者中采用锁定钢板固定（locked plate fixation, LPF）或反向全肩关节置换术（reverse total shoulder arthroplasty, RTSA）治疗肱骨近端骨折（proximal humeral fracture, PHF）的疗效，但结果的外部推广性仍需进一步检验。研究人员使用另一家德国保险公司的独立数据，模拟两项已有研究，评估RTSA与LPF术后短期与长期安全性终点。研究方案事先注册。研究人员采用怀疑性p值（sceptical p-value, pscep）判断已知原始效应估计（original effect estimate, OES）与观察到的模拟治疗效应估计（emulated treatment effect estimate, EES）之间的一致性，并与其他二元一致性指标比较。总体上，11个受评终点中有7个（64%）成功复制。Pearson相关系数（rp=0.97）与组内相关系数（intra-class correlation coefficient, ICC3=0.94）显示原始研究与模拟研究之间具有良好正相关。所有短期终点及随访期间手术并发症的OES均成功复制（均pscep<0.025）。此外，随访期间手术并发症的治疗效应在独立数据库中成功复制。怀疑性p值是评价原始研究与模拟研究一致性的有用且可解释性强的指标。试验注册：事先注册于ClinicalTrials.gov（标识符：NCT06537024）。

研究背景方面，随机对照试验（randomized controlled trial, RCT）是证明治疗有效性的金标准，但其外部效度可能受限，高度受控试验纳入人群小且高度选择，不一定反映真实医疗场景；实效（effectiveness）与疗效（efficacy）之间存在差距。真实世界数据（real-world data, RWD）可补充RCT未覆盖的人群，如合并症与罕见病患者，并在监管决策中作用上升。已有研究基于德国法定医保数据分析老年肱骨近端骨折（proximal humeral fracture, PHF）手术：反向全肩关节置换术（reverse total shoulder arthroplasty, RTSA）与锁定钢板固定（locked plate fixation, LPF）比较，发现RTSA短期并发症更高、长期结果更优。但医保数据研究常因投保人群社会经济学差异被质疑外部推广性。直接复制（direct replication）使用同一数据源，概念复制（conceptual replication）使用不同独立数据源；靶试验模拟（target trial emulation）可把观察数据按假设RCT框架分析。评估结果一致性的指标包括两试验规则（two-trials rule, TTR）、监管一致性（regulatory agreement, RA）、估计一致性（estimated agreement, EA）、标准化差异一致性（standardized difference agreement, SDA）与怀疑性p值（sceptical p-value, p_scep），但缺乏统一标准。因此，研究人员在《Scientific Reports》发表本研究，用独立保险公司数据概念复制已有AOK（联邦地方健康基金协会）数据结论，并检验p_scep在RWE一致性评价中的表现。

关键技术方法上，研究人员使用德国BARMER医保2005至2022年住院与门诊索赔数据，纳入≥65岁、ICD-10 GM（国际疾病分类德国修订版）S42.2肱骨近端骨折且行LPF（OPS 5-794.21、5-794.k1）或RTSA（OPS 5-824.21）的患者，增加新冠住院感染为排除项。研究事前注册于ClinicalTrials.gov（NCT06537024）。采用1:1倾向评分匹配（propensity score matching, PSM）平衡年龄、性别与全程风险特征，用Z差异、风险差与平方和Z差异（sum of squared Z differences, SSQZ_diff）评估均衡性。短期终点用多变量逻辑回归得比值比（odds ratio, OR），长期终点用多变量Cox回归得风险比（hazard ratio, HR），死亡作为竞争风险时用Fine-Gray模型得亚分布HR；匹配对依赖用分层分析。一致性评价采用p_scep、TTR、RA、EA、SDA及固定效应meta分析，并用Pearson相关与ICC3作概览。

研究结果中，短期终点（Short-term endpoints）部分：原始AOK研究与BARMER模拟研究中，RTSA较LPF有更高手术并发症、血栓栓塞事件与住院主要不良事件风险，30天死亡率无差异；固定效应meta分析合并效应支持原始结果。除30天死亡率为原始无效应、p_scep不可算外，多数二元指标满足，短期安全性方向被复制。

长期终点（long-term endpoints）部分：随访中手术并发症原始效应被成功复制，p_scep<0.001、TTR<0.001，但模拟研究效应更强（HR 0.41，95%CI 0.38-0.46），导致95%置信区间不重叠，EA与SDA不满足；其他长期终点未成功复制，尽管meta合并方向与原始一致。

讨论部分总结：研究人员指出，短期结果与长期手术并发症结果可被复制，p_scep在RWE中可解释性强。TTR只看显著性，不顾效应量，原始p略超阈值即判失败；RA在无效应时与TTR有矛盾；meta分析把原始与模拟当作可交换独立研究并不合适，且大样本原始研究会掩盖模拟研究异向结果。EA与SDA在模拟效应更强时误判为失败，而p_scep对方向一致且更强确认不误判，并对效应萎缩与冲突惩罚。原始无效应时不宜套用复制框架，而应做等效性检验（equivalence test）。手术并发症虽为安全性终点，但再手术也可是治疗耐久性降低的管理信号。

研究结论部分翻译：在开展的概念复制中，老年PHF患者LPF或RTSA术后的所有短期结局以及长期手术并发症治疗效应均被成功复制。怀疑性p值是判断不同研究间一致性的可解释指标。本分析中各终点均作为安全性结局，但出院后手术并发症具有双重解释：索赔数据未捕捉患者报告功能，再手术或操作既可示安全事件，也可作为后续治疗失败的管理信号。不同一致性指标优劣不同；TTR与p_scep在本研究正向终点上结论一致，但TTR不纳效应量、对略超显著界值不友好。正向效应时RA与TTR等价，无效应时TTR默认不满足，此时只能用RA、EA、SDA或meta方法；原始为优效设计且非显著不等于等效，“无证据不是无效应证据”。Meta分析宜合并独立研究，不宜作为原始-模拟复制评价主法。p_scep提供有方向、分等级的复制评价，能惩罚冲突与明显萎缩，且在模拟比原始更支持原方向时不判失败。RTSA住院并发症更高、30天死亡无差、随访手术并发症结论在独立库中被更强确认；该研究支持在RWE靶试验模拟中使用p_scep作为复制成功评价标准。