《Spinal Cord》:Statistical quality in RCTs of technology-based rehabilitation after spinal cord injury: A CHAMP-Based Meta-Research Study
编辑推荐:
本研究为横断面荟萃研究。目的:技术型康复(technology-based rehabilitation, TBR)在脊髓损伤(spinal cord injury, SCI)中的应用日益广泛,评估其疗效的随机对照试验(randomised controlle
本研究为横断面荟萃研究。目的:技术型康复(technology-based rehabilitation, TBR)在脊髓损伤(spinal cord injury, SCI)中的应用日益广泛,评估其疗效的随机对照试验(randomised controlled trials, RCTs)数量不断增加。然而,不充分的统计报告可能限制研究结果的解读、可重复性及临床适用性。本研究旨在评估针对SCI患者TBR干预的RCTs的统计质量。方法:检索MEDLINE、CINAHL Complete、Cochrane CENTRAL、PEDro和Web of Science数据库,检索时间范围为1996年至2025年10月。纳入标准为:优效性平行臂RCT,受试者为患有创伤性或非创伤性SCI的成年人,评估TBR干预措施,并明确声明遵循《试验报告统一标准》(Consolidated Standards of Reporting Trials, CONSORT)。统计质量采用《医学论文统计评估清单》(Checklist for Statistical Assessment of Medical Papers, CHAMP)进行评估,方法学质量采用偏移风险(Risk of Bias, RoB)2工具进行评估。结果:共纳入8项RCT。总体CHAMP依从率为57.9%,超过40%的条目被评为不明确或未满足。设计领域的依从率最高(64.6%),分析(58.8%)、解释(58.9%)和报告(50.0%)领域的依从率较低。CHAMP评分范围为0.30–0.83。根据RoB 2评估,1项研究(12.5%)被判定为低偏倚风险,5项研究(62.5%)存在一定问题,2项研究(25.0%)被判定为高偏倚风险。结论:尽管声称遵循CONSORT指南,SCI中TBR的RCT统计质量仍经常欠佳。需要提高统计报告的透明度,以改善康复研究的可解读性、可重复性及临床适用性。
引言
脊髓损伤(spinal cord injury, SCI)是一种复杂的神经系统疾病,其特征为运动与感觉通路的部分或完全中断,常导致运动控制、功能独立性、参与能力及生活质量的长期损害。改善运动功能是康复的首要目标,技术创新已越来越多地融入临床实践以支持这一目标。由于这些方法快速演变且异质性高,阻碍了普遍接受定义的建立。技术型康复(technology-based rehabilitation, TBR)通常涵盖广泛的干预措施,包括机器人设备、虚拟现实/增强现实(virtual and augmented reality, VR/AR)系统、功能性电刺激(functional electrical stimulation, FES)以及基于传感器或数字平台的系统,旨在通过增加训练强度、任务特异性、反馈和患者参与来促进运动再学习。康复实践中技术的日益普及伴随着评估SCI患者TBR的随机对照试验(randomised controlled trials, RCTs)的增加。尽管RCT是评估干预效果的金标准,但其价值关键取决于方法学质量以及统计方法和结果的透明度。事实上,不充分的统计报告可能损害研究结果的解读、限制可重复性,并削弱临床决策的证据。试验报告统一标准(Consolidated Standards of Reporting Trials, CONSORT)声明旨在提高RCT报告的清晰度和完整性,并被科学期刊广泛认可。然而,尽管遵循CONSORT可能改善整体试验报告的完整性和透明度,但它并非专门用于评估统计方法和结果的质量、适当性和透明度。同样,偏倚风险(Risk of Bias, RoB)2等方法学质量评估工具主要评估影响内部有效性的威胁,而非统计方法和结果的适当性与透明度。在此背景下,医学论文统计评估清单(Checklist for Statistical Assessment of Medical Papers, CHAMP)等专门工具提供了评估统计设计、分析、报告和结果解释的结构化框架。CHAMP特别关注统计实践的关键方面,包括假设设定、统计方法选择、缺失数据处理、效应量和精度的报告以及分析决策的透明度。因此,CHAMP通过专门关注传统偏倚风险工具可能无法捕捉的统计报告实践,补充了方法学质量评估。鉴于TBR干预的方法学复杂性和异质性,严格和透明的统计方法和结果至关重要。然而,在涉及成人SCI的RCT中,这些标准的满足程度仍不清楚。因此,本荟萃研究旨在评估那些明确声明遵循CONSORT声明的研究的统计质量。本研究还利用CHAMP框架,旨在识别统计设计、分析、报告和解释方面的常见优势与不足,并探讨其与方法学质量的关系。
方法
采用横断面荟萃研究设计,以已发表的试验报告为分析单位。研究报告遵循适用于荟萃研究的系统评价和荟萃分析首选报告项目(Preferred Reporting Items for Systematic Reviews and Meta-Analyses, PRISMA)原则。研究方案已在PROSPERO前瞻性注册(CRD420251161874)。
数据来源与检索
于2025年10月13日对以下电子数据库进行系统性文献检索:MEDLINE、CINAHL Complete、Cochrane Central Register of Controlled Trials(CENTRAL)、PEDro和Web of Science。检索覆盖自1996年(即首个CONSORT声明发布年份)至检索日期。检索策略结合了受控词汇(如MeSH)和与SCI、TBR及RCT相关的自由文本关键词。所有数据库的完整检索策略见补充材料S1。
研究选择
通过检索获得的记录由两名评审员(AL和MA)基于标题和摘要独立筛选。随后根据预定义的纳入标准对潜在合格研究的全文进行评估。分歧由第三名评审员(LC)解决。纳入标准为:优效性平行臂RCT,受试者为患有创伤性或非创伤性SCI的成年人(即≥18岁),评估旨在改善以下一项或多项结局的TBR干预:运动功能、活动能力、功能独立性或健康相关生活质量。鉴于缺乏普遍接受的定义,本研究基于近期分类框架,对TBR采用操作性定义。TBR被定义为任何技术系统构成治疗过程核心组成部分的干预,积极支持、引导或调节运动训练,而非仅用于结局评估、监测或被动物理方式。因此,符合条件的干预包括用于上肢或下肢康复的机器人或机电设备、VR或AR系统、运动游戏平台、非侵入性脑刺激(non-invasive brain stimulation, NIBS)、FES、脑机接口(brain-computer interfaces, BCIs)、远程康复平台和交互式基于传感器的康复系统。强制纳入标准为明确声明遵循CONSORT声明,即在稿件中有直接声明、引用或提供CONSORT清单。仅包含CONSORT流程图不被视为充分。当技术仅用于评估或监测目的、干预仅包含被动物理方式(如Transfer Energy Capacitive and Resistive - TECAR疗法、超声治疗、振动治疗、冲击波治疗或磁疗),或基于传统跑步机训练或自行车测力计而没有主动的、技术驱动的控制、反馈或自适应组件时,研究被排除。采用优效性平行臂RCT以外设计(如非劣效性或等效性试验、类随机研究、实效性试验、析因设计、整群随机或交叉试验、无明确平行比较的多臂试验、试点或可行性研究、二次分析、方案、会议摘要和非人类研究)的试验也被排除,以确保方法学同质性以及统计质量评估的可比性。
数据提取与质量评估
数据提取由两名评审员(AL和MA)独立进行,并由另两名评审员(LM和GP)核实。提取的信息包括文献计量细节、参与者特征、干预和对照描述、主要和次要结局,以及进行CHAMP评估和RoB 2评估所需的所有数据。主要结局为统计质量,采用CHAMP清单评估,该清单包含四个领域的30个条目:设计(条目1–6)、分析(条目7–16)、报告(条目17–23)和解释(条目24–30),从而覆盖统计实践的关键方面。由于CHAMP是清单而非定量量表,本研究将总体统计质量操作化为所有适用CHAMP条目中已满足条目的比例,评分范围从0(无满足条目)到1(所有条目均满足)。该方法是专门为本研究制定的,以量化不同研究间的统计报告概况。方法学质量采用RoB 2工具评估,应用于每项研究定义的主要结局。该工具评估五个领域:(1)随机化过程,(2)偏离预期干预,(3)缺失结局数据,(4)结局测量,(5)报告结果的选择。在每个领域内,一系列信号问题旨在获取与试验偏倚风险相关的信息。基于对信号问题的回答,算法生成每个领域偏倚风险的拟议判断。这些回答用于得出领域级判断,进而为所评估的特定研究结局提供总体偏倚风险判断。判断可为“低”或“高”偏倚风险,或表达“存在一定问题”。
数据综合与分析
数据综合主要为描述性。条目级CHAMP表现以频率和百分比总结。为每项研究计算连续CHAMP比例评分(已满足条目数除以总条目数),以代表总体统计报告质量。为此,评为“是”的条目赋值为1,而评为“否”或“不明确”的条目赋值为0,以反映报告不足。CHAMP评估的评估者间一致性采用百分比一致性和未加权Cohen’s κ系数进行评价,考虑每个CHAMP条目的三种可能评级(是、否和不明确)。一致性计算涵盖所有CHAMP条目评级,并分别针对每个CHAMP领域(设计、分析、报告和解释)计算。Cohen’s κ值根据Landis和Koch提出的标准进行解释。进行探索性描述性比较,以检验CHAMP评分在不同总体RoB 2判断的研究中的分布。由于纳入研究数量较少,未进行正式的统计关联检验。
结果
研究选择
数据库检索共产生1313条记录。去除319条重复记录后,994条记录在标题和摘要层面进行筛选,其中926条因不符合纳入标准被排除。其余68篇全文文章被检索并评估合格性。经过全文评估,8项研究符合预定义的纳入标准,并被纳入荟萃分析。研究选择过程见PRISMA流程图(图1)。
纳入研究的特征
纳入研究的特征总结于表1。8项RCT发表于2013年至2025年,共涉及394名SCI受试者,样本量从每项研究23人到161人不等。各试验中,193名受试者被分配到TBR干预组,201名分配到对照组。6项研究纳入了慢性SCI患者,2项研究纳入了亚急性期受试者。神经损伤水平从颈髓到腰髓不等,7项试验仅纳入运动不完全性SCI患者(美国脊髓损伤协会损伤量表,AIS C-D),1项试验也纳入了完全性损伤患者。关于TBR干预,3项研究调查了机器人或外骨骼辅助步态训练,2项研究评估了FES辅助行走,1项研究将经皮脊髓刺激与机器人辅助步态训练相结合,1项研究调查了交互式移动健康康复系统,1项研究检验了家庭和社区外骨骼辅助行走。对照干预在7项研究中为非技术性干预,1项研究使用假经皮脊髓刺激联合机器人辅助步态训练。纳入研究主要报告运动功能和/或活动能力相关结局。6项研究还包含功能独立性、自我管理或作业表现测量,3项研究评估了健康相关生活质量。4项试验明确声明了主要结局,包括运动损伤、健康相关生活质量和肺部结局指标。其余4项研究未明确区分主要和次要结局。5项研究指定了所使用的CONSORT版本,3项试验参考CONSORT 2010,1项试验参考CONSORT 2017非药物干预扩展版,1项试验参考CONSORT-EHEALTH 2011扩展版。其余3项研究引用CONSORT声明但未指定版本或年份。
CHAMP评估
CHAMP表现因领域而异,设计领域依从率最高(64.6%),其次为解释(58.9%)和分析(58.8%)领域,而报告领域已满足条目比例最低(50.0%)且未满足评级比例最高。多个条目的完全依从(100%)被观察到,包括结局和测量方法的清晰描述(条目2)、统计方法(条目7)、数据报告(条目17)和方法学局限讨论(条目29),表明这些方面在所有纳入研究中均持续报告良好。在分析领域,尽管总体依从性相对较高,但各条目间存在变异性。置信区间合理性(条目12)在12.5%的研究中满足,在87.5%中评为不明确。基线可比性评估(条目13)在25.0%的研究中满足,50.0%未满足,25.0%不明确。混杂调整(条目14)在12.5%中满足,87.5%不明确。缺失数据处理(条目16)在37.5%中满足,62.5%不明确。在设计领域,样本量论证(条目4)在50.0%的研究中报告,12.5%未满足,37.5%不明确。方案依从性和设计偏离的报告清晰度较低:条目5在37.5%中满足,12.5%未满足,50.0%不明确;条目6在25.0%中满足,12.5%未满足,62.5%不明确。报告领域已满足条目比例最低。组间置信区间(条目19)在12.5%的研究中报告,87.5%未满足。同时包含置信区间和p值的完整结果报告(条目18)未在任何研究中观察到,75.0%评为未满足,25.0%不明确。数值报告精度(条目21)在37.5%中满足,50.0%未满足,12.5%不明确。在解释领域,置信区间的正确使用(条目25)在12.5%中满足,87.5%未满足,是该领域最关键的条目之一。预先指定分析与探索性分析的区分(条目28)在50.0%中满足,其余50.0%不明确。评估者间一致性为74.2%(178/240评级),总体未加权Cohen’s κ为0.14(95% CI [0.01, 0.26])。各领域百分比一致性范围为71.4%–81.2%,Cohen’s κ系数范围为0.00–0.37。设计领域一致性最高(81.2%;κ=0.37),其次为报告(71.4%;κ=0.19)、分析(72.5%;κ=0.06)和解释(73.2%;κ=0.00)领域。
偏倚风险评估
在领域层面,所有研究在缺失结局数据(D3)和结局测量(D4)方面均被判定为低偏倚风险,表明对脱落和结局评估的处理充分。对于随机化过程(D1),7项研究评为低偏倚风险,1项研究因分配隐藏报告不充分而存在一定问题。在其他领域观察到较高偏倚风险判断。偏离预期干预(D2)在2项研究中评为高风险,因为实际实施的干预偏离了预期干预。报告结果选择(D5)在1项研究中评为高风险,原因在于已发表方案与最终报告之间在样本量和评估结局方面存在不一致。此外,6项研究在D5方面存在一定问题,因为已发表方案中未提供详细统计分析计划,仅1项研究在该领域评为低偏倚风险。总体而言,1项研究评为低偏倚风险(12.5%),5项研究存在一定问题(62.5%),2项研究评为高偏倚风险(25.0%)。
CHAMP表现与RoB 2判断的比较
进一步描述性比较考察了CHAMP评分在不同总体RoB 2判断的研究中的分布。在归类为存在一定问题的研究中,CHAMP评分范围广泛,从0.30到0.83,表明尽管RoB 2分类相似,统计报告质量存在显著变异性。评为高偏倚风险的研究也显示出异质性CHAMP评分(0.30和0.67)。鉴于这种变异性和缺乏正式统计检验,无法确定CHAMP表现与RoB 2分类之间的一致性。
讨论
本荟萃研究提供了对成人SCI TBR试验统计质量的结构化评估。总体而言,CHAMP表现存在显著变异性,评分范围从0.30到0.83。这种变异性在各领域间均明显,特别是在报告和解释方面依从性较低。基于描述性比较,统计质量(CHAMP)与总体偏倚风险(RoB 2)之间未观察到明确一致性。鉴于研究数量有限,这些分析应仅视为探索性。归类为存在一定问题的研究显示出CHAMP评分的大幅变异性,表明RoB 2和CHAMP可能捕获试验质量中互补但不同的方面。RoB 2工具主要评估影响内部有效性的风险,而CHAMP更详细地评估统计设计、分析、报告和解释的透明度与完整性。因此,RoB 2可能识别与报告和方案一致性相关的更广泛问题,而CHAMP进一步描述了这些问题背后的具体统计局限性。另一个考虑涉及CHAMP与RoB 2工具的概念差异。RoB 2依赖结构化算法,其中特定领域可能不成比例地影响总体判断,而CHAMP是评估统计透明度的清单,没有预定义条目权重。在本研究中,CHAMP条目被汇总为单一评分,赋予每个条目相同权重。虽然这种方法便于研究间比较,但未考虑各统计方面的相对重要性。在解释CHAMP表现与RoB 2分类之间缺乏一致性时,应考虑这些差异。从实践角度看,不完整或不清晰的统计报告可能限制试验结果的可解释性和可用性。条目层面出现了几个关键问题,包括频繁缺少组间置信区间、p值报告不完整,以及预先指定分析与探索性分析区分不足。这些局限性可能妨碍对治疗效果幅度、精度和稳健性的正确理解,最终影响可重复性以及将结果整合到证据综合中。研究报告与其方案之间一致性的频繁缺乏,以及若干已发表方案中缺少详细统计分析计划,可能表明统计透明度的局限源于研究过程的早期阶段,而非仅出现在报告阶段。在此背景下,RoB 2在报告结果选择(D5)领域发现的问题似乎反映了更广泛的问题,CHAMP评估进一步详细说明了这些问题。值得注意的是,在筛选过程中有相当数量的潜在合格RCT被排除,因为它们未明确报告遵循CONSORT声明。虽然缺乏明确声明不一定表明报告质量差,但可能反映报告实践欠佳或对既定报告标准遵循情况的透明性有限。这一观察进一步强调了促进SCI康复研究更大透明度和更一致报告实践的必要性。这些结果与先前表明临床和康复研究报告标准依从性欠佳的荟萃研究一致,并通过结构化、条目级方法专门关注统计方面扩展了该证据。因此,提高统计透明度应被视为增强康复试验可解释性和可重复性的关键步骤。这些发现可根据当前强调报告效应量、置信区间和精度测量以支持临床解释的建议进行解读。在此背景下,本研究结果表明这些建议未得到遵循,因为组间置信区间和完整结果报告等关键要素经常缺失。鉴于置信区间对于评估治疗效果的大小、精度和不确定性至关重要,其遗漏可能限制研究结果的可解释性、可靠性和临床适用性。这些局限性也可能影响所报告分析的可重复性,并在某些情况下影响效应估计的稳健性。总之,这些问题不仅可能导致研究结果向临床实践转化的延迟,还可能导致证据综合和制定强临床推荐的困难。不一致的统计报告和有限的透明度可能降低研究的可重复性和试验间的可比性,从而增加证据综合中的异质性,并削弱对整体证据体的信心。
局限性
本研究存在若干局限性。首先,纳入研究数量较少限制了对正式统计分析的开展,并限制了研究结果的普适性。这部分是由于严格的纳入标准所致,即仅限于明确声明遵循CONSORT声明的RCT。虽然该做法旨在关注预期遵循公认报告标准的研究,但可能减少了合格研究的数量,并排除了统计报告充分但未明确声明遵循CONSORT的试验。其次,CHAMP评分方法涉及将分类评级转化为数值汇总评分,这是为本研究专门制定的程序,尚未经过正式验证。尽管该方法允许对统计报告质量进行定量综合,但可能引入对潜在信息的简化。
结论
SCI TBR试验的统计质量显示出显著变异性。尽管RoB 2和CHAMP评估研究质量的不同维度,但RoB 2中与报告结果选择相关领域识别出的问题,常伴随CHAMP识别出的统计透明度局限性。这些发现表明统计报告的弱点可能源于研究过程的早期阶段,包括方案和分析计划阶段。这些发现强调在康复研究中需要更加关注统计设计、分析和报告的质量。将CONSORT与CHAMP等结构化工具相结合,可支持评审人员和研究人员对研究质量进行更全面的评估,增强康复研究的可解释性和可重复性,并指导未来研究的批判性评价以及规划和报告。