经颅磁刺激报告评估工具（TMS-RAT）的开发与验证

《Brain Stimulation》：Development and Validation of the Transcranial Magnetic Stimulation Reporting Assessment Tool (TMS-RAT)

　　

背景：一个标准化的工具用于全面报告可以提高透明度，支持一致的文档记录，并促进跨经颅磁刺激（TMS）研究的比较。迄今为止，最常用的报告检查表缺乏完整报告的定义，且最初未评估其可用性或信度。方法：研究人员开发了TMS报告评估工具（TMS-RAT），一个全面的报告框架，为其条目提供了清晰的定义和示例。研究人员通过评估1987年至2025年1月31日期间发表的所有使用传入条件刺激（afferent conditioning）的研究（n=333）来测试TMS-RAT的可用性和信度，这些协议涵盖了工具开发过程中确定的许多报告类别。17名独立评估者参与了三个开发阶段、一个验证阶段和一个重测阶段，每个阶段都引入了新手评估者。工具迭代改进基于评估者间信度、定性评估者反馈以及外部TMS专家的咨询。结果：研究人员提出了该工具的两个版本：72个条目的TMS-RAT v1.0，旨在指导全面报告；以及TMS-RAT v1.1，一个包含50个条目的子集，具有最高的评估者间（总体AC1=0.78，范围=[0.60–0.99]）和重测信度（总体AC1=0.82，范围=[0.65–1.0]），旨在用于系统评价和荟萃分析中的回顾性报告评估。该工具尚未在传入条件刺激文献之外或未记录运动诱发电位（motor evoked potentials）的研究中得到验证。结论：TMS-RAT是一个全面、可靠的工具，旨在提高TMS研究的透明度和可重复性。研究人员计划将该工具扩展到覆盖其他TMS协议。

**论文解读：经颅磁刺激报告评估工具（TMS-RAT）的开发与验证**

**研究背景与问题**

经颅磁刺激（TMS）技术自1985年问世以来，已广泛应用于人类神经系统研究，但该领域长期面临效应不一致、结果难以复现的困境。核心原因之一在于研究方法的报告不完整、不透明，阻碍了跨实验室、跨时间的比较与整合。此前最常用的报告检查表由Chipchase等人（2012）通过德尔菲共识法制定，包含30个条目，但存在显著局限：其一，该检查表仅针对运动系统设计，适用范围有限；其二，缺乏对“完整报告”的操作性定义和示例，导致不同研究者对同一条目（如“参与者年龄”）的解释不一致；其三，该检查表最初未评估可用性或评估者间信度，后续研究表明约三分之一条目的评估者间一致性不达标。因此，为了提升TMS研究的透明度和可重复性，亟需开发一个经过实证验证、具有明确定义和可靠信度的标准化报告评估工具。

**研究内容与结论**

研究人员基于Chipchase检查表，通过国际社区驱动的方式，开发并验证了“经颅磁刺激报告评估工具”（TMS-RAT）。该研究包含三个主要目标：第一，通过范围综述评估当前报告趋势，识别真实存在的报告缺陷；第二，基于缺陷开发新工具，提供操作性定义和示例；第三，通过多阶段测试、验证和重测，对工具进行迭代优化。研究共纳入1987年至2025年1月31日期间发表的333篇传入条件刺激（afferent conditioning）研究，这些研究涉及复杂的配对脉冲设计、周围神经刺激和单脉冲TMS，并涵盖健康与临床人群，具有广泛的代表性。17名独立评估者（包括博士生、博士后、高级技术人员和资深学者，来自21个机构，TMS经验1-24年）参与了三个阶段开发、一个验证阶段和一个重测阶段。每个阶段引入至少4名新手评估者，以评估工具对首次使用者的可靠性。工具迭代改进基于评估者间信度（Gwet's AC1）、定性反馈和外部TMS专家的咨询。

最终，研究人员提出了两个版本的工具：TMS-RAT v1.0（72个条目），用于指导前瞻性报告；TMS-RAT v1.1（50个条目），仅包含评估者间信度（整体AC1=0.78，范围0.60-0.99）和重测信度（整体AC1=0.82，范围0.65-1.0）最高的条目，适用于系统评价和荟萃分析中的回顾性评估。该论文发表在《Brain Stimulation》。

**关键技术方法**

研究人员采用的主要关键技术方法包括：（1）范围综述（scoping review）：检索PubMed、Web of Science和Google Scholar，纳入引用Chipchase检查表的32篇系统评价或荟萃分析，评估681项TMS研究的报告完整性，并计算各条目报告比例及引导置信区间；（2）多阶段工具开发与验证：将工具从v0.1迭代至v1.0，每个阶段由配对评估者（结合新手与有经验者）对文章进行双盲评分，并使用Gwet's AC1计算评估者间信度，通过定性反馈和专家咨询修订条目；（3）重测信度评估：在最终验证阶段后，每位评估者对4篇文章（共64篇）使用v1.0进行重测，间隔至少两个月，分析保留在v1.1中的条目；（4）统计基准：预先注册信度阈值（AC1<0.60和/或p>0.05和/或95%置信区间下限<0.50），用于筛选可靠条目。样本队列来源为333篇传入条件刺激研究，取自Holmes等人（在准备中）的系统评价。

**研究结果**

**3.1 范围综述**
通过分析32篇系统评价，研究人员发现报告完整性随时间逐渐改善，但Chipchase检查表发表后并无显著突变。不同期刊之间报告实践差异不大。仅31%的综述使用了“报告”与“控制”的区分。条目层面差异显著，例如参与者年龄和性别报告率约90%，而注意力与唤醒状态报告率仅约18%。

**3.2 工具开发**
**3.2.1 来自TMS研究者的反馈**
12位来自全球的TMS专家提供了开放式反馈，主要集中在澄清条目定义，部分建议增加或删除条目。高比例反馈涉及方法学质量或偏倚风险评估，但工具设计为纯报告评估工具，此类反馈未被采纳。

**3.2.2 评估者间信度**
随着开发阶段推进，评估者间信度逐步提高（从v0.1的AC1=0.57升至v0.3的0.63，最终验证v1.0为0.61，排除异常值后为0.67）。完整报告比例稳定在约50%。完成时间略有下降（从v0.2的22.2秒/条目降至v1.1的18.7秒/条目）。在最终验证阶段，新手与有经验评估者之间无显著差异（t(13.56)=-1.13, p=0.28），表明工具可用性独立于经验。一名异常评估者因完成时间极短、缺失时间戳多而被排除。

**3.2.3 版本1.1：用于回顾性评估的可靠条目**
经预注册阈值筛选，22个条目未达到信度标准（如单脉冲整个部分、EMG电极排列、实验时长和间隔等），因此被排除在v1.1之外。v1.1包含12个部分、50个条目（不包括未验证的rTMS部分）。

**3.2.4 总体报告趋势**
使用v1.1评估，论文报告评分随时间呈微弱改善趋势（β=0.29%, 95% CI: 0.12-0.47%, p=0.0013），但分布范围0.19-0.72，无地板或天花板效应，而Chipchase检查表有9%论文低于15%或高于85%报告率。

**3.2.5 重测信度**
重测信度整体AC1=0.82，条目级范围0.65-1.00，部分级范围0.68-0.96，表明工具稳定性良好。

**3.2.6 各阶段文档记录**
所有阶段数据、工具、指南和代码均通过开放科学框架（OSF）公开提供。

**讨论与结论**

讨论部分强调，TMS-RAT是首个经实证验证的TMS报告评估工具，通过保留Chipchase检查表的德尔菲共识条目，并引入操作性定义、示例和模块化结构，克服了原工具的局限。研究人员取消了“报告”与“控制”的区分（因文献中仅31%使用此区分，且定义难以一致应用），代之以“完全/部分/缺失”三级分类，提高了评估分辨率。评估者间信度采用Gwet's AC1（视评分为分类变量而非有序变量），以保守方式与Chipchase检查表的二分类评分比较。v1.1所有条目均满足信度阈值，而Chipchase检查表约三分之一条目不达标。

22个条目被排除表明，在文献报告实践未统一前，无法同时实现最大全面性和统一可靠性，因此需区分前瞻性（v1.0）和回顾性（v1.1）工具。研究人员建议作者使用v1.0指导报告方法，并将完成表格作为补充材料提交；审稿人和编辑可用其评估报告完整性。系统评价和荟萃分析中应使用v1.1，以报告完整比例作为协变量。

研究结论部分翻译如下：
结论：TMS-RAT是一个全面、可靠的工具，旨在提高TMS研究的透明度和可重复性。研究人员计划将该工具扩展到覆盖其他TMS协议。

未来开发将包括验证rTMS、临床应用和多模态方法（如TMS与fMRI、EEG结合），并寻求结构化共识。工具最新版本可通过tms-rat.org和GitHub公开获取，鼓励社区使用并反馈，以持续改进。