《Chiropractic & Manual Therapies》:Preliminary accuracy, inter- and intra-rater reliability of a 4-point cervical artery dissection diagnostic decision support tool in an ambulatory setting using real and simulated cases: a quality improvement project
编辑推荐:
背景:颈椎动脉夹层是一种罕见但危及生命的疾病,常以非特异性症状如颈部和头部疼痛为表现,增加了在门诊诊疗环境中早期识别的难度。CeAD诊断决策支持工具(DDST)是一项由4个项目组成的评估体系,旨在识别应转诊进行进一步高级诊断检查以排除CeAD的患者;然而,其在
背景:颈椎动脉夹层是一种罕见但危及生命的疾病,常以非特异性症状如颈部和头部疼痛为表现,增加了在门诊诊疗环境中早期识别的难度。CeAD诊断决策支持工具(DDST)是一项由4个项目组成的评估体系,旨在识别应转诊进行进一步高级诊断检查以排除CeAD的患者;然而,其在门诊环境中的效用尚未确立。
方法:本质量改进项目旨在评估整脊医师在使用临床情景模拟典型门诊就诊场景时应用CeAD DDST的准确性、评估者间信度和评估者内信度,之后再将该DDST广泛部署到临床工作流程中。五名经验丰富的整脊医师评估了40个标准化的临床情景。CeAD阳性病例(n=10)来源于已发表的经影像学确诊的门诊病例报告。CeAD阴性病例(n=30)采用生成式人工智能开发,并由资深作者修订,以反映整脊实践中常见的病症。评估者独立使用DDST对病例进行评估(评分0–4分),以≥3分为临界值推荐转诊进行高级诊断检查,共进行两轮评估,分别于2025年11月11日和2026年1月7日开始,每轮数据收集期为两周。研究评估了准确性、评估者间信度和评估者内信度。
结果:各评估者在不同轮次中的识别准确性范围为72.5%至95.0%。两轮评估中各评估者均出现假阳性和假阴性结果,其中假阳性更为常见。评估者间信度在两轮中均为中度至显著一致性(第一轮:κ=0.609,95% CI 0.432–0.806;第二轮:κ=0.540,95% CI 0.365–0.735)。评估者内信度范围为中度至几乎完全一致(范围0.457–0.931)。
结论:CeAD DDST在模拟门诊环境中由整脊医师使用时表现出中度至良好的准确性和信度。由于存在假阴性结果且评估者间信度低于推荐基准,目前不建议立即实施该工具。在临床采纳CeAD DDST之前,有必要根据最终用户反馈进行迭代优化并在真实门诊环境中进行前瞻性测试。未来的评估应包括使用真实临床数据的前瞻性研究,以更好地代表真实世界场景。
研究背景与问题
颈椎动脉夹层(CeAD)是一种罕见但危及生命的疾病,定义为动脉内膜撕裂或滋养血管破裂,可发生于有无创伤史的情况下,是年轻成年人卒中最常见的原因,其发病涉及合并症、环境暴露、遗传或先天性易感性及解剖因素之间的复杂相互作用。自发CeAD的发病率从2002年至2020年报告为每10万人年4.69例,在此期间发病率增长了近四倍。CeAD最常见的早期表现为头颈部疼痛,可能进展为缺血性卒中或短暂性脑缺血发作,导致局部神经功能缺损症状。由于CeAD前驱症状非特异且隐匿,早期识别极为困难,尤其在门诊环境中,因缺乏即时获得高级诊断手段的条件,CeAD的诊断困境尤为突出。头颈痛作为常见主诉,其全球年龄标准化点患病率预计在2020年至2050年间增长32.5%,患者往往首先就诊于门诊医疗机构。然而,对于所有非特异性头颈痛患者常规进行高级影像筛查既不经济也不高效,因此亟需开发能够辅助临床决策、帮助识别高风险患者的筛查工具。
此前,Thomas等人设计、完善并验证了一项包含4个项目的CeAD诊断决策支持工具(DDST),该工具基于确诊CeAD患者的常见临床特征,通过对近期外伤或感染、急性或突发性起病、异常的头颈部疼痛以及两项及以上神经系统特征这四个项目进行评分(0–4分),总分≥3分提示中度至高危风险,应紧急转诊进行血管影像学检查。该工具已在急诊科队列中进行了前瞻性验证,但其在门诊环境中的应用效果尚未明确。本研究旨在评估该CeAD DDST在模拟门诊环境中由整脊医师使用时的准确性、评估者间信度和评估者内信度,为其后续在临床工作流程中的推广提供基础数据。
研究方法与技术路线
本研究为横断面准确性及信度评估的质量改进(QI)项目,采用LimeSurvey在线调查平台收集加密响应数据。研究人员招募了5名具有4年以上门诊临床经验的整脊医师作为评估者。研究材料包括40个标准化临床情景:10个CeAD阳性(CeAD+)病例来源于已发表的经影像学确诊的门诊病例报告,30个CeAD阴性(CeAD-)病例采用ChatGPT GPT-5生成式人工智能初步起草,并由资深作者根据2025年美国国家整脊考试委员会整脊实践分析和整脊临床实践指南进行修订,以反映门诊整脊实践中常见的病症。评估者被要求独立使用CeAD DDST对每个情景进行评分(0–4分),并根据≥3分的临界值作出“转诊”或“不转诊”的决定,每轮评估须在两周内一次性完成,且无法返回修改。研究共进行两轮评估,分别始于2025年11月11日和2026年1月7日。统计分析采用Fleiss' Kappa评估评估者间信度,Cohen's Kappa评估评估者内信度,Kappa值按Landis和Koch标准进行解释。
研究结果
准确性:各评估者在不同轮次中对CeAD+和CeAD-病例的识别准确性范围为72.5%至95.0%。两轮评估中各评估者均出现假阳性和假阴性结果,其中假阳性更为普遍。多数评估者在两轮中均误判了一个特定的CeAD+病例,以及一个代表轻度创伤性脑损伤的CeAD-病例。
评估者间信度:在第一轮评估中,评估者在阈值评分(即是否达到转诊临界值)方面表现出“中度”至“显著”的一致性(κ=0.609,95% CI 0.432–0.806),原始百分比一致性为65%;转诊决定的一致性同样为“中度”(κ=0.567,95% CI 0.383–0.771),原始百分比一致性为60%。在第二轮评估中,阈值评分的一致性为“中度”(κ=0.540,95% CI 0.365–0.735),原始百分比一致性为60%;转诊决定的一致性也为“中度”(κ=0.567,95% CI 0.377–0.761),原始百分比一致性为63%。所有评估者间信度指标均具有统计学显著性(p<0.001)。
评估者内信度:各评估者的评估者内信度在阈值评分和转诊决定方面均表现出“中度”至“几乎完全”的一致性(范围0.457–0.931),原始百分比一致性范围为75%至98%。所有评估者内信度指标均具有统计学显著性(p≤0.003)。
讨论与结论
本研究表明,CeAD DDST在模拟门诊环境中由整脊医师使用时虽表现出一定的准确性和信度,但尚不足以支持立即投入临床应用。与Thomas等人在急诊科队列中报告的100%敏感性相比,本研究中出现了假阴性结果,这可能与研究采用模拟病例而非真实患者有关,模拟情境可能限制了评估者获取完整的临床信息。此外,评估者间信度未达到建议的κ≥0.60或原始百分比一致性超过80%的基准,这在高度紧张的临床决策背景下是不可接受的。研究指出,该工具在早期CeAD阶段可能敏感性不足,因为处于病理演变早期的患者可能尚未表现出足够多的症状以达到DDST的转诊阈值,而这恰恰是门诊环境下最需要被识别的人群。工具中各项标准的定义可能存在歧义,导致评估者间的判断差异,这从较高的假阳性率中可见一斑,尤其是在偏头痛、创伤性脑损伤与CeAD的鉴别方面。研究人员建议,在临床采纳CeAD DDST之前,应结合最终用户的反馈进行迭代优化,考虑纳入已知的环境暴露、遗传或先天性易感因素及解剖考量,并与已有的红旗征筛查框架(如IFOMPT颈椎框架和SNNOOP10标准)相整合,以提高工具的判别能力和临床适用性。未来研究应采用真实临床数据进行前瞻性评估,以更好地代表真实世界场景。
结论:本项针对已验证CeAD DDST的初步分析表明,整脊医师在模拟门诊环境中使用该工具的准确性、评估者间信度和评估者内信度目前可能无法提供临床效用。该DDST可能在急诊科环境中具有一定价值,但鉴于最终用户实施过程中的广泛变异性和假阴性结果的存在,目前不建议将其引入门诊临床工作流程。在将CeAD DDST引入临床工作流程之前,应进一步完善和测试。