《Muscle & Nerve》:A Hybrid Rule-Based and Large Language Model Artificial Intelligence Systems for Electrodiagnostic Reporting: Two-Center Retrospective Evaluation
编辑推荐:
引言/目的
电诊断(EDX)检查由神经传导研究(NCS)和针极肌电图(EMG)构成。然而,不同实验室之间的EDX报告存在异质性,且通常需要耗时的文书记录。研究人员旨在评估一种基于规则与受约束大语言模型(LLM)相结合的混合系统,该系统可根据结构化EDX测量结
引言/目的
电诊断(EDX)检查由神经传导研究(NCS)和针极肌电图(EMG)构成。然而,不同实验室之间的EDX报告存在异质性,且通常需要耗时的文书记录。研究人员旨在评估一种基于规则与受约束大语言模型(LLM)相结合的混合系统,该系统可根据结构化EDX测量结果起草EDX报告。
方法
研究人员对来自两家机构的EDX报告进行了回顾性分析。该系统首先生成结构化总结(Summary),即依据实验室特异性阈值,从EDX测量结果中导出的标准化异常发现;随后利用标签受约束的LLM起草诊断性解释(Interpretation,即面向临床医生的诊断结论),其方式为从预定义诊断标签库中进行选择。研究人员采用覆盖-定位指数(Coverage–Localization Index, CLI)评估该系统与临床医生诊断解释之间的一致性。该指数综合反映是否选择了相同的诊断标签(覆盖度)以及病变部位/节段定位是否一致(定位度)。
结果
在500例筛查检查中,共纳入332份报告(初级保健241份;三级医疗91份)。系统与临床医生诊断解释之间的总体CLI一致性较高(总均值96.7%,95%置信区间(CI)95.1–98.1),但在更复杂的检查中一致性较低。
讨论
基于规则的提取器捕获了所有由规则定义的异常发现,受约束的LLM起草了与临床医生具有高度一致性的诊断解释,并生成了标准化的报告草稿。研究仅纳入异常且属于预设范围内的EDX报告,这限制了对其在未经筛选的临床连续病例流中表现的直接推断。未来研究应在连续常规EDX报告中验证该方法,包括正常检查和诊断意义不明确的检查,并量化其对工作流程的影响,例如编辑时间和临床医生可接受性。
该文发表于《Muscle 》,围绕电诊断(EDX)报告书写标准不一、人工撰写耗时且不同机构间术语与表达方式异质性明显等现实问题,提出并评估了一种由确定性规则模块与受约束大语言模型(LLM)共同构成的混合人工智能报告生成框架。研究背景在于,EDX检查由神经传导研究(NCS)与针极肌电图(EMG)组成,其判读本身依赖系统训练与临床经验,而最终报告不仅承担记录作用,更是面向转诊医生和后续诊疗环节的重要沟通工具。现有EDX报告常因实验室习惯、书写模板及解释风格不同而产生较大差异,增加了文书负担,也影响信息传递的一致性和后续二次利用价值。既往已有基于规则、概率模型、知识库以及机器学习分类器的尝试,用于自动识别特定神经传导异常模式,但这类方法要么依赖主观性较强的损伤分级,要么局限于某些疾病的特征分类,难以替代临床医生将电生理发现与临床信息综合后的最终解释。近年来LLM在临床文书辅助中的应用引发关注,但开放式生成容易产生“幻觉”,且先前多智能体EDX报告系统虽显示出一定潜力,却未能显著改善神经科医生表现,且仍需较多人工修订。因此,研究人员开展本研究,意在构建一种兼顾可审计性、标准化与可读性的混合式报告草拟系统,以减少无依据生成,同时提高报告一致性。
作者采用双中心回顾性设计,纳入一家社区初级保健门诊和一家三级医院康复医学科的EDX报告作为分析对象。系统工作流程分为三步:首先从源报告中抽取内容并统一到标准化数据模式;其次由规则引擎根据各实验室自身的参考阈值生成结构化异常总结;最后由标签受约束的LLM基于预定义诊断标签库生成面向临床医生的诊断解释。研究结果显示,在332份纳入分析的异常且符合预设范围的EDX报告中,该系统生成的诊断解释与临床医生原始解释具有很高一致性,总体覆盖-定位指数(CLI)均值达96.7%,且未出现左右侧颠倒或正常/异常反转等安全关键错误。研究同时发现,病例复杂度越高,人工总结中的遗漏率越高,而系统与临床医生之间的一致性则呈下降趋势。这表明该混合框架在标准化异常摘要和生成结构化诊断草稿方面具有较强可行性,尤其可能在减少文书遗漏、提升格式统一性方面具有应用意义。其重要价值不在于证明系统可独立完成临床诊断,而在于说明该方法可作为临床可复核的报告起草支持工具,为后续前瞻性、多中心、真实工作流验证奠定基础。
在技术方法上,研究主要采用4类关键方法。其一,基于双中心回顾性样本队列,对500例EDX检查进行筛选,最终纳入332例异常且属于研究范围内的报告。其二,构建规则驱动的Summary模块,依据各实验室年龄、性别校正后的阈值,自动识别NCS和EMG异常并转写为标准化自然语言描述。其三,采用受标签约束的LLM(OpenAI o3-2025-04-16),输入规则生成的结构化总结、标准化检查表、实验室参考值以及最小临床信息〔年龄、性别、主诉(CC)和症状持续时间〕,输出限定在预定义诊断标签库内的诊断解释。其四,使用覆盖-定位指数(CLI)评价AI与临床医生在诊断标签选择及解剖定位层面的匹配程度,并以自助法(bootstrap)计算95%置信区间(CI)。
在研究结果部分,论文首先给出“3.1 Study Cohorts”。研究人员共筛查500例来自两家机构的检查,最终纳入332份异常、范围内的EDX报告,其中初级保健241份、三级医疗91份。排除原因主要包括中枢神经系统(CNS)相关病变、完全正常报告、虽有异常但诊断信息不足的检查,以及超出预设协议范围的检查。该结果说明研究分析对象经过明确筛选,重点聚焦于可供诊断解释比较的外周神经肌肉电诊断病例。
在“3.2 Diagnostic Interpretation Label Distribution”中,作者统计了标准化后的诊断解释标签分布。332例中共观察到398个诊断标签,大多数病例仅含1个标签,少数病例包含2个或3个标签。最常见标签为正中神经-腕部病变(Median–Wrist)、腰骶神经根病(Lumbosacral radiculopathy)、周围性多发性神经病(Peripheral polyneuropathy)和尺神经-肘部病变(Ulnar–Elbow)。这一结果说明研究对象的诊断谱具有一定集中性,同时也包含多标签和复杂定位情形,为系统评估提供了不同层级难度的样本基础。
在“3.3 Summary Reporting Recall”中,研究人员比较了人工撰写Summary与规则生成Summary对异常项目的覆盖能力。结果显示,无论在NCS还是EMG层面,规则系统的召回率均达到100.0%,而人工Summary虽整体较高,但在三级医疗队列中NCS召回率降至91.3%,EMG召回率为98.8%。总体上,人工NCS召回率为96.9%,EMG召回率为97.9%。这表明基于规则的异常提取在完整性方面优于人工叙述,尤其在复杂检查环境中更能避免遗漏。
在“3.4 Diagnostic Interpretation Agreement”中,作者采用CLI评估AI生成诊断解释与临床医生解释的一致性。结果显示,初级保健队列的覆盖度、定位度和总分分别为98.7%、97.4%和98.3%;三级医疗队列分别为93.8%、90.0%和92.6%;总体则分别达到97.3%、95.4%和96.7%。此外,未记录到任何安全关键错误。该部分结果表明,在限定标签库与结构化输入条件下,受约束LLM能够生成与临床医生高度一致的诊断性文字结论。
在“3.5 Complexity–Performance Relationship”中,作者进一步分析复杂度对性能的影响。研究以每例检查的异常项目总数作为复杂度指标,将病例分为低、中、高三组。随着复杂度增加,人工Summary遗漏率单调升高,而诊断解释总一致性单调下降:低复杂度组总一致性为98.8%,中等复杂度为97.4%,高复杂度降至92.8%。同时,若按诊断标签数量分层,单标签病例几乎达到近乎完美的一致性,而双标签、三标签病例的覆盖度、定位度和总分均逐级下降。高复杂度与低复杂度比较时,人工遗漏率增加26.2个百分点,而总一致性下降6.1个百分点。该结果提示,无论是人工文书还是AI辅助解释,在多异常、多标签情境下都面临更大挑战,但系统整体仍保持较高水平。
在“3.6 Overcalls”中,研究人员考察了过度报告情况。Summary层面的过报十分少见:初级保健队列未出现过报,三级医疗队列仅在91例中的4例、共2332个NCS节段中发现8次过报。诊断解释中的额外标签则通过F1框架下的一对一匹配机制自动受到惩罚。该结果说明系统在追求完整性的同时,错误增加异常描述的风险较低。
讨论部分强调,本研究结果应被理解为一种报告起草支持系统的概念验证,而非对临床诊断正确性的直接证明。作者指出,EDX解释并不只依赖数值阈值,还受技术质量、温度控制、电极放置、刺激充分性、伪差识别以及检查方案是否切合转诊问题等因素影响。因此,临床医生叙述中的“遗漏”在某些边界性或技术受限场景下,可能反映的是审慎判断而非单纯文书错误。正因如此,研究人员将规则模块定位为对原始测量值进行标准化、无推断的描述层;将生成模型仅用于从预定义诊断标签中组织出可读的临床结论,以限制开放式生成并控制术语一致性。与既往关注原始信号检测或疾病分类的系统不同,本研究更侧重于报告草拟与结构化标签一致性评估。作者同时指出若干局限:其一,排除了正常、诊断模糊或非诊断性检查,存在谱偏倚(spectrum bias);其二,未评估完成时间、编辑负担和临床接受度等工作流指标,因此效率获益尚未证实;其三,仅在两家机构验证,外部有效性有限,且同一患者重复检查可能引入相关性;其四,系统尚未覆盖上游质量控制和“检查是否真正回答转诊问题”等EDX实践核心问题。
研究结论部分可概括为:在仅纳入异常且属于预设范围的EDX报告队列中,该混合人工智能流程能够生成结构化Summary与受约束的诊断解释,且与临床医生诊断解释表现出较高一致性。基于规则的提取模块可完整捕获规则定义的异常发现,受约束LLM可生成标准化、临床可审阅的报告草稿。未来仍需在连续常规EDX病例中进一步验证,包括正常及诊断不明确检查,并系统评估其对编辑时间、工作负担和临床接受性的实际影响。