大型语言模型辅助医院不良事件严重程度分类的一致性评估研究

《BMC Medical Informatics and Decision Making》：Large language model–based classification of adverse event severity: agreement with final human classification in a single-center study

　　

摘要

背景

不良事件（AE）报告系统是医院安全监测的核心，但严重程度分类仍依赖人工审核，且可能受到审核者之间差异性的影响。大型语言模型（LLMs）可能有助于实现更一致的安全报告分类。

目的

评估基于大型语言模型（LLM）的分类系统与经仲裁的专家人工不良事件（AE）严重程度分类之间的一致性，同时刻画人工分类过程中的变异性。

方法

我们分析了某三级学术医学中心机构安全报告系统中的286份不良事件报告。两名质量与安全专家根据与美国国家协调委员会药物错误报告与预防框架（NCC MERP）一致的A–I严重程度量表，独立对每份报告进行分类；分歧由第三名高级审核者进行仲裁，以确定最终人工分类。同样的报告由一个预设的大型语言模型（LLM）工作流进行处理，该工作流的配置在评估之前已固定，未在研究数据集上进行训练、微调、校准或提示词修改；当工作流生成澄清性问题时，记录的回答被用于生成第二次分类。与最终人工分类的完全一致被作为主要的描述性一致性指标；相差一个类别和不一致程度更大的情况被单独考虑。

结果

两名人工审核者的初始完全一致率为65.4%（187/286），具有中等程度的审核者间一致性（未加权Cohen's κ = 0.563；线性加权κ = 0.740）。最终LLM分类与最终人工分类在286例中的140例（49.0%）完全匹配；125例（43.7%）在预设的A–E近似匹配范围内相差一个类别，21例（7.3%）存在更大的不一致。线性加权Cohen's κ为0.728（bootstrap 95% CI, 0.678–0.770）。在严重伤害病例中（F–I，n = 48），37例（77.1%）完全匹配，11例（22.9%）不匹配。人工审核者累计花费约61小时进行分类，而AI推理仅需4分47秒。

结论

在本单中心研究中，基于LLM的系统与经仲裁的专家严重程度分类之间表现出有意义的序数一致性，但具有临床重要性的不一致主要集中在低分类方向。研究结果支持进一步将LLM辅助严重程度分类作为监督决策支持而非自主仲裁进行评估。需要前瞻性、多中心及独立验证的研究。