基于报告的大语言模型辅助颈动脉斑块AHA分类:一项多读者研究

《Insights into Imaging》:Large language model assistance for report-based carotid plaque AHA classification: a multi-reader study

【字体: 大 中 小 】 时间:2026年10月18日 来源:Insights into Imaging 5.6

编辑推荐:

  摘要翻译 目的:评估大语言模型(large language model, LLM)辅助是否能够提高放射科医生在从自由文本MRI报告中推断改良美国心脏协会(American Heart Association, AHA)颈动脉斑块分类时与基于文本的参考标准的

  
摘要翻译

目的:评估大语言模型(large language model, LLM)辅助是否能够提高放射科医生在从自由文本MRI报告中推断改良美国心脏协会(American Heart Association, AHA)颈动脉斑块分类时与基于文本的参考标准的一致性,并评估轻量级模型在标准引导提示(criteria-guided prompting, CGP)下是否能取得良好表现。

材料与方法:这项回顾性研究纳入了来自三个机构的433例患者。在基于报告的多读者研究中,四名放射科医生在有和没有大语言模型辅助的情况下对MRI报告进行分类。在独立评估中,比较了基于规则的基线和10种模型在朴素提示与标准引导提示下的表现。参考标准是基于报告文本的专家共识。

结果:在433例患者中(平均年龄65.9岁±13.4;男性248例),AI辅助提高了与基于文本的参考标准的六类一致性。在血管层面,初级放射科医生的一致性从61.75%提高到83.12%(Qwen3-8B)和87.75%(DeepSeek-R1);高级放射科医生分别从77.00%提高到87.50%和92.25%(所有Holm校正后p<0.001)。患者层面的一致性在初级医生中从41.0%提高到78.8%(使用DeepSeek-R1),在高级医生中从59.8%提高到87.8%。一致性提高(二次加权κ:无AI时为0.231,使用DeepSeek-R1时为0.775)。在独立评估中,标准引导提示将Qwen3-8B的一致性从38.91%提高到81.52%(95%置信区间:78.87–84.06%),仍比DeepSeek-R1(87.41%;95%置信区间:85.10–89.61%)低5.89个百分点。

结论:在这种基于报告的分类设置中,大语言模型辅助提高了放射科医生与基于文本的参考标准的一致性,其中初级放射科医生的获益更大。当提示明确编码了AHA标准时,一个8B的本地候选模型表现良好,支持其作为基于文本工作流程标准化辅助工具的潜力。

关键要点:
问题:基于报告的颈动脉斑块改良AHA分类具有经验依赖性且难以标准化,因为将多序列影像学发现映射到分类结论需要大量认知负荷。
发现:大语言模型辅助提高了与基于文本的参考标准的一致性,并提高了读者间一致性(加权κ从0.231到0.775),缩小了初级与高级医生之间的差距。
关键相关性声明:在提示中嵌入明确的AHA标准使8B模型接近671B模型的一致性(38.91–81.52%),支持无需微调的标准化基于文本工作流程。
论文解读文章

研究背景与问题

颈动脉粥样硬化斑块见于约五分之一的短暂性脑缺血发作或卒中患者。识别具有高危特征(如斑块内出血)的易损斑块对于预防脑血管事件至关重要。基于高分辨率磁共振成像(high-resolution magnetic resonance imaging, HRMRI)的改良美国心脏协会(AHA)分类提供了一个标准化的斑块组成风险分层框架,根据组织成分(富含脂质的坏死核心、纤维组织、钙化、出血等)和多序列MRI信号特征将斑块分为六个操作类别。VI型斑块(伴有斑块内出血和/或表面破损)与缺血风险显著增加相关。然而,AHA分类的标准化实施仍然有限:与仅涉及单一定量指标的管腔狭窄评估不同,该过程要求医生整合多序列、多发现的信息,并应用分层标准来确定最终类型,造成了可观的认知负荷。既往研究表明,放射科医生在识别单个影像学发现(如信号特征、纤维帽状态)时具有较高一致性,但在将这些发现整合为复合分类结论时一致性显著降低,提示这种从影像学发现到分类结论的认知映射构成了一个经验依赖的瓶颈。由于该瓶颈主要发生在将报告描述转换为标准化标签的步骤,基于报告的方法可以直接在该阶段进行干预。然而,模型性能仍然取决于原始报告的完整性和一致性,这可能因读者和机构而异。近期研究表明,大语言模型(LLM)可以从自由文本放射学报告中提取结构化信息,并在多个领域执行标准化分类任务。但由于隐私问题、计算成本以及输出可能难以一致映射到预定义临床标准等原因,通用模型在临床部署上仍有困难。迄今为止,尚无研究系统评估LLM辅助能否提高放射科医生基于报告的颈动脉斑块AHA分类推断能力。

研究内容与结论

针对上述问题,研究人员设计了一项回顾性研究,旨在评估LLM辅助对放射科医生基于报告文本推断改良AHA分类的改善作用,并检验轻量级开源模型在显式嵌入AHA分类标准的提示策略下能否接近更大模型的性能。研究纳入2023年1月至2024年9月期间来自三家机构的433例患者(共866条颈动脉),参考标准是由资深神经血管放射科医生基于报告文本达成的共识分类。研究包含两部分:一是基于报告的多读者研究,四名放射科医生(两名初级,两名高级)在无AI和有AI辅助条件下对200例患者的分层随机样本进行分类;二是独立AI性能评估,比较了基于规则的基线与10种不同参数规模的LLM在朴素提示(naive prompting, NP)和标准引导提示(criteria-guided prompting, CGP)下的分类表现。研究结果显示,AI辅助显著提高了放射科医生与基于文本的参考标准的六类一致性:血管层面上,初级医生的一致性从61.75%提高到83.12%(Qwen3-8B)和87.75%(DeepSeek-R1),高级医生从77.00%提高到87.50%和92.25%;患者层面也呈现方向一致的结果。AI辅助同时提高了读者间一致性(二次加权κ从0.231到0.775),并缩小了初级与高级医生之间的经验差距。VI型检出灵敏度方面,初级医生的灵敏度从60.9%提高到83.8%(Qwen3-8B)和88.7%(DeepSeek-R1),接近高级医生的水平。在独立评估中,CGP使Qwen3-8B的一致性从38.91%提高到81.52%(95% CI: 78.87–84.06%),仍比DeepSeek-R1低5.89个百分点;但这一结果显示,当提示中显式编码了AHA标准时,8B参数量的模型能够接近671B模型的表现。这些发现支持将明确的标准编码作为标准化基于报告分类的实用策略,并使较小的本地模型能够发挥作用。

关键技术方法

研究人员使用了以下主要技术方法:一是标准引导提示(CGP)策略,将改良AHA分类标准显式嵌入模型指令,并将分类分解为两个可审计步骤——先将信号描述映射到斑块成分,再应用分层标准分配最终类型;二是报告型多读者研究设计,采用固定顺序(先无AI后AI辅助)和两种AI模型平衡顺序,中间设置6周洗脱期,以评估人类与AI协作的分类一致性;三是独立AI性能评估,包括规则基线和10种模型(涵盖开源通用模型、医学微调模型MedGemma、商业闭源模型Gemini 2.5 Pro)在两种提示策略下的对比。样本队列来自三家机构,其中A中心376例、B中心28例、C中心29例;提示在A中心独立50例子集上开发,主队列433例用于最终验证。统计上使用广义估计方程、精确McNemar检验、患者层面聚类自举等方法,并通过Holm校正控制多重比较。

研究结果

报告型多读者研究:AI辅助提高了所有四名放射科医生与文本参考标准的六类一致性。无AI时,血管层面初级医生平均一致性为61.75%,高级为77.00%;使用Qwen3-8B后分别提高到83.12%和87.50%,使用DeepSeek-R1后提高到87.75%和92.25%。患者层面结果方向一致,初级从41.0%提高到71.0%(Qwen3-8B)和78.8%(DeepSeek-R1),高级从59.8%提高到80.2%和87.8%。二次加权κ从无AI时的0.041和0.421(初级和高级)提高到使用DeepSeek-R1时的0.714和0.836。经验差距从15.25个百分点(无AI)缩小到4.38(Qwen3-8B)和4.50(DeepSeek-R1)个百分点。VI型检出灵敏度方面,初级医生从60.9%提高到83.8%和88.7%。错误分析显示,无AI时主要错误是将VI型误分类为IV–V型(初级医生88例,高级医生58例);DeepSeek-R1辅助下,初级医生的该错误减少到21例(降低76.1%)。但同时也存在自动化偏差信号:初级医生800次血管层面读数中,33次(4.1%)在无AI时正确但AI辅助后变错,主要集中在IV–V与VI型、I–II与III型等边界类别。

独立AI性能评估:基于规则的方法达到50.92%的一致性。在NP下,多数小模型表现不佳(如Qwen3-8B为38.91%);在CGP下,所有模型一致性均提高。Qwen3-8B提高42.6个百分点至81.52%,仍比DeepSeek-R1低5.89个百分点。商业闭源模型Gemini 2.5 Pro在CGP下达到84.30%,与若干开源模型相当。不同中心间一致性存在差异(A中心73–88%,B中心52–73%,C中心74–95%),CGP减少了但未消除这种异质性。Qwen3-8B在CGP下的重复运行稳定性较高(Fleiss' κ 0.91 vs NP 0.85),中英双语的跨语言一致性也更高(Cohen's κ 0.86 vs 0.73)。在二分类任务中,DeepSeek-R1对VI型检测的AUC最高(0.950),Qwen3-8B在CGP下VI型灵敏度从NP的0.4%提高到80.1%。CGP下超过60%的推理输出获得临床推理保真度评分(CRFS)≥4。

讨论与结论

讨论部分指出,无AI时的主要错误是将VI型误判为IV–V型,这一区分具有临床重要性,因为VI型通常需要更密切的评估。AI辅助通过提供结构化的推理框架,可能将医生对隐性临床经验的依赖转变为更明确、可复现的逻辑过程,从而解释了VI型漏检率的大幅降低和经验差距的缩小。然而,AI辅助在边界案例中引入了新错误,说明模型输出不应被视为自动化决策,未来实施需要包含界面级警告、医生否决权、边界输出重点审查以及定期审计等保障措施。研究还讨论了与既往工作的比较:本研究扩展了LLM从自由文本报告推导标准化放射学类别的概念框架,但采用了更大的多中心队列和交叉设计,并量化了AI辅助对医生的增量效应。结果显示,明确的标准编码而非单纯的模型规模是性能的主要决定因素。研究局限性包括:参考标准基于文本,读者研究仅限于报告文本环境,结果反映的是文本到标签的映射能力而非图像级诊断准确性;无AI条件总是首先执行,可能存在学习效应和疲劳效应;所有原始报告为中文,且中心A占主导;样本量计算为事后敏感性分析;正式CRFS评分由单一评估者完成。结论指出,在基于报告的分类设置中,LLM辅助可以提高放射科医生对颈动脉斑块AHA分类的文本参考标准一致性,初级医生获益更大;在提示中显式编码AHA标准使8B模型在该场景中达到了实用性能,支持进一步评估可本地部署的工具用于标准化基于文本的分类工作流程。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号