
-
生物通官微
陪你抓住生命科技
跳动的脉搏
多模态大语言模型辅助结构化报告在术后跟骨固定影像风险分类中的应用效果:一项回顾性多中心多读者研究
《BMC Medical Imaging》:Multimodal large language model assistance in interpreting postoperative calcaneal radiographs: a multicenter multi-reader study
【字体: 大 中 小 】 时间:2026年10月16日 来源:BMC Medical Imaging 3.9
编辑推荐:
摘要背景多模态大语言模型(LLMs)可能支持放射科报告撰写,但在复杂术后肌肉骨骼影像中的证据仍然有限。本研究比较了一种固定顺序的LLM辅助结构化报告会话与较早的一次无辅助会话之间的病例级风险分类差异。方法本回顾性多中心多读者研究纳入了来自一家医院系统三个校区的73例术后跟骨固
多模态大语言模型(LLMs)可能支持放射科报告撰写,但在复杂术后肌肉骨骼影像中的证据仍然有限。本研究比较了一种固定顺序的LLM辅助结构化报告会话与较早的一次无辅助会话之间的病例级风险分类差异。
本回顾性多中心多读者研究纳入了来自一家医院系统三个校区的73例术后跟骨固定病例。六名放射科医师在无辅助条件下解读每个病例,经过超过4周的洗脱期并重新随机排序后,在同一界面下审阅并定稿一份固定的预先生成的GPT-5检查清单和报告草稿。会话顺序未做交叉平衡。术后CT专家共识作为实用性参考标准。主要终点为二分类操作阈值下的准确率,即将中、高风险病例合并作为需要升级处理。
在每次会话438例病例-读者观察中,二分类准确率从第1次会话的313/438(71.5%)提高到第2次会话的351/438(80.1%)(差值,8.7个百分点;聚类自助法95%置信区间,1.1–17.4;OR值,1.97;95%置信区间,1.37–2.84;P < 0.001)。灵敏度从54.2%提高到79.2%,而特异度从85.0%降至80.9%。在精确高阈值下,灵敏度分别为45.0%和43.3%。平均记录时长分别为378.6秒和98.4秒(校正比值,0.257;95%置信区间,0.248–0.266),平均Brier分数分别为0.246和0.177(差值,0.069;95%置信区间,0.007–0.147)。
第2次会话与更高的二分类准确率和更短的记录时长相关,同时具有更高的灵敏度但更低的特异度;在精确高阈值下灵敏度未提高。由于模型填充会话始终为第二次,本研究无法将模型生成内容和报告预填充效应与顺序或熟悉度效应区分开来。需要前瞻性的随机化或交叉平衡研究在独立机构中进行验证。
多模态大语言模型(LLMs)可能支持放射科报告撰写,但在复杂术后肌肉骨骼影像中的证据仍然有限。本研究比较了一种固定顺序的LLM辅助结构化报告会话与较早的一次无辅助会话之间的病例级风险分类差异。
本回顾性多中心多读者研究纳入了来自一家医院系统三个校区的73例术后跟骨固定病例。六名放射科医师在无辅助条件下解读每个病例,经过超过4周的洗脱期并重新随机排序后,在同一界面下审阅并定稿一份固定的预先生成的GPT-5检查清单和报告草稿。会话顺序未做交叉平衡。术后CT专家共识作为实用性参考标准。主要终点为二分类操作阈值下的准确率,即将中、高风险病例合并作为需要升级处理。
在每次会话438例病例-读者观察中,二分类准确率从第1次会话的313/438(71.5%)提高到第2次会话的351/438(80.1%)(差值,8.7个百分点;聚类自助法95%置信区间,1.1–17.4;OR值,1.97;95%置信区间,1.37–2.84;P < 0.001)。灵敏度从54.2%提高到79.2%,而特异度从85.0%降至80.9%。在精确高阈值下,灵敏度分别为45.0%和43.3%。平均记录时长分别为378.6秒和98.4秒(校正比值,0.257;95%置信区间,0.248–0.266),平均Brier分数分别为0.246和0.177(差值,0.069;95%置信区间,0.007–0.147)。
第2次会话与更高的二分类准确率和更短的记录时长相关,同时具有更高的灵敏度但更低的特异度;在精确高阈值下灵敏度未提高。由于模型填充会话始终为第二次,本研究无法将模型生成内容和报告预填充效应与顺序或熟悉度效应区分开来。需要前瞻性的随机化或交叉平衡研究在独立机构中进行验证。