《JOURNAL OF MAGNETIC RESONANCE IMAGING》：Accuracy of Large Language Model Chatbots in Retrieving MRI Safety Conditions for Medical Implants
编辑推荐：
背景：为植入式器械检索MRI安全条件日益复杂且耗时。目的：以制造商文档为参考标准，评估联网大语言模型（large language model，LLM）聊天机器人检索器械特异性MRI安全条件的准确性。研究类型：在构建的设备配置队列中进行前瞻性比较评估，随后进行
背景：为植入式器械检索MRI安全条件日益复杂且耗时。目的：以制造商文档为参考标准，评估联网大语言模型（large language model，LLM）聊天机器人检索器械特异性MRI安全条件的准确性。研究类型：在构建的设备配置队列中进行前瞻性比较评估，随后进行回顾性临床试点。人群：50个目的性选择的设备配置，以及转诊至MRI安全委员会的20例患者（10例心脏设备、10例非心脏设备）。场强：无场强或序列限制。评估：标准化单次提示向ChatGPT-5.0、Gemini 2.5 Pro和Claude Sonnet 4.5询问8个参数：MRI安全标签、场强、可扫描区域/中心定位、发射线圈限制、射频（radiofrequency，RF）暴露限值、最大空间梯度、最大梯度切换率和扫描持续时间。两名放射科医师（分别具有10年和25年经验）和一名MRI技术员（32年经验）使用5分制，对照制造商使用说明书（Instructions for Use，IFU）和技术手册，独立评分1200个参数级输出（5分，完全正确；1分，实质错误或捏造）；4–5分表示准确。在试点中，对表现最佳聊天机器人的更新版本ChatGPT-5.6的160个输出以相同方式评分。统计检验：组内相关系数（intraclass correlation coefficient，ICC）；Gwet一阶一致性系数（Gwet's first-order agreement coefficient，AC1）；Friedman检验；Wilcoxon符号秩检验；设备聚类bootstrap 95%置信区间（confidence intervals，CIs）；双侧显著性阈值p < 0.05。结果：平均序数评分分别为ChatGPT 4.76、Gemini 4.20和Claude 4.17；ChatGPT评分显著更高。相应的合并参数级准确率分别为0.94（95% CI，0.89–0.98）、0.79（0.71–0.86）和0.78（0.69–0.87）。ChatGPT-5.6的试点准确率为0.98（95% CI，0.94–1.00）。数据结论：联网LLM聊天机器人正确检索了构建队列中高达94%的MRI安全参数，并在临床试点中达到98%。即使表现最佳的聊天机器人也会发生错误，临床使用前需要直接核对当前制造商文档。证据等级：Stage 2。技术效能：Stage 2。通俗语言总结：植入式医疗器械患者在接受MRI扫描前通常需要仔细的安全检查。研究人员测试了具有互联网访问能力的人工智能（artificial intelligence，AI）聊天机器人能否为50种设备设置找到制造商的MRI安全说明。ChatGPT比Gemini和Claude更准确，但三者均发生错误。在针对20例患者的第二项测试中，更新版本的ChatGPT高度准确，且比经验丰富的医生更快，但仍发生错误。这些工具可能帮助MRI工作人员收集安全信息，但不能取代人工复核。MRI扫描前必须始终核对制造商当前说明。
研究背景：MRI是重要诊断工具，但对植入式医疗器械患者存在静态、梯度及射频（radiofrequency，RF）场相互作用的安全挑战，可导致发热、非预期刺激、设备故障或植入物移位；此类事件可通过严格筛查、方案标准化和遵守允许扫描条件预防。随着MRI应用扩大及植入器械数量和复杂度增加，检索器械特异性MRI安全条件日益复杂耗时，需要领域专家持续核对更新的制造商使用说明书（Instructions for Use，IFU）。联网大语言模型（large language model，LLM）聊天机器人可快速提供医学信息，但准确性不一致，既往研究多为指南多选题，缺乏针对器械型号、组件配置和制造商限定扫描条件精确匹配的MRI条件检索研究。因此，研究人员开展两阶段研究，以当前制造商文档为参考标准，评估聊天机器人检索植入式器械MRI安全条件的准确性；假设联网LLM聊天机器人准确性存在差异且部分回答含不准确信息。研究得出：构建队列中ChatGPT-5.0平均序数评分和准确率最高，但所有模型均有临床意义错误；临床试点中ChatGPT-5.6准确率高，探索性比较显示检索快于放射科医师；支持LLM作为辅助初步信息检索工具，而非自主决策系统。其意义在于为MRI安全这一高度专业场景提供两阶段证据，并提示制造商文档直接核对仍不可替代。
关键技术方法：研究分两阶段。第一阶段为构建设备配置队列的前瞻性比较评估：目的性选择50个植入式器械配置，以当前制造商IFU/技术手册为参考标准；向ChatGPT-5.0、Gemini 2.5 Pro、Claude Sonnet 4.5各查询8个MRI安全参数，共1200个参数级输出，由两名放射科医师（10年、25年经验）和一名MRI技术员（32年）以5分制独立评分，4–5分为准确。第二阶段为回顾性临床试点：纳入2025年6月转诊至医院机构MRI安全委员会的20例门诊患者（10例连续心脏设备、10例连续非心脏设备），用ChatGPT-5.6查询，160个输出同法评分。统计采用ICC、AC1、Friedman检验、Wilcoxon符号秩检验及设备聚类bootstrap 95% CI。
研究结果：3.1 数据集描述：构建队列50个设备配置产生1200个参数级输出和3600个评分；试点20例（平均66.4岁，中位73岁，范围20–90岁；男12例、女8例）产生160个输出和480个评分。3.2 观察者间一致性：构建队列初始独立评分总体ICC为0.858（95% CI 0.805–0.905），各参数中等至优秀；三读者完全相同评分占88.9%，二分类一致占93.1%。试点三读者相同评分占93.8%（150/160），评分高度集中于5分（94.4%），Gwet's AC1为0.95（95% CI 0.90–0.99）。3.3 聊天机器人性能：构建队列中ChatGPT平均参数级序数评分4.76，高于Gemini 4.20和Claude 4.17；设备水平均值差异显著，ChatGPT显著高于两者，Gemini与Claude无显著差异（p=1.000）。合并参数级准确率分别为0.94（95% CI 0.89–0.98）、0.79（0.71–0.86）、0.78（0.69–0.87）；严格标准仅5分为准确时分别为93.75%、78.50%、77.00%。不准确输出分别为25、84、89个。试点ChatGPT-5.6平均4.88，合并准确率0.98，严格标准94.38%。3.4 输入错误时的聊天机器人输出：70个设备条目中5个（7.1%）有输入错误，均在第一阶段；三种聊天机器均识别设备23和46的目标制造商及设备33型号名称不匹配，但均未明确提示设备13缺失导线信息和设备47多余“Precision”。排除这5个配置后准确率分别为93.06%、79.72%、77.50%，与全队列相差不足1个百分点，比较结论不变。3.5 来源溯源：制造商网站为总体最常引用来源，其次美国食品药品监督管理局（U.S. Food and Drug Administration，FDA）监管网站和MRIsafety.com；ChatGPT主要引用制造商网站和FDA网站，外国分销商网站相对多；Gemini以制造商网站为主且MRIsafety.com使用最多；Claude更多使用MRIquestions.com、学术出版物和非官方手册档案，Gemini和Claude更多使用内容分发网络（content delivery network，CDN）。识别到过时IFU时，平均文档滞后ChatGPT 10年、Gemini 11年、Claude 5年。3.6 失败分析：按聊天机器人-设备响应级别统计临床重要失败类别，ChatGPT最少（n=10），主要为过时数据（4）和提取错误（3），偶有未使用IFU（2），无幻觉、过度概括、过度不确定或过度简化；Gemini最多（n=35），以提取错误（13）和未使用IFU（8）为主，并有过度概括（4）、幻觉（3）、过度简化（2）；Claude为32次，以提取错误（14）为主，过时数据（5）和过度不确定（2）较多。总体上提取错误和不适当来源优先最常见。3.7 响应长度：ChatGPT-5.0平均819词（中位769，范围447–1485，标准差230），Claude Sonnet 4.5平均790词（中位776，399–1466，标准差201），Gemini 2.5 Pro最短且最稳定，平均450词（中位428，259–934，标准差116）。3.8 MRI安全信息检索时间：试点20例中，ChatGPT-5.6平均1:14±0:27 min（范围0:43–2:18），放射科医师平均4:51±3:21 min（1:44–12:10）；平均时间比为3.93（范围1.48–10.74倍更快），因单读者设计仅为有限探索性观察。3.9 临床结局：1年随访时20例中15例（75%）完成MRI（13例1.5 T、2例3.0 T）；完成检查中1例轻微伪影、1例明显伪影，均为1.5 T。5例（25%）未行MRI：2例电极为非MR条件、1例检查前死亡、1例CT和PET/CT已足够而取消、1例患者取消。两例非MR条件电极中，ChatGPT检索信息与委员会不建议MRI一致。
讨论部分总结：该研究将LLM评估扩展至植入式器械MRI安全这一高度专业领域，强调部分准确不足；输入错误显示LLM或可辅助核查设备标识；来源溯源显示制造商文档常经第三方网站/CDN获取，版本溯源困难。研究优势包括统一提示结构、广泛临床相关参数、预设框架独立评分且一致性良好、结构化失败分析区分来源级和内容级失败。局限包括构建队列目的性且富集困难配置，试点小、回顾、单中心；二分类将4分也判正确可能较宽松；每设备仅单次单提示，未评估重复性；试点仅一个模型版本，两阶段模型版本、环境和病例选择不同，不能作因果或推断性比较；检索时间仅一名放射科医师；仅评估8个参数，未覆盖完整MRI安全流程、导线长度、系统配置、扫描仪几何、植入位置和术后等待期等；LLM快速迭代，结果限于测试版本。研究结论翻译：联网LLM聊天机器人通常能检索正确的MRI安全条件，在测试的特定产品配置中ChatGPT准确率最高。然而错误仍会发生，最常见原因是提取错误、未使用制造商IFU以及依赖过时文档。这些工具或可高效支持初步信息检索，但在更大规模临床验证研究完成之前，明确的MRI安全决策必须依赖对当前制造商文档的直接核对。
