《Diagnostics》：Evaluation of ChatGPT-Generated Simplifications of Shoulder MRI Reports: Assessments by Orthopedic Surgeons and Non-Healthcare Volunteers
编辑推荐：
背景/目的： 本研究旨在从骨科医生和非医疗志愿者的视角，评估ChatGPT（GPT-5）生成的肩关节MRI报告简化版本的质量。方法： 在这项单中心回顾性研究中，研究人员于2026年2月使用标准化提示词对2024年6月至2025年6月间发布的100份去标识化肩关
背景/目的： 本研究旨在从骨科医生和非医疗志愿者的视角，评估ChatGPT（GPT-5）生成的肩关节MRI报告简化版本的质量。方法： 在这项单中心回顾性研究中，研究人员于2026年2月使用标准化提示词对2024年6月至2025年6月间发布的100份去标识化肩关节MRI报告进行了ChatGPT简化处理。2026年3月10日至4月10日期间，三名资深骨科医生分别将每份简化文本与原始报告进行对照，采用5点李克特量表（Likert scale，评分越高表示评价越好）对准确性（accuracy）、完整性（completeness）、可理解性（understandability）和误导潜力（misleading potential）四个维度进行独立评分。在另一组实验中，100名非医疗背景的成年志愿者每人阅读一份简化报告，并完成一份包含六个问题的问卷，评估其对报告的清晰度、可理解性、有用性和适当性的主观感受。结果： 专家评分在所有维度的中位数均为5.0，三位评分者在86%–98%的报告中对各维度给出≥4分的评分。Gwet's AC2系数范围为0.93至0.98，而Krippendorff's α系数范围为?0.02至0.05。在志愿者中，对报告术语的理解程度同意率为47%，而对文本适当性的同意率则达到80%。健康素养水平与大多数问卷条目呈正相关（r = 0.329–0.429，p ≤ 0.001），年龄与理解报告术语呈负相关（r = ?0.352，p < 0.001）。结论： 简化后的报告获得了骨科医生的好评，并被非医疗志愿者认为有用。然而，本研究受限于单中心设计、单一模型和提示词的使用、志愿者组未设置与原始报告的对比、以及依赖自我报告而非客观测试的理解程度；因此，本研究未能证明其能改善患者的实际理解能力或临床安全性。此类文本应作为原始报告和医生咨询的补充，而非替代品。
研究背景与问题
随着电子健康档案和患者门户网站的普及，患者越来越容易直接查看自己的影像学报告。然而，这些报告通常充斥着专业医学术语，普通患者难以理解。既往调查显示，美国72%的网络用户曾在过去一年内上网查询健康信息，其中35%的成年人专门为了解自身健康状况而上网。近年来，大型语言模型（large language model，LLM）在将医学文本改写为更通俗易懂的语言方面展现出巨大潜力。例如，Berzolla等人发现基于人工智能（artificial intelligence，AI）的MRI报告简化能显著提高患者理解力，Van Driel等人也证实GPT-4简化的放射报告能改善患者理解。然而，针对肩关节MRI这一常见且术语复杂的领域，同时从专家和普通公众两个角度进行评估的研究仍然有限。肩关节MRI报告中涉及的肩袖病变、盂唇损伤、肌腱变性等概念对患者而言极为陌生，因此，确保简化文本既准确安全又易于理解至关重要。为此，研究人员开展了此项研究，旨在评估ChatGPT生成的简化肩关节MRI报告在准确性、完整性、可理解性和误导潜力方面的表现，并调查非医疗志愿者对这些报告的主观感受。
研究方法概述
这是一项单中心回顾性观察研究。研究人员从一家三级大学医院的放射科存档中连续选取了2024年6月至2025年6月间的100份成人非增强肩关节MRI报告，所有报告均经过完全去标识化处理。研究人员使用统一的标准化提示词，通过ChatGPT（GPT-5）网络界面逐一生成简化报告。随后，由三名资深骨科医生独立对每份简化文本进行对照评估。同时，招募了100名无医疗背景的成年志愿者，每人随机阅读一份简化报告后完成一份六项问卷。统计分析包括描述性统计、使用Gwet's AC2和Krippendorff's α进行信度评估，以及使用Spearman相关和Mann-Whitney U检验探索志愿者特征与问卷评分的关系。
研究结果
3.1 专家评估
研究人员对100份肩关节MRI报告进行了评估。结果显示，在所有四个评估维度上，每位评分者给出的中位数分数均为5.0。平均分范围：准确性为4.6–5.0，完整性为4.5–4.9，可理解性为4.9–5.0，误导潜力为4.6–5.0。评分≥4的比例：准确性为92%–100%，完整性为90%–99%，可理解性为98%–100%，误导潜力为88%–99%。三位评分者一致给予≥4分的高一致性比例：准确性为91%，完整性为86%，可理解性为98%，误导潜力为86%。信度分析显示，Gwet's AC2系数介于0.931至0.982之间，表明一致性极高；而Krippendorff's α系数却接近零（?0.015至0.047），这是由于评分高度集中在高分区域导致的统计悖论。进一步分析发现，低分（≤3）非常罕见且分散，主要由同一位评分者（Rater 3）给出，偏差主要表现为对原始发现的弱化呈现，如遗漏部分发现或低估其严重程度。
3.2 志愿者评估
100名非医疗志愿者参与了评估，平均年龄34.8岁，52%为女性，63%为大学毕业生。问卷内部一致性良好（Cronbach's α = 0.801）。各条目的积极评价（评分≥4）比例为：理解报告术语47%，识别重要发现58%，感觉被医生告知情况72%，理解自身肩部状况56%，理解后续步骤75%，认为文本适合患者使用80%。相关性分析表明，自我报告的健康素养水平与除“感觉被医生告知情况”外的其余五个条目得分均呈显著正相关（r = 0.329–0.429）。年龄与“理解报告术语”（r = ?0.352）和“理解自身状况”（r = ?0.306）呈显著负相关。大学毕业生在多个条目上的得分显著高于高中毕业生。
讨论与结论
本研究发现，ChatGPT生成的简化肩关节MRI报告在专家和志愿者两个层面均获得了积极评价。专家认为这些报告准确、完整、易于理解且误导风险低；志愿者普遍认为它们有用、适合患者并能指导下一步行动。这些结果与现有文献一致，表明LLM有潜力作为患者沟通的辅助工具。然而，研究也揭示了几个关键问题：首先，由于评分高度集中，导致Krippendorff's α极低，这提示评分量表未能有效区分不同质量的简化文本，但高Gwet's AC2值仍支持整体评价的有利性。其次，志愿者对医学术语和病理概念的理解评分相对较低，表明简化文本可能改善了阅读体验，但未必确保了深层理解。此外，健康素养和年龄等个体因素会影响感知效果，提示需要针对不同人群进行优化。研究还指出，提示词中要求的治疗建议超出了简化范畴，且未经单独的安全性评估，因此不能替代医生面诊。
研究结论翻译：
ChatGPT生成的肩关节MRI报告简化版本在准确性、完整性、可理解性和误导潜力方面获得了资深骨科医生的好评。非医疗志愿者同样认为简化报告有用、适合患者且有助于理解后续步骤，尽管他们对医学术语和潜在肩部病理的自我报告理解程度不如其他条目理想。然而，这些发现仅反映了专家评级和感知可接受性，并不能证明其改善了患者理解或临床安全性。由于模型无法获取患者的病史、症状或体检结果，LLM生成的解释无法提供个性化的风险评估或管理建议。因此，LLM生成的简化文本不适合独立使用或作为临床决策的主要信息来源，最多只能作为以患者为中心的放射科沟通中的辅助工具。此类输出应被视为支持性而非决定性的，临床监督对于确保患者安全准确地使用至关重要。
