《Diagnostics》：Calibration-Aware Heterogeneous Multimodal Ensemble for Multi-Class Skin Lesion Diagnosis
编辑推荐：
背景/目的：从骨科外科医生与非医疗志愿者的角度，评估ChatGPT（GPT-5）生成的肩部MRI报告简化文本。方法：本单中心回顾性研究采用标准化提示词，于2026年2月使用ChatGPT对2024年6月至2025年6月期间出具的100份去标识化肩部MRI报告进
背景/目的：从骨科外科医生与非医疗志愿者的角度，评估ChatGPT（GPT-5）生成的肩部MRI报告简化文本。方法：本单中心回顾性研究采用标准化提示词，于2026年2月使用ChatGPT对2024年6月至2025年6月期间出具的100份去标识化肩部MRI报告进行简化。2026年3月10日至4月10日期间，三名骨科外科医生独立对每份简化文本相对于原始报告在准确性、完整性、可理解性和误导可能性四个方面进行5点Likert量表评分（评分越高表示评价越好）。在第二组中，100名成年非医疗志愿者每人审阅一份简化报告，并完成一份关于感知清晰度、可理解性、有用性和适宜性的六项问卷。结果：专家各领域评分中位数均为5.0，三名评分者在86%–98%的报告中所给评分≥4。Gwet's AC2为0.93至0.98，而Krippendorff's α为?0.02至0.05。志愿者中，各条目一致率从理解报告术语的47%到文本适宜性的80%不等。健康素养与多数条目呈正相关（r = 0.329–0.429，p ≤ 0.001），年龄与理解报告术语呈负相关（r = ?0.352，p < 0.001）。结论：简化报告获得骨科外科医生的正面评价，并被非医疗志愿者认为有用。然而，本研究受限于单中心设计、单一模型与单一提示词的使用、志愿者组缺乏与原始报告的对照，以及依赖自我报告而非客观测试的理解度评估；因此，本研究并不能证明患者理解度或临床安全性得到改善。此类文本应作为原始报告和医师咨询的补充，而非替代。
随着电子健康记录与患者门户可及性的提升，患者直接查看影像报告更为便利，但这并不意味着此类报告在患者层面具备可理解性。放射学报告可理解性差可能导致困惑、焦虑增加以及医患沟通中额外解释需求的上升。互联网已成为公众获取健康信息的主要来源之一：一项具有全国代表性的美国调查显示，72%的互联网使用者在过去一年内曾在线查找健康信息，35%的成年人曾专门上网试图弄清某种医学状况。在COVID-19疫情期间，当诊断与治疗方案尚不确定时，许多医疗专业人员与公众转向互联网、尤其是YouTube获取健康相关信息。近期，17%的美国成年人报告每月至少使用一次AI聊天机器人查找健康信息与建议，但仅约三分之一对其准确性有信心。由于在线与AI生成的健康信息质量影响个体对自身状况的认知及健康相关决策，不准确或误导性内容可能导致难以逆转的后果。近年来，大语言模型（LLMs）与生成式人工智能系统在将医学文本改写为更简单、更可读、更患者友好语言方面显示出可观潜力。Berzolla等报告，基于AI的MRI报告简化显著改善了患者理解度，且此类简化报告因清晰度而更受偏好，但与常规报告相比感知信任度较低。超出肌骨影像的更广泛放射学文献亦呈现类似趋势。Van Driel等表明，使用GPT-4简化的放射学报告可改善患者理解度，并在患者适宜性方面具有可行性。Sunshine等发现，ChatGPT生成的放射学报告摘要在线性准确性、患者满意度与可读性方面具有前景；然而部分摘要存在语义漂移、过度简化或缺乏语境细微差别的风险。在另一项肿瘤患者研究中，简化放射学报告改善了患者对自身疾病的理解及对报告本身的信心。尽管文献日益增多，同时从专家与外行视角专门评估肩部MRI报告简化的研究仍然有限。肩部MRI报告包含大量患者不熟悉的复杂术语，包括肩袖病变、盂唇损伤、肌腱变性、部分或全层撕裂、滑囊炎及退行性改变；因此，将这些报告安全准确地转化为患者友好语言尤为重要。此外，仅改善可读性并不充分：简化输出还须评估其准确性、完整性、可理解性与潜在误导性。因此，AI生成的简化MRI报告应从专家与最终使用者两个视角进行评估，以确定其临床适用性。由于肩痛等肌骨主诉在普通人群中常见，此类疾病的数字健康信息应可为年龄、教育背景与健康素养水平各异的读者所获取。本研究选择ChatGPT，因其为最广为人知且使用最广泛的公开可用LLM聊天机器人之一；在2025年一项全国代表性调查中，34%的美国成年人报告曾使用ChatGPT，约为2023年的两倍。它也是既往放射学报告简化研究中评估最频繁的模型，便于与现有文献比较。其他广泛使用的平台如Gemini、Microsoft Copilot、Perplexity与Grok可能表现不同；模型间比较超出本研究范围。本研究主要目的是评估ChatGPT生成的肩部MRI报告简化文本在准确性、完整性、可理解性与误导可能性方面（由骨科专家评定），并评估非医疗志愿者对这些简化报告的感知可理解性与有用性。研究人员假设ChatGPT能够生成在临床上为专家所接受、同时对普通读者保持有用与适宜的简化肩部MRI报告，从而填补肌骨放射学中以患者为中心沟通的特定文献空白。
材料与方法方面，本研究为单中心回顾性观察研究，评估LLM将肩部磁共振成像（MRI）报告简化为患者友好语言的表现。研究方案获Akdeniz大学医学院机构审查委员会批准（批准编号TBAEK-37，批准日期2026年1月29日）。由于回顾性设计及使用完全去标识化的放射学报告，伦理委员会豁免了报告所属患者的知情同意要求。所有志愿者参与前均获得书面知情同意。简化报告于2026年2月15日至28日生成，专家与志愿者评估于2026年3月10日至4月10日进行。研究遵循《赫尔辛基宣言》原则。肩部MRI报告选自2024年6月至2025年6月机构放射学档案，连续检索纳入接受非增强肩部MRI的成年患者（≥18岁）；排除术后报告、儿科报告及记录不完整报告。筛查的132份连续报告中排除32份，最终纳入100份。原始报告为三级大学医院常规临床诊疗中生成，由放射科医师准备并经资深学术放射科医师审核批准；这些既有临床报告未为研究目的重新报告。所有检查均使用1.5-T MRI扫描仪（MAGNETOM Avanto，Siemens Healthcare，Erlangen，Germany）完成。报告所属患者年龄18–92岁，54%为女性、46%为男性。报告涵盖常规肩部MRI实践中常见发现，包括肩袖撕裂、肌腱变性与盂唇损伤；但未系统提取各发现的频率。纳入研究前，所有报告均通过去除姓名、识别号、日期及任何可能揭示患者身份的信息而完全去标识化。原始放射科医师撰写的报告文本被保留并作为所有后续评估的参考标准。由于研究目的是评估简化文本对其来源的保真度而非诊断准确性，原始报告作为内容参考标准；未重新解读MRI图像，原始报告亦未对照图像独立核实。简化报告生成方面，每份原始肩部MRI报告单独输入ChatGPT（GPT-5；OpenAI，San Francisco，CA，USA），于2026年2月15日至28日通过网页界面使用默认模型设置访问（该界面中温度等生成参数不可由用户调整）。为防止潜在上下文延续，每份报告均在新的独立对话会话中处理。所有报告使用研究团队预先确定的标准化提示词："呈现一份肩痛患者的肩部MR报告。请以高中教育水平者可理解的方式总结该报告。如可能，请在以下标题下组织解释：（1）该MR结果大致显示什么？（2）报告中呈现的正常与异常发现是什么？（3）所有异常发现是否都需要治疗？（4）一般推荐什么治疗？（5）在此过程中患者应做什么、应避免什么？"该提示词旨在将原始放射学报告的技术内容转化为可及的患者友好语言，同时保留其核心临床含义。偏好结构化且相对详细的提示词，以确保模型输出的标准化、减少报告间变异性，并支持面向患者解释的充分全面性与安全性。然而，提示词第3–5项要求关于治疗及患者应做或避免事项的一般信息；这些内容超出语言简化范畴，因为此类指导通常不包含在放射学报告本身中。因此该内容被纳入专家评估，评分者将每份输出作为整体（包括任何治疗相关陈述）对照原始报告进行判断。纳入这些标题是有意为之，因为是否需要治疗及下一步该做什么是患者阅读影像报告后最常提出的问题之一，且很可能向AI聊天机器人提出；因此研究旨在描述模型如何回应此类问题。由于个体化治疗建议的适宜性无法在没有症状、体格检查发现与功能需求等临床信息（模型与评分者均无法获得）的情况下判断，该内容未对照单独的临床参考标准评估。每份报告的AI生成简化文本逐字记录用于分析，未经任何人工编辑。专家评估组由三名在临床日常实践中具有解读肩部MRI发现经验的资深骨科外科医生组成。选择骨科外科医生是因为其常规解读肩部MRI报告并与患者讨论其含义；肌骨放射科医师未纳入专家组。每名评分者独立将每份AI生成简化报告与相应原始放射学报告比较进行评估。报告以随机顺序呈现给每名评分者，评分者彼此设盲。评估涵盖四个预定义领域：准确性（简化文本正确反映原始MRI报告发现的程度）、完整性（原始报告重要发现在简化文本中被保留的程度）、可理解性（简化文本清晰书写且可为无医疗背景个体理解的程度）、误导可能性（文本可能误导患者、造成不必要焦虑或导致临床不恰当解读的可能性，反映其潜在危害）。在操作上，评分者考虑可能导致对发现错误理解的内容，包括严重程度的高估或低估、虚假安慰、无端警报或原始报告不支持的治疗相关陈述；该领域采用反向计分。所有四个领域均使用5点Likert量表评估。准确性、完整性与可理解性评分从1（极差）到5（优秀），评分越高表示表现越好。误导可能性评分从1（风险极高）到5（风险极低），评分越低表示误导患者的可能性越大；因此所有四个领域中评分越高表示评价越有利。就可解释性而言，各领域评分≥4被认为提示临床可接受表现。志愿者评估组由100名无医疗专业背景的成年志愿者组成。他们并非评估自身MRI报告的患者；因此该组反映外行对简化文本的感知而非患者体验。每名志愿者被呈现一份随机分配的AI简化肩部MRI报告，随后完成结构化评估表。限制每名参与者仅评估一份报告旨在尽量减少应答疲劳并降低潜在学习效应。该评估聚焦关键领域，包括清晰度、可理解性、感知有用性及文本对患者使用的适宜性。研究人员开发了一份简短的、研究专用的六项问卷以评估志愿者上述领域。条目基于研究目标与患者理解医学信息的相关文献生成，涵盖对报告术语的理解、重要发现的识别、对自身临床状况的理解、感知信息量、下一步指导及对患者的总体适宜性。条目内容经研究团队审核以确保清晰性与表面效度。应答采用5点Likert量表，从1（非常不同意）到5（非常同意）。描述性分析中，4与5的应答被认为提示正面评价。问卷内部一致性使用Cronbach's α评估。各条目单独分析，未计算总分或复合评分。由于所有六个条目均涉及志愿者对同一简化文本的总体感知，Cronbach's α作为这些相关条目应答一致性的补充描述计算，而非效度或单维性的证据；鉴于条目异质性，仅作描述性解释。除该审核外，未进行正式心理测量学验证。该表评估感知理解与可接受性而非客观理解。此外，收集所有参与者基本人口学数据，包括年龄、性别、教育状况、既往肩部MRI或肩部手术史、自报理解放射学报告的困难程度及自报健康素养（感知理解健康相关信息的容易程度，从"非常困难"到"非常容易"评分）。记录这些变量以描述研究人群特征并探索个体特征对感知可理解性的可能影响。结局指标方面，主要结局为专家评定的AI生成简化报告质量，涵盖准确性、完整性、可理解性与误导可能性四个领域。次要结局为志愿者报告的（感知）清晰度、可理解性、感知有用性及简化报告对患者使用的适宜性，以及志愿者特征（年龄、教育、健康素养）与问卷应答之间的关联。统计分析使用IBM SPSS Statistics for Windows 23.0版（IBM Corp.，Armonk，NY，USA）进行。连续变量根据分布特征以均值±标准差或中位数（最小值–最大值）表示，分类变量以数量与百分比表示。Likert量表数据按序数处理：以中位数（最小值–最大值）与频率汇总，并使用非参数方法分析；均值±标准差另作描述性呈现。比例报告95%置信区间（CIs），使用Wilson评分法计算。连续变量分布通过视觉（直方图与概率图）及Kolmogorov–Smirnov与Shapiro–Wilk检验评估。由于问卷与专家评分为序数，所有推断分析均使用非参数检验。专家间评分者一致性使用精确成对一致率、高分一致率指标及两个序数数据的偶然校正信度系数评估：Krippendorff's α（序数距离）与Gwet's AC2（二次加权）。纳入Gwet's AC2是因为当评分集中于一个或两个类别时，尽管观察一致率高，kappa类系数（包括Krippendorff's α）可能出现悖论性低值。两个系数的95% CIs通过非参数自助法（5000次报告重抽样）估计，两个系数均在Python（3.13版）中使用krippendorff（0.9.0版）与irrCAC（0.4.4版）包计算（指定所有五个可能评分类别1–5），自助重抽样在NumPy（2.5.3版）中进行。作为敏感性分析，另以名义与区间距离度量计算Krippendorff's α，以无加权（AC1）与线性加权计算Gwet系数，并计算Fleiss' κ；所有系数均报告自助法95% CIs。高分一致率定义为三名评分者独立给出≥4分的情况。该方法因Likert量表的序数性质及观察到评分集中于较高类别而优先采用。问卷条目评分与年龄及自报健康素养的关联使用Spearman相关评估；条目评分按教育组及既往肩部MRI或手术使用Mann–Whitney U检验比较，按自报理解放射学报告困难程度使用卡方检验评估差异。这些志愿者亚组分析为探索性；为校正多重检验，p值在给定参与者特征的每组六个条目比较内使用Holm法调整。p值<0.05被认为具有统计学意义。热图在Python中使用Matplotlib（3.10.8版）生成。保留所有Likert类别（1–5），包括零频单元格。仅精确一致单元格（对角线元素）按一致百分比着色，非一致单元格以统一背景显示。鉴于Likert量表的序数性质及预期评分集中于较高类别，仅依赖精确一致率可能导致对真实评分者间一致性的低估。因此，另计算高分一致率指标（定义为三名评分者独立给出4分或以上（≥4）的情况）作为联合可接受性的描述性指标（即被所有三名评分者评为可接受的报告比例）；它不是信度系数。该方法允许相邻类别间的微小差异，同时保持可解释性，并已用于在高质量评分间区分临床意义较小的情境中更好地捕捉一致性。为在报告层面汇总专家评分，计算每个领域三次评分的中位数并作为共识评分。偏好中位数是因为数据基于序数Likert量表，相邻评分间的小差异（如4与5）不被认为具有临床意义。为表征错误，识别在任何领域至少一名评分者给出≤3分的所有报告，并对照原始报告重新审查，表征偏差类型（如发现遗漏、事实失真、不确定性丧失、严重程度失真或不恰当建议）。低评分报告连同相应领域、评分与评分者列于表S2。
结果方面，专家评估共由三名骨科外科医生评估100份肩部MRI报告。所有四个领域中，每名评分者的中位评分均为5.0。均值评分范围为准确性4.6至5.0、完整性4.5至4.9、可理解性4.9至5.0、误导可能性4.6至5.0。评分≥4的比例范围为准确性92%–100%、完整性90%–99%、可理解性98%–100%、误导可能性88%–99%（表1）。高分一致率（定义为三名评分者独立给出≥4分）的报告比例分别为准确性91%（95% CI 83.8–95.2）、完整性86%（77.9–91.5）、可理解性98%（93.0–99.4）、误导可能性86%（77.9–91.5）（表2）。评分者间精确成对一致几乎仅见于4与5分，较低评分水平无有意义一致。准确性方面，评分者对间成对一致率为68%–82%。完整性一致率较低，为54%–65%。相比之下，可理解性一致率最高（80%–86%），误导可能性成对一致率为62%–74%（图1）。偶然校正信度系数见表2。Gwet's AC2各领域为0.931至0.982，而Krippendorff's α为?0.015至0.047。任何领域中无报告被超过一名评分者给出≤3分，所有2分评分均由同一评分者（评分者3）给出。敏感性分析中，Krippendorff's α在名义、序数与区间距离度量下为?0.042至0.047，而Gwet系数无加权（AC1）为0.529至0.826、线性加权为0.815至0.947、二次加权为0.931至0.982（表S1）。当使用三名评分者中位数在报告层面汇总专家评分时，多数报告在所有领域获得最高可能共识评分（5），尤以准确性（93%）与可理解性（98%）为著。无报告在任何领域获得低于4的中位共识评分；所有共识评分均为4或5（图2）。准确性方面9份报告、完整性14份、可理解性2份、误导可能性14份被至少一名评分者给出≤3分，每种情况均由单一评分者给出。准确性2份报告、可理解性1份、误导可能性4份被给出2分。对照原始报告重新审查时，这些输出中识别的偏差表现为原始发现的弱化呈现，或通过遗漏部分发现或通过低估其范围或严重程度。39个≤3分评分中，32个由评分者3给出，20份受影响报告中14份仅被评分者3给予低评分（表S2）。志愿者评估方面，研究第二阶段共纳入100名非医疗志愿者。平均年龄34.8 ± 11.9岁（中位数30.0；范围19–70）。参与者中52%为女性、48%为男性。教育状况方面，63%为大学毕业生、37%为高中毕业生。20%的参与者报告既往肩部MRI或肩部手术史，80%报告无此类病史。当被问及是否难以理解放射学报告时，37%回答"是"、17%回答"否"、46%报告从未尝试阅读此类报告。自报健康素养分为三类：低、中、高。低素养（合并"非常困难"与"困难"）报告率为26%，中等素养59%，高素养（合并"容易"与"非常容易"）15%。六个问卷条目的Cronbach's α为0.801。志愿者问卷条目应答见表3。理解报告术语方面，47%的参与者选择"同意"或"非常同意"（Likert ≥ 4），包括38%与9%。识别重要发现方面，58%的参与者选择"同意"或"非常同意"（Likert ≥ 4），包括38%与20%。共有72%的参与者对感到被医生告知选择"同意"或"非常同意"（分别为43%与29%）。理解自身肩部状况方面，56%选择"同意"或"非常同意"（分别为41%与15%）。理解下一步方面，75%的参与者选择"同意"或"非常同意"（分别为42%与33%）。最高比例见于简化文本对患者的适宜性，80%选择"同意"或"非常同意"（分别为45%与35%）（表3）。Spearman相关分析显示自报健康素养水平与问卷条目评分之间存在统计学显著关联。健康素养与理解报告术语（r = 0.329，p = 0.001）、识别重要发现（r = 0.338，p = 0.001）、理解自身状况（r = 0.429，p < 0.001）、理解下一步（r = 0.385，p < 0.001）及简化文本适宜性（r = 0.374，p < 0.001）评分呈正相关。健康素养与感到被医生告知评分之间未观察到显著相关（r = 0.074，p = 0.462）。年龄与理解报告术语（r = ?0.352，p < 0.001）及理解自身状况（r = ?0.306，p = 0.002）评分呈负相关。年龄与其他问卷条目评分之间未发现显著相关（p > 0.05）。Holm调整后，所有与健康素养（调整p ≤ 0.006）及年龄（调整p ≤ 0.010）的显著相关仍然显著。使用Mann–Whitney U检验按教育状况比较评分时，大学毕业生中位评分高于高中毕业生。条目1（p = 0.005）、条目2（p < 0.001）、条目4（p = 0.001）与条目6（p = 0.026）观察到统计学显著差异。条目3（p = 0.369）与条目5（p = 0.085）未发现显著差异。Holm调整后，条目1、2与4的差异仍然显著（调整p分别为0.020、< 0.006与0.005），而条目6的差异不再显著（调整p = 0.078）。使用Mann–Whitney U检验按既往肩部MRI或手术史比较评分时，任何问卷条目均未观察到统计学显著差异（条目1：p = 0.252，条目2：p = 0.312，条目3：p = 0.945，条目4：p = 0.670，条目5：p = 0.398，条目6：p = 0.546）。按自报理解放射学报告困难程度检查问卷条目评分差异使用卡方检验。条目1（p = 0.899）、条目2（p = 0.741）、条目3（p = 0.603）、条目4（p = 0.418）、条目5（p = 0.195）与条目6（p = 0.093）均未发现统计学显著差异。
讨论部分，本研究主要发现是ChatGPT生成的肩部MRI报告简化文本从专家与志愿者两个视角均获正面评价。专家组中，简化报告被评为准确、完整、可理解，误导可能性低。志愿者组中，报告总体被认为有用、对患者适宜且有助指导后续步骤。综合而言，这些发现提示ChatGPT可作为肩部MRI报告患者沟通的辅助工具，尽管本研究设计评估的是专家评分与感知可接受性而非实际患者理解或临床结局。从专家视角看，这些发现具有相关性，因为以患者为导向的简化只有在保留原始放射学报告诊断含义时才具临床可接受性。本研究中，准确性与完整性的专家平均评分较高，多数报告的共识中位评分为5。这提示模型总体上成功保留了临床相关信息，同时以更简单语言改写报告。可理解性获得最高专家评分，表明输出不仅准确而且语言可及。同时，误导可能性被评为低；然而该评分适用于每份输出整体，并不能确立单个陈述（尤其治疗相关内容）的临床安全性。这些发现与新兴放射学文献一致，提示LLMs可改善可读性与以患者为中心的可及性，同时保留大部分来源内容。Jeblick等报告，放射科医师普遍认为ChatGPT简化的放射学报告事实正确、大体完整且很少有害，同时指出可能存在遗漏与重点错置。近期，Prucker等在一项前瞻性对照试验中证明，基于LLM的肿瘤CT报告简化改善了患者理解并减少了阅读负担，尽管临床相关错误仍会发生。在肌骨领域，Berzolla等报告AI简化的MRI报告改善了患者理解且因清晰度更受偏好，但与常规报告相比感知信任度较低。本研究通过专门聚焦肩部MRI报告并在单一研究中结合结构化专家审查与志愿者评估，扩展了该文献。然而，这些正面评分应结合天花板效应与信度分析解读。评分集中于最高类别，尽管观察一致率可观，仍可产生低Krippendorff's α：当几乎所有评分均为4或5时，偶然期望一致本身很高，少数分歧主导kappa类系数。Gwet's AC2对类别不平衡较不敏感。这些对集中评分分布的不同反应可能解释两个系数之间的显著差异。因此，接近零的α不应被解释为完全缺乏一致性。敏感性分析中，Krippendorff's α在名义、序数与区间度量下均接近零，而加权方案显著影响Gwet系数的幅度（表S1）；因此，偶然一致模型与加权方案均促成系数间差异，但无距离度量使α接近Gwet系数的值。尽管如此，接近零的α表明评分者未就哪些报告应得较低评分达成一致；低评分稀疏且孤立，每项均由单一评分者给出。此外，评估领域涉及临床判断，尤其可理解性与误导可能性；评分因此可能既反映生成文本特征，也反映评分者期望与解释阈值的差异。纳入三名独立专家使研究人员能够捕捉多种临床视角，但未能消除评分者相关变异性。因此，高分反映对输出的持续正面总体判断，而非评级量表可靠区分较好与较差简化的证据。低评分输出中识别的偏差表现为原始发现的弱化呈现，或通过遗漏部分发现或通过低估其范围或严重程度，这与既往放射学LLM研究中描述的遗漏与重点错置一致。此类弱化可能具有临床相关性，因为即使其余文本准确，也可能提供虚假安慰。低评分集中于单一评分者进一步提示评分者对此类偏差的惩罚阈值存在差异。进一步考虑是，本研究使用的提示词不仅要求解释发现，还要求关于治疗及患者应做或避免事项的一般信息。该内容超出语言简化范畴，因为管理建议通常不包含在放射学报告中，且取决于临床症状、检查发现、年龄与活动水平等模型无法获得的临床信息。尽管该内容被纳入总体专家评估，但治疗相关陈述未单独评估其事实支持与临床安全性。基于AI的聊天机器人可为各种慢性病患者提供一般信息与运动建议；然而此类建议在全面性、准确性与可读性方面存在差距。因此，LLMs生成的治疗相关内容应仅视为一般信息，不应在没有医师评估的情况下指导个体治疗决策。尽管如此，这些问题反映了公众阅读影像报告后想了解的内容，描述LLM如何回答这些问题具有相关性，因为无论在没有检查的情况下能否给出临床适当答案，患者都可能提出此类问题。然而，志愿者感知并非所有方面都同样强。与患者适宜性和下一步指导相比，对医学术语理解及对潜在肩部状况完全理解的评分较低。这提示简化放射学报告可能改善感知阅读体验，但不一定确保对病理特定概念的完全理解；此外，由于问卷测量自报理解，这些发现反映感知而非客观理解。肩部MRI报告常涉及肌腱病、部分撕裂、盂唇异常、滑囊炎、撞击相关发现与退行性改变之间的细微区分。即使以简化语言改写，某种程度的概念复杂性仍可能存在。因此，LLM生成的简化应被视为支持性沟通层而非医师解释的替代。应强调AI生成文本不能替代面对面咨询，在后者中医师将影像发现与患者病史、症状与体格检查相结合。亚组分析亦值得关注。报告更好理解健康相关信息能力的参与者多数问卷条目评分较高，这与健康素养与医学沟通的更广泛文献一致。相反，年龄较大与理解报告术语及自身状况评分略低相关。尽管这些效应较小，但提示年龄与基线健康素养等个体因素可能影响简化AI生成报告的解释方式，且此类输出可能并非在所有用户群体中均被统一理解。这强调数字健康信息（包括AI生成解释）需要适应不同年龄、教育背景与健康素养水平的读者。值得注意的是，按自报理解放射学报告困难程度未观察到问卷评分的统计学显著差异，提示简化内容可能在不同基线理解水平的个体中被类似感知。这提出AI辅助文本简化可能在广泛外行受众中产生相对同质阅读体验的可能性。然而，这些亚组分析为探索性，条目6按教育的差异在多重检验校正后不再显著。尽管AI工具日益使用，YouTube与健康相关网站等常规在线来源仍是最受欢迎的健康信息来源之一，其内容质量与可靠性常参差不齐。基于LLM的聊天机器人增加进一步风险：它们可生成流畅自信但不准确的陈述，即所谓幻觉，外行读者可能难以识别。当此类输出涉及医学发现或治疗时，可能导致延误就医、不恰当自我管理或不必要焦虑，对个体与公共健康造成潜在不可逆后果。此外，与一般视频或网站不同，LLM生成的对患者自身报告的解释显得个性化，可能进一步增加对其的信任。这些风险强化了在向患者提供LLM生成简化文本时临床监督与明确披露的必要性。本研究有几项优势。第一，专门聚焦肩部MRI这一骨科实践中常见且临床相关的影像模式。第二，使用100份来自常规临床实践的真实报告而非小型便利样本。第三，纳入两个互补视角：结构化专家审查与基于志愿者的外行评估。这种双重方法使研究人员不仅能够检查报告是否被外行读者感知为可理解，还能检查其是否保持临床可接受性与潜在有用性。局限性方面，第一，本研究为单中心回顾性文本评估研究，100份报告来自单一1.5-T扫描仪，可能限制向其他机构、扫描仪、报告风格、亚专科或语言的可推广性；此外，未系统提取各MRI发现的分布。第二，简化输出使用单一模型配置与单一标准化提示词生成；其他模型或提示策略可能产生不同结果。此外，每份报告使用网页版模型默认设置处理一次，设置可能随时间更新；因此未评估重复输出可重现性，结果可能无法在后续模型版本中完全重现。第三，志愿者仅评估简化报告，未直接与原始放射学报告比较；因此本研究针对感知效用而非相对标准报告的优越性。此外，志愿者并非评估自身报告的患者，问卷为研究专用且未正式验证，测量自报而非客观理解；因此研究无法证明ChatGPT改善患者理解。另外，由于每名志愿者评估不同报告，志愿者评分可能部分反映各报告复杂性与内容差异（如发现数量与严重程度），而非仅志愿者特征；报告复杂性未量化，设计无法将报告间变异与志愿者间变异分离。第四，尽管专家评定的误导可能性低，研究未评估真实临床环境中的下游行为或情绪后果。提示词还要求一般治疗相关指导，未单独评估其事实支持与临床安全性，因为此类建议的适宜性无法在没有本文本设计所缺临床信息的情况下判定。第五，尽管专家评估正面，简化错误仍可能存在，如既往放射学LLM研究所示。第六，专家组由骨科外科医生组成，未纳入肌骨放射科医师，后者可能对放射学含义保留的判断不同。第七，原始放射学报告作为参考标准未经MRI图像独立复审；因此研究评估对来源报告的保真度而非诊断准确性，原始报告中的任何错误均不会被发现。最后，显著天花板效应限制评级量表区分输出的能力，表现为尽管观察一致率高但Krippendorff's α接近零；因此专家评分应被解释为持续正面总体判断而非输出间可靠区分的证据。临床意义与未来方向方面，尽管有这些局限性，本研究发现具有实践意义。随着患者通过数字系统与患者门户获取放射学报告的机会持续扩大，对弥合专业语言与患者理解之间差距的沟通工具需求日益增加。本研究结果提示基于ChatGPT的简化可能有助于满足该需求，尤其作为正式放射学报告的补充解释工具。一种可能的未来工作流程是将AI生成的患者友好解释与原始报告并列呈现，最好有临床监督并明确披露简化文本为支持性而非确定性。此类方法可能改善患者参与、减少困惑并促进更结构化的临床对话。未来研究应在多个方向基于这些发现展开。前瞻性比较研究应评估与仅标准报告相比，LLM生成简化是否改善实际患者理解、回忆、满意度、焦虑或决策信心。多中心研究将阐明跨机构与报告文化的可推广性。还需额外工作确定如何最佳优化提示策略、如何处理不确定性与偶然发现，以及病理特定简化方法是否可进一步改善理解。涉及有症状肩部患者的研究也将提供更临床相关的真实世界表现图景。未来研究还应在专家组中纳入肌骨放射科医师、使用验证过的或基于知识的理解测量、评估重复运行与模型版本间输出的可重现性，并单独评估治疗相关内容的事实支持与临床安全性。将每份报告分配给多名志愿者并量化报告复杂性也将允许区分报告层面与读者层面效应。结论部分，ChatGPT生成的肩部MRI报告简化文本在准确性、完整性、可理解性与误导可能性方面获得资深骨科外科医生的正面评价。非医疗志愿者同样认为简化报告有用、对患者适宜且有助理解下一步，尽管对医学术语及潜在肩部病理的自报理解不如其他条目有利。然而，这些发现反映专家评分与感知可接受性；它们不能证明患者理解或临床安全性得到改善。由于模型无法获取患者病史、症状或检查发现，LLM生成解释不能提供个体化风险–获益评估或管理建议。因此LLM生成的简化不适合独立使用或作为临床决策的主要信息来源，至多可作为以患者为中心放射学沟通的补充工具。此类输出仍应被视为支持性而非确定性，临床监督对于确保安全准确地面向患者使用仍至关重要。补充材料包括图S1报告选择与评估流程图、表S1使用替代距离度量与加权方案计算的评分者间信度系数、表S2至少获得一个≤3分评分的报告及相应领域、评分与评分者、数据S1匿名化个体专家评分。
