《Frontiers in Musculoskeletal Disorders》:Performance of four large language model chatbots in responding to patient-facing questions about osteoporotic vertebral compression fractures: a cross-sectional paired evaluation
编辑推荐:
背景:大型语言模型(large language model, LLM)聊天机器人日益被公众用于获取健康信息,但其对骨质疏松性椎体压缩骨折(osteoporotic vertebral compression fractures, OVCFs)相关问题的回答的
背景:大型语言模型(large language model, LLM)聊天机器人日益被公众用于获取健康信息,但其对骨质疏松性椎体压缩骨折(osteoporotic vertebral compression fractures, OVCFs)相关问题的回答的安全性和质量仍不明确。目的:比较四种公开可及LLM聊天机器人在回答标准化OVCF相关问题时的安全性和面向患者的应答质量。方法:在这项横断面配对评估(cross-sectional paired evaluation)中,36个标准化OVCF相关面向患者问题于2026年6月20日在中国江苏被提交至四种公开可及LLM聊天机器人界面——ChatGPT、Gemini、DeepSeek和Doubao——进行初始应答生成轮次。查询以英语在独立单轮会话中于匹配条件下进行,产生144个回答用于主要聊天机器人间分析。7天后(2026年6月27日)使用相同36个问题和匹配查询程序进行第二个独立生成轮次,产生额外144个回答用于模型内稳定性分析。问题涵盖症状和警示征象、诊断和影像学、保守管理、药物安全、康复、椎体增强术、骨折预防和特殊临床场景。五名临床评分者,对聊天机器人身份和生成轮次设盲,独立评估安全性、事实准确性、共情沟通、使用DISCERN评估的治疗相关信息质量、使用EQIP评估的患者信息质量、使用JAMA benchmark criteria评估的透明度,以及使用Global Quality Score(GQS)评估的整体质量。可读性使用六种已建立指数自动评估。聊天机器人间比较和重测稳定性分析使用适合结局类型的配对方法。结果:评分者间一致性高,安全性Fleiss’ kappa为0.818,准确性ICC(2,1)为0.816,共情为0.820,DISCERN为0.820,EQIP为0.820,JAMA为0.821,GQS为0.818。每个聊天机器人都识别出潜在不安全回答:ChatGPT 36个中3个(8.3%),DeepSeek 36个中5个(13.9%),Gemini 36个中6个(16.7%),Doubao 36个中7个(19.4%)。安全性的总体配对差异无统计学意义(Cochran's Q = 3.621, df = 3, P = 0.305)。事实准确性在聊天机器人间差异显著但仅轻度(P = 0.009;Kendall's W = 0.108)。共情显示更大变异(P < 0.001;W = 0.817),ChatGPT和Gemini得分高于DeepSeek和Doubao。DISCERN、EQIP、JAMA benchmark和GQS得分也在聊天机器人间显著不同(所有P < 0.001)。Doubao产生的回答具有最高估计文本复杂度。在两个生成轮次间,安全性一致率为88.9%至97.2%(Gwet's AC1, 0.838–0.966),12个非安全性结局的中位ICC(2,1)为0.781至0.904。结论:在这项带时间戳、单地点、两轮评估中,所有四种聊天机器人界面均产生一些被归类为潜在不安全的回答,尽管临床医生评定的总体事实准确性较高。共情、信息质量、透明度、整体质量和可读性方面的差异大于事实准确性方面的差异。观察到的模型内稳定性总体良好,但并未消除不同生成轮次间变异。这些发现特定于所评估的访问地点、语言、单轮条件和生成日期,不应假设其代表不同设置或未来模型更新中的稳定性能。LLM生成的OVCF信息不应作为独立的患者教育资源;任何潜在使用都应涉及临床医生监督、安全防护措施和进一步验证。
研究背景与问题:骨质疏松性椎体压缩骨折(osteoporotic vertebral compression fractures, OVCFs)是老年人常见脆性骨折,与疼痛、后凸畸形、功能下降、生活质量降低、后续骨折风险增加和死亡率增加相关。OVCF患者提出的问题常涉及警示征象、影像决策、镇痛和骨质疏松药物安全、支具使用、活动、康复时机和椎体增强术等临床复杂问题。因此,OVCF相关面向患者的信息应事实准确、临床谨慎、具有支持性、可理解且可操作。大型语言模型(large language model, LLM)日益被用作可及的健康信息来源。既往研究提示,聊天机器人对患者问题的回答可能被认为流畅、信息丰富且具共情,患者可能认为AI生成的健康建议在某些情境中有用。然而,LLM也可能产生貌似合理但错误的陈述、遗漏关键安全警示、无法个体化推荐,或以不恰当自信呈现不确定证据。这些局限对OVCF患者教育尤为重要,因为聊天机器人回答可能影响神经警示征象识别、用药、活动、锻炼以及对椎体增强术的期望。既往LLM生成健康信息评估多聚焦事实准确性或整体应答质量,较少同时考察安全性、共情沟通、信息质量、透明度和可读性。对OVCF患者教育而言,一个广泛看似合理的回答若低估神经红旗、夸大椎体增强术作用,或对药物、活动、锻炼建议限定不足,仍可能潜在不安全。因此,研究人员并非提出新的评估方法,而是在标准化、多维度、以安全为中心的框架内应用既有评估工具,比较四种公开可及LLM聊天机器人界面对OVCF相关患者问题的回答,旨在匹配评价条件下描述其安全性、事实准确性、共情沟通、信息质量、透明度、整体质量和可读性。
关键技术方法:采用横断面配对评估。样本队列来源为中国江苏公共网络界面,于2026年6月20日进行初始轮,6月27日进行第二轮;36个标准化OVCF面向患者问题提交至ChatGPT、Gemini、DeepSeek、Doubao四个公开可及LLM聊天机器人界面,英语、默认设置、独立单轮会话,无浏览工具、上传文件、自定义指令或追问。主要比较初始轮144个回答,稳定性分析使用两轮288个回答和144个配对。五名临床评分者盲法评估,包括2名脊柱外科医师、2名骨质疏松或代谢性骨病专家、1名康复医师,经验10–15年。安全性为预设主要终点,二分类;次要结局包括事实准确性、共情沟通、DISCERN、EQIP、JAMA benchmark criteria、GQS及六种可读性指数。统计采用Fleiss’ kappa、ICC(2,1)、Cochran's Q、Friedman检验、Kendall's W、McNemar检验、Wilcoxon符号秩检验、Gwet's AC1、Cohen's d
z等。
研究结果:评估者间一致性方面,初始轮所有评分者评估结局一致性高,安全性Fleiss’ kappa为0.818,事实准确性、共情、DISCERN、EQIP、JAMA和GQS的ICC(2,1)分别为0.816、0.820、0.820、0.820、0.821和0.818,均P < 0.001。安全性、事实准确性与共情方面,所有聊天机器人均出现潜在不安全回答:ChatGPT 3/36(8.3%),Gemini 6/36(16.7%),DeepSeek 5/36(13.9%),Doubao 7/36(19.4%);但预设主要安全性分析差异无统计学意义(Cochran's Q = 3.621, df = 3, P = 0.305)。21个潜在不安全回答的定性复习发现反复涉及警示征象分诊不足、药物禁忌证防护不足、椎体增强术适应证过宽、锻炼建议过早且过于指令化,以及未充分反映临床背景的恢复建议。事实准确性中位数四者均为4.00,总体差异有统计学意义(P = 0.009),但效应量小(Kendall's W = 0.108)。共情差异更大(P < 0.001;W = 0.817),ChatGPT和Gemini中位数为4.00,DeepSeek和Doubao中位数为3.00。模型内生成稳定性方面,144个聊天机器人–问题配对均成功在第二轮重新生成;安全性一致率从Doubao的88.9%到ChatGPT的97.2%,Gwet's AC1为0.838–0.966;12个非安全性结局中位ICC(2,1)为ChatGPT 0.904、Gemini 0.870、DeepSeek 0.820、Doubao 0.781。ChatGPT和Gemini全部12个结局达到预设ICC≥0.75,DeepSeek为11/12,Doubao为10/12;中位绝对Cohen's d
z为0.000–0.018,Holm校正后无显著系统性漂移。信息质量、透明度与整体质量方面,DISCERN、EQIP、JAMA benchmark和GQS在聊天机器人间均差异显著(所有P < 0.001),Kendall's W为0.151–0.334;ChatGPT的DISCERN和EQIP中位数最高,Doubao的DISCERN、EQIP、JAMA和GQS中位数最低。可读性方面,六种可读性指数在聊天机器人间均差异显著(所有P < 0.001;Kendall's W = 0.319–0.406);Doubao的ARI、Coleman–Liau、FKGL、Gunning Fog和SMOG均值最高、FRES均值最低,提示其估计阅读难度最大;ChatGPT、Gemini和DeepSeek的年级水平估计较低,但三者的配对差异随指数而变。
讨论部分总结:主要发现指出,四种公开可及LLM聊天机器人在主要安全性结局上无统计学显著差异,但每个聊天机器人都产生了潜在不安全回答;事实准确性总体较高且仅轻度差异;共情沟通、信息质量、透明度、整体质量和可读性差异更大。ChatGPT的DISCERN和EQIP观察值较高,Doubao的估计阅读难度最大。研究人员认为,仅凭广泛事实准确性不足以判断聊天机器人生成的OVCF信息是否适合面向患者使用,因为回答可能出现输出变异、情境化不完整、安全关切和透明度有限。安全性应与整体事实准确性分开解释:尽管准确性中位数高,仍有21个回答被归为潜在不安全,常见原因包括警示征象升级不足、药物相关警示缺失、椎体增强术表述过宽、锻炼和康复建议个体化不足。事实准确性虽达统计学显著,但效应量小,不应解释为某一聊天机器人具有临床意义优越性。共情差异大于事实准确性,提示模型在沟通风格上也存在差异;但感知共情不等于临床适当性,面向患者的LLM应结合支持性语气、明确安全边界、红旗升级和需要临床评估时的建议。信息质量、透明度和整体质量方面,DISCERN、EQIP、JAMA benchmark和GQS识别出事实准确性未完全捕捉的差异;所有聊天机器人透明度仍有限,低或不一致的JAMA表现可能反映未提示聊天机器人回答中作者身份、来源归属、披露和时效信息有限。可读性方面,FKGL均值范围12.12–17.54,提示面向患者材料文本复杂度高;OVCF主要影响老年人,其中部分人可能存在健康素养有限、视觉损害、疼痛相关痛苦或处理密集医学信息困难。讨论还列出优势:疾病特异且安全敏感的问题集、标准化单轮条件下评估四种公开可及聊天机器人界面、五名盲法临床评分者跨多维度评估、配对设计和补充材料增强透明性和可审计性。局限性包括:主要比较锚定单一初始访问日期和地点,仅额外进行一轮生成用于模型内稳定性;无法独立验证或复现确切计算配置;仅评估两次生成,未评估多轮对话、多语言和患者生成提示;患者和公众代表未参与问题开发;OVCF管理依赖骨折急性度、神经学发现、影像、疼痛严重度、合并症、用药史、跌倒风险和患者偏好,固定参考框架可能难以评估某些回答;二元安全分类不能区分临床风险水平、伤害可能性和潜在后果;DISCERN、EQIP、JAMA、GQS和可读性公式未捕捉聊天机器人特有特征,且可读性公式不直接测量理解、信任、回忆或可操作性;研究未评估患者行为、医患沟通、临床决策、不良事件或健康结局。结论翻译:在这项带时间戳的配对评估中,四种公开可及LLM聊天机器人对标准化OVCF相关面向患者问题生成的回答具有相对较高的临床医生评定事实准确性,但每个聊天机器人也产生了一些被归类为潜在不安全的回答,主要安全性比较未检测到统计学显著差异。共情沟通、信息质量、透明度、整体质量和文本复杂度方面的差异比事实准确性更明显。鉴于所有被评估聊天机器人界面均出现潜在不安全回答,且对普通受众的可读性有限,LLM生成的OVCF信息不应作为独立的患者教育资源。如果纳入患者教育流程,此类工具仅应被视为需要临床医生审查、安全防护和进一步验证的监督辅助工具。未来面向患者的应用应纳入清晰的升级指导、证据透明度、简明语言沟通和适当的临床医生监督。