《Healthcare》:Comparative Evaluation of Five Large Language Models for Orthodontic Patient Communication: A Blinded, Factorial Pilot Study
编辑推荐:
背景/目的:患者日益使用大语言模型(large language models, LLMs)理解正畸状况,但关于领先模型在同一患者沟通任务中的比较,以及表现如何随所面向的接收者而变化,所知仍有限。方法:在这项盲法预试验中,五种LLMs——Claude(clau
背景/目的:患者日益使用大语言模型(large language models, LLMs)理解正畸状况,但关于领先模型在同一患者沟通任务中的比较,以及表现如何随所面向的接收者而变化,所知仍有限。方法:在这项盲法预试验中,五种LLMs——Claude(claude-opus-4-7)、GPT(gpt-5.5-2026-04-23)、Gemini(gemini-2.5-pro)、DeepSeek(deepseek-v4-flash)和Grok(grok-4.3)——在完全平衡的5 × 3 × 3 × 3设计中,各自采用三种临床医生角色设定并面向三类专业背景不同的接收者画像,解释三种正畸错??畸形(135份土耳其语回答)。三名正畸医生使用七轴评分量表(1–5分)独立评分。差异分析采用Kruskal–Wallis、Friedman和Scheirer–Ray–Hare检验,并进行Holm校正、计算epsilon-squared(ε2)效应量和bootstrap置信区间。结果:评分者间信度良好(复合评分组内相关系数(intraclass correlation coefficient, ICC)[2, 1] = 0.79)。不同模型的复合评分存在轻度差异(p = 0.044),但经校正后无模型间两两差异保留;模型分离由术语适当性驱动(p = 0.005)。在各因素中,接收者画像效应量最大(ε2 = 0.058,模型为0.045);工程师画像得分低于医疗卫生工作者或非专业人士(校正后均p < 0.05),未检测到有统计学意义的模型 × 接收者交互。角色设定和错??畸形类型均未影响质量。结论:由于这些是提示词设定的画像且结局为专家评分,部署与监督可能更应从受众适配和术语精确性入手,而非仅关注模型选择。
研究背景与问题:大语言模型(large language models, LLMs)已成为公众获取健康信息的常规来源,患者常在正畸就诊前用其理解诊断、治疗选择和副作用。正畸医生制作的在线材料可靠性和完整性有限,正畸医生使用社交媒体进行患者沟通的实践差异很大;一项随机试验显示,基于指南的聊天机器人较标准宣传单可改善患者口腔卫生依从性和治疗知识。已有牙科LLM研究多评估单一模型(常为ChatGPT)的通用问答,较少在同一患者沟通任务中并列比较多个领先模型,也较少系统考察模型采用不同临床医生角色设定(persona)并面向不同专业背景接收者画像(recipient profile)时的表现。受众适配对健康信息准确性和有用性的影响证据不一,且在正畸领域未获系统检验。正畸错??畸形(malocclusion)如开??、深覆??、反??等临床定义明确但常被患者误解,适合作为受控且有临床意义的测试场景。因此,研究人员开展析因评价,比较五种LLM的患者沟通表现,测量persona和接收者画像对质量的影响,并绘制轴级强弱模式;预试验旨在建立测量框架、评分者间信度和早期模式。研究预期模型复合质量不同,且表现依赖persona和受众而非保持一致。
研究与结论:研究人员开展横断面、盲法析因预试验。五种模型经官方API以固定版本评估;三名正畸医生使用七轴1–5分量表独立评分。复合沟通评分为E1–E5均值,角色保真度(G1)和内容有效性(G2)作为单独控制与效度检查。分析设计为完全平衡的5 × 3 × 3 × 3(5模型 × 3种persona × 3种接收者画像 × 3种错??畸形),共135个设计单元;每单元生成两次共270份回答,第一代135份按预先规则纳入评分。无人类受试者或患者数据,所有文本均为机器生成,语言为土耳其语。结论为:复合评分模型间仅轻度差异,Claude中位最高、Gemini最低,但Holm校正后无模型间两两差异保留;模型分离主要由术语适当性驱动;接收者画像效应量最大,工程师画像得分低于医疗卫生工作者和非专业成人;persona和错??畸形无显著影响;未检测到显著模型 × 接收者交互。其意义在于:在专家评分框架下,正畸患者沟通的部署与监督可能更应关注受众适配和术语精确性,而非仅关注模型选择;但样本小、画像为提示设定、结局为专家评分,模型排序为提示性而非定论,仍需以患者为中心的研究验证。
关键技术方法(≤250字):五种LLM(Claude claude-opus-4-7、GPT gpt-5.5-2026-04-23、Gemini gemini-2.5-pro、DeepSeek deepseek-v4-flash、Grok grok-4.3)经官方API固定版本生成;完全平衡盲法析因设计交叉模型、3种persona、3种接收者画像和3种错??畸形,提示词仅替换槽位,温度0.7(Claude与GPT使用默认值),Gemini输出上限4096 token;三名正畸医生对随机去标识回答按七轴1–5分量表独立评分,评分前校准,以组内相关系数(intraclass correlation coefficient, ICC)、Krippendorff's alpha和Fleiss kappa评估信度;统计用Kruskal–Wallis、Friedman、Wilcoxon符号秩、Dunn、Scheirer–Ray–Hare检验,Holm校正、epsilon-squared(ε
2)和bootstrap置信区间;另算土耳其语Atesman指数和每句词数。无人类受试者或患者数据,文本均为机器生成;无患者样本队列来源。
研究结果:
3.1 评分者间信度:通过评分者相关与信度分析,排除一名与其余评分者复合秩相关近零的评分者并替换、校准后,三名保留评分者复合ICC [2, 1] = 0.79、ICC [2, k] = 0.92,信度良好;轴级有序Krippendorff's alpha以E1术语适当性=0.86最高、E3临床准确性=0.53最低;保留原评分者的敏感分析ICC降至0.29,但模型排序和接收者效应主要结果不变。
3.2 总体轴表现:通过轴级汇总,复合分接近量表中点;E4共情/语气和E5可操作性最高,E1术语适当性最低,五模型表现一致。
3.3 模型差异:通过Friedman和Kruskal–Wallis检验,复合评分模型间存在轻度差异(Kruskal–Wallis H(4) = 9.80,p = 0.044,ε
2 = 0.045;Friedman χ
2(4) = 10.89,p = 0.028,Kendall W = 0.10);Claude中位3.40最高,Gemini 3.00最低;Wilcoxon未校正显示Claude高于GPT(p = 0.012)和Gemini(p = 0.009),但Holm校正后无两两差异保留(p = 0.106、0.089),排序为提示性。
3.4 轴级差异:通过逐轴Kruskal–Wallis检验,仅E1术语适当性显著(H(4) = 14.99,p = 0.005,ε
2 = 0.085,轴级最大效应),Gemini均值1.81低于其他模型2.36–2.96;E3(p = 0.050)和G2(p = 0.051)接近阈值;模型总体分离主要归因于术语校准,而非临床内容或语气的广泛差异。
3.5 接收者画像效应:通过Kruskal–Wallis和Dunn检验,接收者画像效应量最大(H(2) = 9.60,p = 0.008,ε
2 = 0.058,大于模型0.045,远大于persona 0.001和错??畸形?0.003);工程师画像复合中位3.00、均值2.85(95% CI 2.69–3.00),低于医疗卫生工作者均值3.22(95% CI 3.06–3.38;Holm校正p = 0.020)和非技术教育成人均值3.28(95% CI 3.10–3.46;p = 0.017),rank-biserial r = 0.32/0.33;Scheirer–Ray–Hare未检测到显著模型 × 接收者交互(H = 6.52,df = 8,p = 0.59),但原文强调这是保守筛查,不能解读为交互不存在。
3.6 persona和错??畸形:通过Kruskal–Wallis检验,persona(H(2) = 2.04,p = 0.36,ε
2 = 0.001)和错??畸形(H(2) = 1.62,p = 0.45,ε
2 = ?0.003)均无显著影响;效应量比较显示接收者画像和模型为两个有影响因素。
3.7 客观可读性:通过Atesman指数和每句词数描述,均值54.5–69.3为中等难度;Claude最易读(69.3;9.5词/句),Grok最难(54.5;12.9词/句);个体水平可读性与专家E2清晰性评分不相关(Spearman rho = 0.06,p = 0.48),提示二者捕捉部分不同方面。
讨论总结:讨论部分归纳的主要发现为:模型复合质量相近,但综合检验显著且未做正式等效性分析;差异主要由术语适当性驱动;接收者画像效应量最大,工程师画像评分较低,但画像为提示设定而非测量健康素养,不能外推至技术教育非医学人群;persona和错??畸形无可测影响。与既往单模型研究相比,本研究的头对头设计显示五模型总体趋同而非明显分层,轴级分析将真正分歧定位为术语;可读性并非主要问题,词汇与读者匹配更关键。讨论提出一种可能解释:模型在简化外行语域和同行临床语域最流畅,工程师画像介于两者之间,但这是针对特定画像的假设。实践上,常规解释任务中模型选择的重要性可能低于通常假设,成本、可得性和数据治理可合理影响选择,但需检查术语;结构化、经审核的部署比底层模型更重要;残余风险集中于术语和内容精确性,简短专家审核最有效;开发者需改进中间画像读者的支架和评估受众适配。优势包括完全平衡析因、盲法、多轴量表和正式信度统计、报告交互和敏感性分析。局限包括预试验每模型样本小、单代次评分、画像非验证健康素养、温度不对称、Scheirer–Ray–Hare未完全建模匹配依赖、排除并替换评分者、单一语言土耳其语、固定模型版本、结局为专家评分而非患者理解、焦虑或决策质量。未来需扩大全析因并预注册把握度、多语言、独立研究接收者效应、用提示支架、检索增强或读者建模缩小工程师画像差距、加入患者中心结局、定期重跑固定版本。
研究结论翻译:在这项盲法析因预试验中,五种领先大语言模型生成的正畸患者沟通文本复合质量大体相近,但未进行正式等效性检验,主要差异在于术语与读者的匹配程度。在所考察因素中,提示词设定的接收者画像效应量最大,正式析因分析未检测到有统计学意义的模型 × 接收者交互。具体而言,为工程师画像撰写的回答获得的正畸医生评分低于为医疗卫生工作者或非专业人士撰写的回答。由于这些是提示词画像,且结局为专家评分而非患者评估,研究人员将其作为假设:适当的部署和人工监督可能更应关注受众适配和术语精确性,而非仅关注模型选择。需要更大样本、更充分把握度的多代次、多语言和以患者为中心的研究来确认这些初步模式,并检验针对性提示词设计能否缩小工程师画像所观察到的差距。