《Frontiers in Public Health》:Large language models versus expert clinicians in optimizing Chinese patient education materials for temporomandibular disorders: a mixed-methods study integrating readability, accuracy, actionability, and cultural adaptability
编辑推荐:
目的:评估大型语言模型(LLM)与临床专家在优化颞下颌关节紊乱病(TMD)中文患者教育材料(PEM)方面,于可读性、准确性、可操作性与文化适应性上的表现,并判断人机协作模式能否在上述维度间取得最优平衡。方法:通过德尔菲共识流程遴选15个TMD教育主题,生成四组
目的:评估大型语言模型(LLM)与临床专家在优化颞下颌关节紊乱病(TMD)中文患者教育材料(PEM)方面,于可读性、准确性、可操作性与文化适应性上的表现,并判断人机协作模式能否在上述维度间取得最优平衡。方法:通过德尔菲共识流程遴选15个TMD教育主题,生成四组材料:原始文本(A组)、LLM重写文本(B组,Claude Opus 4.6)、临床医生重写文本(C组)及人机协作文本(D组)。由专业小组(n=3)及按健康素养分层的患者小组(n=6)盲法评估。可读性以句长与常用字比例衡量,准确性由5分制专家量表对照标准清单评定,可操作性采用PEMAT(Patient Education Materials Assessment Tool)量表,文化适应性行定性主题分析,并对三种提示风格做敏感性检验。结果:相较原始文本,LLM重写文本句长显著缩短(21.1对33.9字,p<0.001),可操作性大幅提升(95.6%对16.7%,p<0.001);临床医生重写文本准确性最高(4.48对3.23,p<0.001)但可操作性低(46.7%)。人机协作模型准确性与临床医生文本相当(4.49,p=1.000),同时保留LLM可操作性(95.6%),临床医生耗时减少72%。敏感性分析显示共情与权威提示下可操作性稳健,简练提示下减弱。定性分析提炼四类文化适应性主题:LLM在术语本土化与行为结构化上占优,但中医概念深度不足。结论:人机协作模式是制作中文TMD患者教育材料的一种有前景且均衡的路径,兼具LLM结构优化优势与临床专家对准确性及文化适切性的把控。
研究背景方面,颞下颌关节紊乱病(TMD)影响全球5%–15%人群,女性居多,是慢性口面疼痛的主要来源之一。高质量患者教育是一线管理基石,但门诊平均问诊不足20分钟,书面材料质量直接决定教育成效。既有证据表明各专科PEM可读性普遍超标,且即便可读,常缺乏可操作性(actionability,即读者能否识别具体可执行动作)。中文语境下,医学复合词密度高、仅约25%成人具备充足健康素养,加之饮食沟通规范与中医(TCM)主流化,使文化适应性成为独立维度。现有LLM卫生传播研究多聚焦英文可读性,尚未系统评估中文TMD PEM在可读性、准确性、可操作性、文化适应性四维框架下的表现,亦缺人机协作时效量化。该研究即在此缺口下展开。
研究人员开展的是一项横断面混合方法研究,发表于《Frontiers in Public Health》。通过三阶段德尔菲从35个候选主题遴选15个核心主题(覆盖西医与中医针灸等内容);针对每主题生成A组原始文本、B组四款LLM(GPT-4、Claude Opus 4.6、Gemini 3.0 Pro、DeepSeek-V2)重写文本、C组两名TMD专家重写文本、D组以Claude Opus 4.6为基座的人机协作文本。评估流包括客观可读性(句长、常用字比例、专业术语密度)、三人专业小组5分制准确性评分、PEMAT可操作性量表、6名确诊TMD患者(按NVS新近生命征量表分低中高三层)理解度评分,以及20%双编码定性主题分析;另对三主题测试共情/简练/权威三种提示的敏感性;时效以自报与系统计时比对。
研究结果如下。客观可读性:四组句长呈A(33.9)>C(27.3)>B(21.1)>D(20.4)字符梯度(p<0.001);总字数D最多(6162),常用字比例A最高(56.9%)而D最低(39.9%),专业术语密度反向。准确性:C(4.48)与D(4.49)显著高于A(3.15)与B(3.23)(p<0.001),C与D无差(p=1.000),中医相关主题各组成绩均最低。可操作性:A仅16.7%、C仅46.7%未达PEMAT≥70%阈值;四LLM子组80.0%–97.8%,D为95.6%与最优LLM无差;15主题中D有13项达标。提示敏感性:共情提示(A)可操作性稳健,简练提示(B)衰减,权威提示(C)准确性略升但仍低于C组临床文本。文化适应性四主题:术语本土化(LLM用“口腔科”“你”直称)、饮食生活建议契合度(LLM列条+中式食材)、共情语域(LLM用比喻与强调符)、中医安全特异性(LLM条目化警示)——LLM结构占优但中医病理深度不及医生,D组保留LLM结构并融入医生修正。时效:LLM单篇<10秒,医生重写在18.5分钟/篇,医生审改LLM草稿5.1分钟/篇,省时72%。
讨论部分指出,LLM在句法简化与行为指令上天然占优,但出现“结构扩张伴词汇稀释”悖论——总字数增99%致常用字比例下降,实因术语被拆解为解释性短语而非词汇变难。准确性缺陷具领域依赖性,集中于程序性知识与中医表征,人机协作可补齐至医生独写水平,印证协作工作流在中文专科情境的外推效度。可操作性差距部分源于任务指令非对等(LLM被显式要求逐步行动),但四LLM一致高分说明属当代模型共性。文化适应性上LLM完成操作层本土化,概念层尤中医仍赖专家;作者提出含五项核查点的审改清单(准确性、文化契合、共情语域、安全警示完备性、保留逐步结构)。局限含15主题非穷举、患者样本n=6单中心、静态材料未测临床结局、LLM快照效应、中西医指令非对等、Claude后选可能限推广性。
结论部分原文意译:在本研究条件下,人机协作模型(LLM生成结构优化草稿+专家审改准确性与文化适切性)是制作中文TMD患者教育材料的有前景且均衡路径;LLM在句法简化与行为指令占优,专家审改对保障医学准确性与文化安全性(尤中医)不可或缺;协作模型大幅削减医生耗时,化解高质量书面教育供给障碍;负责任部署AI于患者教育须以文化适应性为核心要件而非后置步骤。