用于小儿骨科家长指导的生成式人工智能(Generative Artificial Intelligence, Gen AI)聊天机器人:一项可行性试点研究(Pilot Feasibility Study)
《JBJS Open Access》:Generative Artificial Intelligence Chatbots for Parental Guidance in Pediatric Orthopaedics: A Pilot Feasibility Study
编辑推荐:
背景:咨询家长是小儿骨科(Pediatric Orthopaedics)临床实践中不可或缺且耗时的组成部分。补充性患者教育资源在延伸和强化门诊访视所传达信息方面发挥重要作用,从而减少临床工作人员诊后咨询。相当比例的小儿骨科就诊涉及生理性变异如内八字(intoe
背景:咨询家长是小儿骨科(Pediatric Orthopaedics)临床实践中不可或缺且耗时的组成部分。补充性患者教育资源在延伸和强化门诊访视所传达信息方面发挥重要作用,从而减少临床工作人员诊后咨询。相当比例的小儿骨科就诊涉及生理性变异如内八字(intoeing)、扁平足(flatfoot)、脊柱侧凸(scoliosis)或下肢力线异常。即便经过详尽门诊咨询,家长在家常产生进一步疑问,导致回电、电子邮件、额外复诊或求助于互联网。互联网已成为家长获取健康信息的主要来源,但在线资源质量与准确性高度参差,YouTube视频及普通搜索引擎资料常存显著质量缺陷,误传或不完整信息可加重家长焦虑、延误恰当就医并引发不必要复诊,而增加医务人员行政负荷关联职业倦怠。通用生成式人工智能(Generative AI)聊天机器人在广义医疗场景中回答患者提问的质量与同理心感知优于医师答复,但在小儿骨科中公开可用模型仅约三分之二回答符合美国骨科医师学会(AAOS)临床实践指南且引文准确性严重不足,且ChatGPT等多半数交互产生非预期治疗建议并存在跨次回答不一致,提示通用模型尚不适合小儿肌骨照护中无监督使用。为安全准确地利用Gen AI解决此信息缺口,研究人员开发了一款基于验证小儿骨科教育内容训练、通过WhatsApp部署的Gen AI聊天机器人,作为初始诊毕向家属提供的患者教育辅助工具以减少未解决诊后问询,并评估其准确性、安全性及小儿骨科专科医师、低年资医生与专职医疗人员对之的临床可接受性。
论文解读:用于小儿骨科家长指导的生成式人工智能聊天机器人可行性试点研究
一、研究背景与立题依据
小儿骨科日常诊疗中,向患儿家长提供咨询与宣教耗时较长,而常见疾病如生理性内八字步态(intoeing)、柔韧性扁平足(flatfoot)、青少年特发性脊柱侧凸(scoliosis)及下肢生理性的膝内翻(bow legs)/膝外翻(knock knees)多数为自限性变异,家长亟需了解自然病程、预后及观察或治疗指征。尽管门诊已做解释,家长回家后仍频繁产生新问题并通过电话、邮件、复诊或互联网搜索求解。现有研究表明高达84%的家长就孩子骨科问题上网查询,其中97%使用普通搜索引擎而非验证医学资源,网络上尤其是YouTube等平台的小儿骨科科普内容质量良莠不齐,错误信息可引发健康焦虑(报道达14%–52%)、延迟正确处置或增加非必要复诊;同时医生处理大量家属问询也加重行政负担并关联职业倦怠。虽已有证据显示生成式人工智能(Generative Artificial Intelligence, Gen AI)聊天机器人在广义医疗问答中被评质量与同理心优于医师回答,但直接应用于小儿骨科时,ChatGPT和Gemini对AAOS临床实践指南的符合率仅约三分之二,且引文捏造、半数以上给出非预期治疗推荐、重复提问回答不稳定,故通用大模型暂不适用于小儿肌骨疾病无监管场景。为此,研究人员设计并验证了一款基于验证循证教育内容训练、通过常用即时通讯软件WhatsApp分发的Gen AI聊天机器人,作为诊后家长教育补充工具,旨在降低未解决问询并评估其准确性、安全性及多学科医务人员认可度。本文发表于《JBJS Open Access》。
二、主要关键技术方法概要
本研究于某三级小儿骨科中心开展,获机构审查委员会豁免。研究人员联合数字健康公司构建混合架构Gen AI聊天机器人:①对常见问题配置临床医生预先审核的固定回答以消除幻觉(hallucination,指模型生成看似合理实则不实或虚构的输出)及非预期治疗建议;②超预置问题采用检索增强生成(Retrieval-Augmented Generation, RAG)技术自限定知识库抽取信息作答并设护栏标记潜在幻觉。知识库取材自北美小儿骨科学会(POSNA)面向患者的OrthoKids(OK)资源,涵盖内八字、扁平足、脊柱侧凸、膝内翻、膝外翻5种常见病。机器人部署于新加坡覆盖率>80%的WhatsApp平台,输出无行话、成人易读懂多语版本(英/中/马来/泰米尔语)。初版用30道OK典型家长提问测试,由两名小儿骨科fellowship培训专科医生独立评审准确性、完整性、幻觉及处置建议恰当性并迭代修订至双方满意。随后纳入小儿骨科专家、低年资医生、护士、石膏技师及患者服务助理(Patient Service Associates, PSAs)共18人自由就该5病种提问,填答改编自印刷版患者教育材料评估工具(PEMAT)的12题5级Likert量表(1=非常不同意,5=非常同意),覆盖内容质量(相关性Q1、详实度Q2、正确性Q3)、易懂性与可用性(清晰度Q4、条理性Q5、与治疗协议一致性Q6、回答长度Q7)及安全与临床可接受性(健康有害可能Q8反向计分、无非预期治疗推荐Q9、愿推荐给患者Q10、转诊建议恰当Q11、引文准确Q12),用SPSS做描述性统计并按岗位亚组分析,本研究为概念可行性试点未行效力检验。
三、研究结果
参与者概况(Participant Profiles)
2025年5–6月共18人完成评估,含护士(n=5, 27.8%)、低年资医生(n=4, 22.2%)、骨科专家(n=3, 16.7%)、石膏技师(n=3, 16.7%)及PSAs(n=3, 16.7%),提问覆盖全部5病种,内八字与扁平足最常问。
聊天机器人评估(Chatbot Evaluation)
整体评分多数域均值>4.0(满分5.0)。与治疗协议一致性(Q6)最高(均数4.50±0.62),其次为回答条理性(Q5;4.44±0.62)和相关性(Q1;4.39±0.51);解释清晰度(Q4)所有18名评价者均给≥4分(100%好评率)。相关性、正确性、条理性、协议一致性及回答长度各域≥4分者占94.4%。信息深度(Q2)与愿意推荐给患者(Q10)略低(83.3%给≥4分)但均数仍>4.0。引文准确性(Q12)均数最低(4.00±0.77),77.8%给≥4分。健康损害风险(Q8,反向计分,越低越安全)均数3.11±1.57,分值跨度最大(1–5)。亚组分析显示骨科专家Q8均数1.33(认为危害风险低),护士(4.40)与PSAs(4.00)担忧更高;其余域各岗位评分基本一致,骨科专家对无非预期治疗推荐(Q9;4.67)及转诊建议恰当性(Q11;4.67)评分最高。88.9%评价者确认无非预期治疗推荐且未发现幻觉。
四、讨论与结论翻译
讨论指出,本试点证明基于验证小儿骨科内容训练的目的型Gen AI聊天机器人可提供符合指南、准确清晰且临床适当的回答,11/12域均数逾4.0/5.0;协议一致性与条理性高分反映限定病种知识库训练优位于通用模型,解释清晰度全票认可契合非临床用户沟通需求,88.9%确认无自发治疗建议且无幻觉,优于文献报道ChatGPT超半数出现非预期推荐。WhatsApp端全天候答疑有望削减诊后来电/邮件/非必要复诊,尤其适用于服务量大而号源有限的三级小儿骨科,无术语对话较静态材料更易理解;预先获取准确信息的家长复诊时可提更具体问题、期望合理并更好配合诊疗计划。Q8岗位间差异(专家低担忧、护理/PSAs高担忧)推测源于对OrthoKids指南熟悉度不同,专家可直接识别内容出处而安心,非临床岗则对AI生成临床内容本能谨慎,强调先行专科医生确认准确性与安全性方可推广。局限包括样本小且仅来自医务人员未测家长真实体验、单时点评估、仅纳入低风险生理性变异为慎重起步,引文准确率为最弱项因设计优先指南贴合而非列参考文献,后续拟扩展至家长终用户体验、测算对门诊量及间接成本影响、增配多语种全面上线。
结论(原文翻译):
一款基于验证小儿骨科内容训练的目的型生成式人工智能(Gen AI)聊天机器人,经多学科评估小组评定为准确、符合临床指南且临床可接受。本试点研究结果支持将该工具作为小儿骨科实践中直接家长咨询的辅助手段进行部署的可行性。需在患儿家长终用户中开展前瞻性评估,并考察其真实世界临床影响,再行更广泛实施。