基于大语言模型的幼年特发性关节炎协作决策辅助工具：一项多方法可行性评估研究

《PLOS Digital Health》：An LLM-based decision aid for collaborative decision-making in juvenile idiopathic arthritis: A multimethod evaluation

　　

摘要专业翻译 幼年特发性关节炎（juvenile idiopathic arthritis, JIA）是最常见的儿童慢性炎症性风湿性疾病，对生活质量有显著影响。由于指南证据有限且存在艰难的权衡取舍，治疗方案选择十分复杂，决策往往仅由医生主导。研究人员评估了一种基于大语言模型的决策辅助工具（Large Language Model-based Decision Aid, LLM-DA）的可行性，该工具旨在支持JIA诊疗中的协作决策而非仅由医生单方面决策。研究人员依据TRIPOD-LLM核查清单开展了一项多方法可行性研究，目标有二：其一，基于三位儿童风湿病学家的评估以及一项由大语言模型担任评审（LLM-as-a-Judge，采用OpenAI的GPT-5模型）的探索性评估，评价LLM-DA（采用OpenAI的o3模型）的输出质量；其二，通过混合方法评估（n=34），从患者视角刻画该工具的感知价值。针对10个去标识化用例，风湿病学家与LLM评审分别生成治疗推荐，并从安全性、事实一致性、治疗适当性及偏好认可四个维度对LLM-DA输出进行评分。风湿病学家对97%的输出在安全性与偏好认可方面评定为可接受，事实一致性为60%，治疗适当性为70%。所有评估者与真实世界数据之间的治疗推荐一致性较低，不足30%。风湿病学家之间的评分一致性在安全性与偏好认可方面达到“几乎完美”水平，在治疗适当性方面为“中等”，在事实一致性方面为“较差”；引入LLM评审后一致性保持相同或有所改善。评估者评分与治疗推荐的变异性可能反映了JIA可接受治疗路径固有的异质性，以及LLM-DA决策逻辑的潜在局限。研究识别出五个患者主题：该工具补充而非替代风湿病学家的专业意见；通过反思与可操作信息帮助患者做好就诊准备；增强患者自我倡导的信心；其价值因医患关系而异；并有望拓展至更广泛的JIA自我管理。这些探索性发现为利用人工智能支持协作决策提供了概念验证，同时强调未来需进一步研究以确定大语言模型能否可靠地支持临床实践。

论文解读

一、研究背景与目的

幼年特发性关节炎（juvenile idiopathic arthritis, JIA）是16岁前起病、持续至少6周、病因不明的关节炎，也是最常见的儿童慢性炎症性风湿病。尽管生物制剂等有效药物改善了患者预后，许多患者仍面临疗效不佳或逐渐失效、反复试错式换药、不良反应及频繁就诊等负担。JIA治疗决策面临多重挑战：临床指南证据有限且多为条件性推荐，真实世界中治疗选择高度依赖医生个人经验；同时，药物副作用管理困难，患者及家庭偏好应被纳入决策过程。协作决策（collaborative decision making, CDM）虽被推荐，但在实践中应用并不一致，且往往侧重于信息传递而非结构化协作。

大语言模型（large language models, LLMs）作为新兴工具正进入临床决策支持领域，已有研究探索其在神经肿瘤学、青少年特发性脊柱侧弯等场景中支持协作决策的潜力。在此背景下，由“儿童关节炎理解网络”（Understanding Childhood Arthritis Network, UCAN）团队开发了一款基于大语言模型的决策辅助工具（LLM-DA），并开展多方法可行性研究，旨在评估其支持JIA协作治疗规划的可行性。研究目标有二：一是通过风湿病学家评分和LLM评审（LLM-as-a-Judge）对输出质量进行探索性评估；二是识别患者对该工具的感知价值。该研究为将生成式模型嵌入医生中介的决策支持提供了早期实证基础，强调对齐、透明与患者参与，而非简单自动化。

二、主要技术方法

研究人员依据TRIPOD-LLM核查清单开展多方法可行性研究。LLM-DA采用OpenAI的o3模型（版本2025-04-16），通过Microsoft Azure的OpenAI平台部署以处理个人健康信息。系统接收三类输入：指令、患者数据（包括患者偏好问卷数据和来自UCAN-CANDU数据库的去标识化临床数据）以及专门知识库。知识库由JIA治疗标准指南、药物专论和临床研究组成，通过AnythingLLM的检索增强生成（retrieval augmented generation, RAG）系统部署，使用LanceDB作为向量数据库，文档经OpenAI的text-embedding-3-small模型嵌入，推理时检索最相关的四个语义块作为上下文支撑，并将生成约束于知识库以减轻幻觉行为。

质量评估方面，研究人员从UCAN-CANDU数据库选取10个去标识化JIA用例，合成治疗偏好由GPT-5生成并经研究协调员审核，每个用例经儿童风湿病学家确认临床合理性。三位来自两个国家的学术型儿童风湿病学家及LLM评审（采用OpenAI的GPT-5模型，版本2025-08-07）独立审阅各用例，提供治疗推荐并对LLM-DA输出从安全性、事实一致性、治疗适当性和患者输入认可四个维度按1-3分评分。统计分析采用描述性统计、百分比一致性及Gwet's AC1系数。

患者感知价值评估采用以定性为核心的收敛混合方法设计，招募27名12-18岁青少年（4场焦点小组）和7名19岁以上成人（个体半结构化在线访谈），共34人。参与者均确诊关节炎且有既往或当前处方用药史。各场次先进行工具演示，再进行30-45分钟半结构化访谈，并完成两份渥太华决策支持框架问卷（可接受性和决策准备度）。定性数据采用描述性质性方法和主题分析，经两轮编码（先归纳后演绎），使用NVivo 15软件分析。

三、研究结果

1. LLM-DA质量：人类评估者评价

三位风湿病学家对LLM-DA输出在四个维度上的平均评分介于1.7至2.4分（满分3分）之间，其中安全性和患者输入认可得分最高。可接受率（评分为2或3）方面，安全性和患者输入认可为97%，治疗适当性为70%，事实一致性为60%。评估者间一致性方面，安全性和患者输入认可的一致性百分比最高（93%），事实一致性最低（33%）。Gwet's AC1显示安全性和患者输入认可达到“几乎完美”水平，治疗适当性为“中等”，事实一致性为“较差”。治疗推荐一致性整体较低，介于0%至30%之间，真实世界数据与某位风湿病学家的一致性最高，而部分评估者配对间一致性仅为10%甚至0%。这种变异性可能反映了JIA可接受治疗路径固有的异质性、达成治疗共识的挑战以及决策辅助工具推荐逻辑的潜在局限。

2. LLM-DA质量：人类评估者与LLM评审的比较

LLM评审的平均评分比风湿病学家平均分高出0.1至0.5分，与风湿病学家一致的是，LLM评审也在安全性和患者输入认可维度上评分最高。引入LLM评审后，可接受率变化在±8%以内，除安全性外各指标可接受性均有所提升；一致性百分比除安全性下降8%外均有所改善；Gwet's AC1在安全性和患者输入认可方面保持同一区间，在事实一致性和治疗适当性方面有所提升。逐用例热图分析显示：安全性方面LLM评审倾向于给出比部分风湿病学家更高的评分；事实一致性方面LLM评审未给出任何3分，与风湿病学家评分3分仅出现三次的情况相符；治疗适当性方面双方对齐良好，近半数评分为2；患者输入认可方面30个配对中有23个完全匹配。自由文本评分理由显示，风湿病学家在五个低分用例中认为LLM-DA在既往甲氨蝶呤暴露后未充分升级治疗，或反之在风湿病学家认为应等待评估当前方案时过早建议升级。LLM评审在四个用例中给出1分，低安全性评分源于输出中剂量和监测细节不完整，低事实一致性评分源于指南对齐不充分。总体而言，LLM评审采取更严格的指南遵循策略，而风湿病学家将指南与经验判断和新兴证据相结合。

3. LLM-DA的感知价值

患者评估识别出五个主题。第一，决策辅助工具是补充而非替代风湿病学家的支持工具：参与者将其视为促进讨论和就诊准备的辅助手段，最终决策仍交由医生判断，同时青少年参与者警示过度依赖或过度信任可能造成虚假希望或医患紧张。第二，工具通过反思和可操作信息帮助做好决策准备：偏好问卷促使患者自我反思、唤起记忆，集中化的通俗语言信息弥补了现有信息来源分散、不完整的不足。第三，工具增强就诊期间自我倡导的信心：结构化问题和通俗信息使患者感到更有知识、更愿意表达症状和观点，并有助于提高用药依从性。第四，工具价值最终取决于医患关系：医生是否愿意接纳工具决定了其使用效果，部分参与者预期医生可能抵制患者自主查证信息。第五，预期用途延伸至更广泛的JIA自我管理：参与者希望工具能用于就诊间期记录症状和问题、提供日常支持功能，并在从儿科向成人照护过渡阶段帮助建立基础知识和自信。

四、讨论与结论

讨论部分指出，这是首个同时采用临床医生和LLM评估JIA治疗决策中LLM推理的研究。LLM-DA在安全性和患者偏好认可方面获得较好评价，提示其作为医生中介支持工具的初步可行性，但不应被解读为可自主推荐治疗的临床就绪证据。事实一致性和治疗适当性评分较温和，治疗推荐一致性低，部分原因在于JIA治疗本身存在多种临床可辩护路径，评估缺乏单一金标准。LLM-DA严格遵循指南逻辑，但难以纳入隐性临床知识、纵向治疗背景和经验判断。LLM评审同样倾向于严格指南遵循，凸显了仅依赖指南推理的局限。未来方向包括在去标识化电子健康记录叙事上微调、纳入专家推理依据、迭代式LLM评审训练循环，以及探索开源模型以降低临床部署门槛。研究局限包括用例数量少、评估者间评分标准解释差异、特定模型配置、样本代表性有限及便利抽样可能带来的选择偏倚。

研究结论指出，这项可行性研究提供了初步证据，表明基于LLM的决策辅助工具可能通过帮助患者做好临床接触准备、反思治疗偏好并更自信地与照护团队互动，从而支持JIA协作决策。风湿病学家对大多数输出在安全性和患者输入认可方面评定为可接受，支持LLM-DA作为医生中介讨论辅助工具的潜在价值。然而，事实一致性和治疗适当性评分较温和、治疗推荐一致性低以及评估者间一致性可变，表明当前系统不应被视为可自主推荐治疗的临床就绪工具。这些发现既凸显了JIA治疗决策的复杂性，也强调了需要更严格的评估方法以区分可接受的临床变异与模型错误。未来研究应采用更大更多样化的病例集、基于共识的专家裁决、前瞻性临床工作流程以及更清晰的评分标准，以更好地捕捉事实一致性、治疗适当性和偏好敏感的临床推理。