《Frontiers in Physiology》：Patient education for neuromyelitis optica spectrum disorder using large language models: combining expert assessment and real-world patient interaction
编辑推荐：
目的：本研究旨在比较六款主流大语言模型（LLM）在视神经脊髓炎谱系障碍（NMOSD）患者教育中的表现，并评估真实世界交互中的患者满意度。方法：研究于2026年3月至4月开展。第一阶段，将20个源自临床指南与患者关注的NMOSD相关问题提交至六款LLM（Chat
目的：本研究旨在比较六款主流大语言模型（LLM）在视神经脊髓炎谱系障碍（NMOSD）患者教育中的表现，并评估真实世界交互中的患者满意度。方法：研究于2026年3月至4月开展。第一阶段，将20个源自临床指南与患者关注的NMOSD相关问题提交至六款LLM（ChatGPT-5.4、Gemini-3.1-pro、Claude-4.6-Sonnet、DeepSeek-3.2、Kimi-2.5及Qwen-3.5-plus）。回答经匿名化后由三名神经眼科专家采用Likert量表从准确性、完整性、可读性、安全性及人文性独立评分，组内相关系数（ICC）评估评分者间信度。第二阶段，三款最优模型与10名NMOSD患者开展真实世界交互，满意度得分采用线性混合效应模型分析。结果：共评估120条回答。综合评估显示各维度差异显著：Gemini-3.1-pro准确性与安全性最高，Qwen-3.5-plus完整性与人文性最优，DeepSeek-3.2可读性最佳（阅读难度最低）。评分者间信度良好（单测ICC 0.535–0.759，平均ICC 0.775–0.904）。患者交互中Qwen-3.5-plus满意度最高，显著优于其余两款。结论：LLM在NMOSD患者教育中具潜力，但各教育维度表现不一，需更大队列验证。应根据具体教育目标选择模型，并强调临床医师在罕见病咨询中的关键作用。
研究背景与立项依据
视神经脊髓炎谱系障碍（NMOSD）是一种自身免疫性中枢神经炎性脱髓鞘病，主要累及视神经与脊髓，具有复发频繁、致残严重、中青年女性高发的特点。作为罕见病，NMOSD患者常因神经科与眼科协作需求高、基层专科资源不足而面临就医壁垒，持续且准确的患者教育对长期管理至关重要。大语言模型（LLM）在医学健康教育中展现潜力，但在罕见病场景下其回答的准确性、完整性、安全性及人文适配仍缺乏系统验证。研究人员因此设计两项阶段研究，整合专家盲评与真实世界患者反馈，评估六款主流LLM对中文NMOSD患者教育的适用性与异质性。
主要技术方法概述
研究人员于2026年3月15日至18日集中调用六款LLM（ChatGPT-5.4网页端、Gemini-3.1-pro API、Claude-4.6-Sonnet经Poe.com、DeepSeek-3.2网页端、Kimi-2.5网页端、Qwen-3.5-plus API），统一关闭联网检索与自定义指令，API侧温度设为0并固定随机种子20260315。从丁香园、好大夫、百度健康及《中国NMOSD诊疗指南（2025版）》汇成20个高频问题，经三名苏州大学第一附属医院神经眼科专家共识筛选。第一阶段由三名专家（两名眼科、一名神经内科，均偏神经眼科）盲法以5级Likert量表评120条回答，维度含准确性、完整性、可读性、安全性、人文性，并以中文可读性平台测客观指标，ICC与Cronbach's α检验信度。第二阶段遴选前三模型与10名住院NMOSD患者（该院来源，符合2025版诊断标准，≥18岁，含语音辅助入组条款）各问两题，线性混合效应模型（LMM）以模型为固定效应、问题为随机效应分析60条满意度评分。统计用SPSS 26与R 4.2，ANOVA、Dunn's事后检验、Bonferroni校正。
研究结果
3.1 第一阶段：主要评估指标
3.1.1 六款LLM回答的客观中文可读性比较
One-way ANOVA显示阅读难度分、字数、推荐阅读年龄组间均P<0.001。DeepSeek-3.2阅读难度最低（13.54±0.78）、推荐年龄最小（13.45±0.83岁）；Kimi-2.5最难（21.96±4.49，17.65±1.18岁）。Qwen-3.5-plus字数最长（2126.45±419.25），Claude-4.6-Sonnet最短（971.30±182.21）。
3.1.2 评分者间信度
双因素随机效应绝对一致ICC：单测0.535–0.759，平均0.775–0.904；Cronbach's α 0.788–0.906，专家评分可信。
3.1.3 LLM表现比较
五维ANOVA均显著。准确性Gemini-3.1-pro最高（3.97±0.18），Kimi-2.5最低（3.57±0.56）；完整性Qwen-3.5-plus最高（4.12±0.49），Claude-4.6-Sonnet最低（3.18±0.54）；可读性Gemini-3.1-pro最高（4.08±0.28）；安全性Gemini-3.1-pro最高（3.98±0.13）且各模型均>3.85无高危幻觉；人文性Qwen-3.5-plus最高（4.50±0.57），Claude-4.6-Sonnet最低（2.90±0.73）。
3.2 第二阶段：患者交互结果
10例患者20问归入八类，疾病预后占比最高。LMM显示模型类型总体效应显著（F=22.78，P<0.001）。Qwen-3.5-plus均值4.40±0.60，显著高于Gemini-3.1-pro（差0.85，P<0.001）与DeepSeek-3.2（差0.60，P<0.001）；后两者无差（P=0.183）。问题层随机效应占变异约36%，患者层约19%。
讨论部分总结
研究人员指出，本研究首次系统比对六款LLM在NMOSD中文教育中的专家—患者双视角表现。DeepSeek-3.2客观可读最佳但专家评分未居首，因Gemini-3.1-pro逻辑与术语更合“专业可读”认知，揭示传统可读性公式仅捕表层句长词汇、漏掉连贯与概念密度。Gemini-3.1-pro准安双优源于训练语料权威与保守策略；Qwen-3.5-plus完整性与人文性领先受中文医知覆盖与同理表达（“中国式共情”）驱动，但其完整性部分受字数最长（约两倍最短）的长度偏差影响。患者满意度高不等于事实可靠——引Inooka等称ChatGPT-4o助诊未升准确性且44%追加引文虚构，故同理、可读不能替代临床安全。作者强调LLM应作补充而非替代，所有输出须医师前置审核；本研究局限含单中心10例、未全校正多重比较、网页/API/Poe异构调用、缺急性预警场景、单轮交互。结论译文如下。
结论（翻译）
综上，主流LLM在NMOSD患者教育中总体表现满意，但可读性、准确性、完整性、安全性、人文性及患者满意度维度差异显著。DeepSeek-3.2在客观可读性占优，Gemini-3.1-pro在准确性与安全性最强，Qwen-3.5-plus在完整性与人文性领先且患者满意度初步乐观，待更大队列确认。不同LLM适配不同教育目标与场景；LLM支持NMOSD教育潜力可观，但输出须在临床监督下解读，人工监管对安全实施不可或缺。本研究发表于《Frontiers in Physiology》。
