《Frontiers in Physiology》：A cross-sectional comparison of five large language models in answering Chinese-language patient queries on visual field defects associated with brain diseases
编辑推荐：
翻译摘要：
**摘要**
**背景：** 与脑疾病相关的视野缺损可源于卒中、颅内占位性病变及其他中枢视觉通路疾病。患者问题常涉及症状识别、病因解释、就诊分诊、治疗及康复。大语言模型可能改善患者教育的可及性，但在这一高风险、跨学科的中文场景中，其准确性、
翻译摘要：
**摘要**
**背景：** 与脑疾病相关的视野缺损可源于卒中、颅内占位性病变及其他中枢视觉通路疾病。患者问题常涉及症状识别、病因解释、就诊分诊、治疗及康复。大语言模型可能改善患者教育的可及性，但在这一高风险、跨学科的中文场景中，其准确性、逻辑性、连贯性、安全性和内容可理解性尚未在受控条件下进行比较。本研究旨在从多个维度比较五种选定的大语言模型的性能。
**方法：** 本横断面研究将经专家修订、以患者视角表述的30个固定中文问题，通过统一应用程序编程接口（API）客户端提交给ChatGPT 5.6 Sol、DeepSeek V4 Flash、Gemini 3.7 Flash、Qwen 3.8 Max和Kimi K3。每个模型在独立的单轮会话中对每个问题生成一次回复，禁用网络检索并清除对话历史。三名对模型身份设盲的评分者独立对随机呈现的150条回复，从准确性、逻辑性、连贯性、安全性和内容可理解性五个维度按1～5分进行评分。同时记录回复时间、词数、非空格字符数、句子数、段落数和表格数。采用Friedman检验进行模型间比较，随后进行Bonferroni校正的Wilcoxon符号秩检验。评分者间一致性采用Kendall’s W评估。相关性采用Spearman分析，并经Benjamini-Hochberg错误发现率校正。
**结果：** 三名评分者在全部五个维度上的一致性较高（Kendall’s W = 0.820–0.844；均P < 0.001）。五种模型在准确性、连贯性和内容可理解性上存在差异（分别为P < 0.001、P < 0.001和P = 0.001）。在逻辑性或安全性方面未观察到统计学显著的模型间差异（分别为P = 0.247和P = 0.061）。ChatGPT 5.6 Sol的准确性中位数得分最高[4.67（四分位距，4.00–5.00）]，Kimi K3的连贯性中位数得分最高[4.50（4.00–5.00）]。两种模型的内容可理解性中位数得分均为4.67（4.00–5.00）。回复时间、回复长度和文本结构在模型间也存在差异，但其与专家质量评分的相关性总体较弱（|ρ| ≤ 0.279）。
**结论：** 五种大语言模型在回答中文脑病相关视野缺损患者问题时表现出明显的多维度性能差异。没有任何单一模型在所有临床相关维度上均表现最佳。这些发现仅针对2026年8月15日测试的模型版本；未评估重复生成间的稳定性。回复速度、长度和结构不能替代对医学质量的直接评估。受控条件下安全性评分无统计学显著差异并不代表临床安全性等同或充分。大语言模型更适合在临床监督下辅助患者教育和医患沟通，而非独立作出诊断或治疗决策。
**论文解读：中文脑病相关视野缺损患者咨询中五种大语言模型的多维比较研究**
**1. 研究背景与问题提出**
视野缺损是脑疾病损伤中枢视觉通路的重要临床表现，可源于卒中、颅内占位性病变、外伤性脑损伤、神经外科手术及脱髓鞘疾病等。患者常以“视物模糊”或“视野缺了一块”等非特异性主诉就诊，但病变可能累及眼球、视神经、视交叉、视束、视放射或视觉皮层，产生双颞侧或同向性视野缺损。此类缺损可限制驾驶、行走和障碍物检测能力，严重时增加需住院治疗的跌倒风险。因此，相关咨询不仅涉及单一专科的症状解释，还涵盖鉴别诊断、病灶定位、风险分层、专科转诊、原发病治疗及视觉康复等多学科问题，可能涉及眼科或神经眼科、神经内科、神经外科、影像诊断和视觉康复等领域。回答的准确性、安全性和可及性可能影响患者对就医紧迫性的判断及后续行动。
大语言模型（large language model, LLM）在临床、教育和研究领域的应用日益广泛，但其可能传播不准确或扭曲的医学内容。既往针对眼科患者问题的研究发现，模型回复存在信息不完整、错误乃至潜在有害建议，且部分回复需要过高的阅读水平，不应在无专业监督下直接指导患者决策。同一系统内的性能可能随时间波动，也因模型、版本和眼科主题而异。已有研究比较了多个模型在先天性白内障患儿家长和糖尿病视网膜病变患者问题上的表现，Huang等人使用五个质量维度和字符、词、句子计数评估了五种LLM在常见眼科问题上的表现。然而，现有研究尚未确立LLM能否恰当回答脑病相关视野缺损的患者问题。在该场景中，模型必须解释视野症状、识别与中枢病因相关的警示信号，并提供恰当的跨专科指导以及治疗、康复、护理、心理支持和预后信息。本研究据此将多维度评估扩展至这一特定咨询场景，并纳入回复时间、段落数和表格数等客观特征，探索输出特征与专家评分质量之间的关联。
**2. 研究设计与方法**
研究人员开展了一项横断面比较研究，通过统一应用程序编程接口（application programming interface, API）客户端Cherry Studio，向ChatGPT 5.6 Sol、DeepSeek V4 Flash、Gemini 3.7 Flash、Qwen 3.8 Max和Kimi K3五种模型提交30个固定中文问题。问题库基于欧洲卒中组织卒中后视觉障碍指南、国际垂体协会垂体偶发瘤共识、特发性颅内高压管理共识以及美国放射学会视力丧失适宜性标准等临床框架构建，并经临床专家小组讨论修订，最小化医学术语，模拟真实患者视角。问题分为六大类：症状识别与自我评估；脑疾病与视野变化；就医与诊断检查；治疗与干预；康复与日常护理；心理支持与预后。所有回复均在标准化单轮会话中生成，禁用网络检索，清除对话历史，并记录回复时间、词数、非空格字符数、句子数、段落数和表格数。三名对模型身份设盲的临床眼科研究评分者使用预先规定的五维度评分标准（准确性、逻辑性、连贯性、安全性和内容可理解性，各1～5分）独立评估150条随机呈现的回复。评分者间一致性采用Kendall’s W评估；模型间比较采用Friedman检验和Bonferroni校正的Wilcoxon符号秩检验；相关性采用Spearman分析并经Benjamini-Hochberg错误发现率校正。
**3. 主要研究结果**
**3.1 客观回复特征**
五种模型的回复时间存在显著差异，DeepSeek V4 Flash平均回复时间最短（17.333 ± 7.743秒），Qwen 3.8 Max最长（36.067 ± 16.360秒）。词数、非空格字符数、段落数、句子数和表格数在模型间均存在显著差异。Qwen 3.8 Max的平均词数最高（1337.567 ± 712.704），ChatGPT 5.6 Sol最低（499.267 ± 210.212）。句子数差异最大（Kendall’s W = 0.729），表格数差异最小（Kendall’s W = 0.168）。Kimi K3的表格数中位数最高（0.50），其他模型均为0。
**3.2 专家质量评分**
三名评分者的评分一致性较高，Kendall’s W范围为0.820～0.844。五种模型在准确性、连贯性和内容可理解性上存在显著差异；逻辑性和安全性无显著差异。准确性方面，ChatGPT 5.6 Sol得分最高（中位数4.67），Gemini 3.7 Flash最低（中位数3.17）。连贯性方面，Kimi K3最高（中位数4.50），Qwen 3.8 Max最低（中位数3.67）。内容可理解性方面，ChatGPT 5.6 Sol和Kimi K3并列最高（中位数4.67），均显著高于Gemini 3.7 Flash（中位数4.00）。安全性评分虽无模型间显著差异，但观察到部分低分回复：Gemini 3.7 Flash有2条回复得分≤2，DeepSeek V4 Flash有1条。
**3.3 客观特征与质量评分相关性**
词数与非空格字符数几乎完全相关（ρ = 0.998），两者与句子数强正相关，与段落数中度正相关。客观长度指标与专家质量评分总体呈弱负相关（|ρ| = 0.224～0.276），回复时间仅与连贯性弱负相关（ρ = ?0.224），表格数与内容可理解性弱负相关（ρ = ?0.279）。专家评分维度之间的相关性也较弱，准确性与逻辑性弱正相关（ρ = 0.288），连贯性与内容可理解性弱正相关（ρ = 0.272）。
**4. 讨论与结论**
本研究在相对统一的条件下进行了任务层面比较。结果显示，五种LLM的多维表现存在明显差异，但没有一种模型在所有临床相关维度上均表现最佳，且回复速度、长度和结构不能替代直接医学质量评估。安全性评分的无显著差异不能外推为临床安全性等同。模型选择应基于具体任务，将医学准确性、内容可理解性和临床安全性综合考量。研究人员建议LLM更适合在临床监督下辅助患者教育和医患沟通，特别是对警示信号、就医时机和跨专科指导的审核；不应独立作出诊断或治疗决策。未来研究应评估多轮对话和检索增强系统的表现，量化罕见但高风险错误，并以患者相关结局为评价指标，以确定专家评分差异是否转化为实际临床获益。
