《Diagnostics》：Evaluation of Large Language Models for Emergency Triage in Urology: A Multi-Model Study
编辑推荐：
目的：评估广泛应用的大型语言模型（large language models，LLMs）在泌尿外科急诊中的分诊准确性、回答质量、安全性和可重复性，并探讨其潜在的临床应用价值与风险。方法：研究人员开发了50个标准化临床情景（vignette），覆盖10类泌尿外科
目的：评估广泛应用的大型语言模型（large language models，LLMs）在泌尿外科急诊中的分诊准确性、回答质量、安全性和可重复性，并探讨其潜在的临床应用价值与风险。方法：研究人员开发了50个标准化临床情景（vignette），覆盖10类泌尿外科急诊，包括睾丸扭转、急性尿潴留和Fournier坏疽。该情景集包含需要立即急诊科（emergency department，ED）评估的高风险情景、临界情景以及含有误导性线索的非典型情景。研究人员以中文交互方式评估了6个商用LLM——Kimi 3.0、DeepSeek V4、Qwen 3.8-MAX、GPT-5.6 Sol（ChatGPT）、Claude Opus 4.8和Ant Afu（AQ）。每个情景在独立会话中提交3次。由两位具有10年以上临床经验的泌尿外科医生使用三级参考标准（立即急诊科评估、常规门诊评估或居家观察）评估分诊准确性，并使用5点Likert量表对8个维度的回答质量进行评分，同时评估医疗错误严重程度（0–3分）、回答稳定性和中文可读性。总体差异采用Friedman检验，随后进行Holm校正的配对Wilcoxon符号秩检验。结果：共生成900条回答。总体三分类准确率为89.11%，宏平均F1得分为85.73%。Qwen达到最高准确率（94.00%），Claude最低（80.67%）。然而，经Holm校正后，模型间的任何两两比较均未达到统计学显著性。所有模型普遍能识别需要立即ED评估的情景，但在区分常规门诊评估与居家观察方面的能力差异较大。内容质量平均分为3.68–4.15；AQ取得最高总分（4.15±0.49），DeepSeek最低（3.68±0.48）。12.3%的回答存在临床相关错误，其中重大错误占6.2%，危险错误占3.1%。三次运行的分诊完全一致率介于78%–96%。可读性因指标而异，没有任何单一模型持续优于其他模型。结论：6个LLM展现出对泌尿外科急诊进行三级分诊的初步能力，支持进一步研究其潜在的临床应用。然而，在临界病例处理、回答稳定性和安全性方面仍存在重要局限；部分回答包含潜在危险的自救指导，或可能导致高风险患者延迟就诊。整合权威指南、结构化风险警告和人工审核将有助于提高临床安全性和可靠性。
泌尿外科急症起病突然，常需迅速干预；不当自我处理或延迟就诊可能导致不可逆损伤甚至死亡。已有研究报告10年间急性泌尿系统疾病负担显著增加，对医疗系统造成较大压力。系统综述显示，约35%–75%的人在咨询医务人员前会先从互联网获取健康信息。大型语言模型（large language models，LLMs）可整合自然语言症状描述、生成鉴别诊断并推荐诊疗路径，已迅速进入患者健康信息和临床决策支持领域。既往研究表明，通用LLM编码了大量临床知识，在医学问答上表现良好，并能生成信息质量和共情程度较好的回答。但正确回答知识问题不等于能做出正确临床决策；在急诊场景中，不恰当的行动建议可能直接导致治疗延迟、不必要的资源使用或不安全的自我处理。已有研究也发现，LLM在标准化问题之外，面对误导性或信息不完整信息时存在系统性局限。现有泌尿外科LLM研究多聚焦知识问答、患者教育或单轮病例咨询，评价指标多为准确性、完整性和可读性，而对模型判断紧迫性、识别潜在高风险患者、避免急诊分诊不当的能力研究不足。因此，研究人员开展本研究，旨在系统评估多个常用LLM在泌尿外科急诊分诊中的潜在作用与主要安全风险。
研究人员依据欧洲泌尿外科学会（European Association of Urology，EAU）指南中涉及的泌尿外科急诊主题，以及患者在社交媒体平台和网站上常向医务人员提出的问题，构建了50个标准化临床情景（vignette），覆盖10类泌尿外科急症。所有问题均去除身份信息，并修改年龄、既往病史和症状描述措辞；情景包括需立即急诊科（emergency department，ED）评估的高风险情景、不需立即ED评估的临界情景，以及含有误导性线索的非典型情景。研究人员评估了6个商用LLM：Kimi 3.0、DeepSeek V4、Qwen 3.8-MAX、GPT-5.6 Sol（ChatGPT）、Claude Opus 4.8和Ant Afu（AQ）。所有交互均以中文、通过网页界面默认设置完成；每个情景在新会话中作为唯一用户消息原样提交，不附加任务指令或追问；情景顺序完全随机，每个模型对每个情景独立提交3次，共产生900条回答。两位具有10年以上临床经验的泌尿外科医生独立评估分诊准确性、内容质量、医疗错误严重程度、稳定性和中文可读性。统计采用Friedman检验、Holm校正的Wilcoxon符号秩检验、Cohen's κ、绝对一致性组内相关系数（ICC）和Fleiss' κ。
3.1 三分类分诊准确性：900条回答的总体三分类准确率为89.11%，宏平均F1得分为85.73%。Qwen准确率最高（94.00%），Claude最低（80.67%）。Friedman检验显示模型间总体差异有统计学意义（χ2=17.814，p=0.0032），但Holm校正后15项两两比较均无统计学显著性。混淆矩阵显示所有模型普遍能识别需立即ED评估的情景；在二分类分析中，DeepSeek、Qwen、AQ和ChatGPT的急诊敏感性均达到100%，Kimi为98.67%，Claude为93.33%；非急诊特异性方面，DeepSeek、Qwen和Claude为100%，Kimi和AQ为98.67%，ChatGPT为96.00%。但在区分常规门诊评估与居家观察方面，模型间差异较大；Qwen在三个分诊类别间表现最均衡，并在睾丸扭转、急性尿潴留、肉眼血尿伴血块潴留、梗阻性肾盂肾炎/尿脓毒症、疑似尿道损伤和睾丸破裂/严重阴囊创伤6个类别达到100%正确分诊，而在其他4个类别出现误分诊。最坏情况分析显示，Kimi在25个需急诊情景中有1个（4.0%）、Claude有3个（12.0%）存在至少一次将急诊病例推荐为非急诊。
3.2 内容质量：两位评分者对整体D1–D8内容质量评分的绝对一致性组内相关系数ICC(A,1)=0.965，ICC(A,2)=0.982，信度极佳。各模型总体内容质量得分范围为3.68–4.15；AQ最高（4.15±0.49），DeepSeek最低（3.68±0.48）。模型间总体差异显著（χ2=86.69，p<0.001）。配对比较中，AQ得分高于其他5个模型，ChatGPT高于Kimi、DeepSeek、Qwen和Claude，Holm校正后均p<0.01；Kimi、DeepSeek、Qwen与Claude之间无显著差异。除D5外，各维度得分在模型间均有差异；AQ在D1、D2、D3、D4、D6和D7维度得分最高，Claude在D8（信息优先级与可执行性）表现最佳。
3.3 医疗错误：医疗错误严重程度评估的加权Cohen's κ=0.92。900条回答中，87.7%（789条）无临床相关错误，3.0%（27条）为轻微错误，6.2%（56条）为重大错误，3.1%（28条）为危险错误。各模型任何错误率范围为10.7%–14.7%，重大或危险错误率范围为4.7%–12.0%，危险错误率范围为0.7%–5.3%；模型间差异均无统计学显著性（p分别为0.956、0.382和0.886）。
3.4 可重复性：同一情景3次分诊完全一致率分别为：Kimi 84%（Fleiss κ 0.83）、DeepSeek 90%（κ 0.89）、Qwen 92%（κ 0.92）、AQ 96%（κ 0.96）、ChatGPT 94%（κ 0.94）、Claude 78%（κ 0.76）。Claude的重复性最低，AQ最高。
3.5 中文可读性：AlphaReadabilityChinese的9项指标中，8项指标在模型间差异显著，唯一例外是名词语义准确度。ChatGPT的词汇丰富度最低；Kimi和Claude的句法丰富度最低，Qwen最高；DeepSeek在动词、名词-动词联合和实词语义准确度方面最高，且名词语义丰富度最低；AQ的词汇丰富度和名词语义噪声最高，多项语义准确度指标最低；Claude的名词语义清晰度最高。整体而言，没有任何单一模型在可读性上持续最优。
讨论部分指出，LLM近年来因强大的知识整合和自然语言能力被用于患者咨询、医学教育和临床决策支持；既往研究显示LLM可进行病史采集、形成鉴别诊断并提供处理建议，但在急诊分诊中总体准确性、可重复性和低危/临界病例处理欠佳，且临床决策可能受信息呈现方式、提示措辞和非临床线索影响，尚不能在没有专业监督的情况下独立分诊。本研究的总体准确性为89.11%，高于多数既往普通急诊分诊研究，但研究人员认为这可能与任务设计有关：本研究仅限于10类泌尿外科急症，采用三级分类并直接对应推荐就诊场所，输入信息相对完整且格式一致，同时近年来LLM技术快速进步。然而，仅能识别需要急诊的病例并不能证明分诊价值；一个“一律建议立即急诊评估”的规则可达到50%总体准确率且不遗漏急诊，但会使全部非急诊情景被过度分诊。讨论还强调，即使分诊类别正确，后续管理建议也可能不安全。例如，在描述严重龟头肿胀、紫绀变色、明显疼痛且嵌顿包茎持续4小时的情景中，Kimi和DeepSeek虽正确建议立即ED评估，却同时提供了持续压迫龟头和自行手法复位的详细指导，被两位评审医生判定为不安全；在疑似早期Fournier坏疽的病例中，Claude将部分症状归因于糖尿病周围神经病变，建议“今天或明天”常规门诊就诊，并仅在体温超过38.5℃、肿胀扩散或明显疼痛时才建议急诊，可能让患者误以为无需立即急诊，从而延误Fournier坏疽的诊断与清创。此外，AQ的回答常包含超出患者即时决策需求的专业术语和检查治疗细节，可能增加认知负担；提示语中预设定通俗语言和结构式回答可能有助于改善。未来研究应优先关注基于权威指南的检索增强生成、低置信度或临界回答触发强制人工审核，以及部署前不仅测试准确性，还需进行对抗稳健性、可重复性和系统性错误模式分析的监管标准。本研究的局限性包括：仅使用50个模拟情景、单轮固定提示交互、由两位泌尿外科医生评分可能存在的部分主观性，以及D1–D8维度等权重可能掩盖关键安全错误；未来需在真实患者中开展多中心前瞻性研究，并将模型建议与就医行为和临床结局关联起来。
结论部分可翻译为：6个LLM展现出对泌尿外科急诊进行三级分诊的初步能力，支持进一步研究其潜在的临床应用。Qwen在本研究中观察到的准确率和宏平均F1得分最高，但经Holm校正后所有准确性两两比较均无统计学显著性；AQ的复合内容质量得分最高。整合权威指南、结构化风险警告和人工审核将是提高安全性和临床可靠性的必要条件。
