《Basic and Clinical Andrology》：Evolution of guideline-based male infertility responses by large language models between 2025 and 2026: a comparative analysis of ChatGPT, Perplexity, and DeepSeek
编辑推荐：
专业术语翻译（摘要部分）
背景：大语言模型（large language models，LLMs）正越来越多地被患者和临床医生用于获取医学信息，然而随着模型更新，其性能可能随时间发生变化。男性不育症是一个对指南高度敏感的领域，不准确或不完整的信息可能影响诊断评
专业术语翻译（摘要部分）
背景：大语言模型（large language models，LLMs）正越来越多地被患者和临床医生用于获取医学信息，然而随着模型更新，其性能可能随时间发生变化。男性不育症是一个对指南高度敏感的领域，不准确或不完整的信息可能影响诊断评估、咨询和诊疗预期。本研究评估了ChatGPT、Perplexity和DeepSeek在2025年至2026年间回答源自指南的男性不育症问题时的逐年演变情况。
结果：研究共评估了528条聊天机器人应答，这些应答来自88个源自欧洲泌尿外科学会（European Association of Urology，EAU）指南的男性不育症问题，由ChatGPT、Perplexity和DeepSeek于2025年和2026年分别作答。2025年，在全部四个评分维度上均观察到显著的模型间差异，其中Perplexity在内容质量和专家评分方面得分最高，而DeepSeek表现最弱。2026年，各模型的DISCERN评分趋于一致，而可读性、总体质量评分（Global Quality Score，GQS）和专家意见方面仍存在显著差异。ChatGPT在全部四个评分维度上均表现出显著改善，并在2026年获得最高的GQS。DeepSeek表现出最为显著的改善，尤其在DISCERN和专家意见评分方面。Perplexity在可读性方面有所改善，但在GQS或专家评定的临床实用性方面未出现平行的正向变化。2025年DeepSeek的88条应答中有7条被识别出潜在的患者安全问题，而2026年的应答中未发现此类问题。528条应答中均未包含被认为可能造成即时或严重患者伤害的明确建议。
结论：模型性能以模型特异性的方式而非统一渐进的方式发生变化。研究结果代表了对表述清晰、源自指南的问题的抽样首次应答，而非模型性能或可重复性的稳定估计。LLMs可能有助于获取男性不育症信息，但仍需对照权威来源进行核验，并保持适当的人类监督。
论文解读文章
一、研究背景与意义
男性不育症是重要的生殖健康问题，男性因素在不孕夫妇的诊断评估中占有重要地位。男性不育症的评估需要仔细解读精液分析、内分泌检查结果、睾丸评估、影像学结果、遗传学指征及治疗方案，因此，基于指南的准确咨询至关重要，可避免评估不完整、不当安抚、不必要的检查或误导性的治疗预期。大语言模型（LLMs）正越来越多地被患者和临床医生用于获取医学信息，公开可用的平台如ChatGPT、Perplexity和DeepSeek能够针对临床问题生成快速、流畅且看似权威的答案。然而，流畅性并不必然代表准确性、完整性、来源可靠性或与基于指南的诊疗一致性。
一个关键挑战在于LLM性能并非静态不变。由于模型更新、检索机制改变、来源访问变化以及响应生成行为的调整，聊天机器人的输出可能随时间发生变化。相比之下，2025年和2026年欧洲泌尿外科学会（EAU）性健康与生殖健康指南中与本研究问题集相关的男性不育症建议基本保持稳定。这为在临床参考标准基本不变的情况下，时隔一年重新评估相同的指南衍生临床问题、考察聊天机器人性能的时间变化提供了方法论上的机会。
二、研究内容与主要结论
本研究评估了ChatGPT、Perplexity和DeepSeek在2025年和2026年两个时间点回答88个源自EAU指南的男性不育症临床问题时的逐年演变情况，旨在确定各模型在可靠性、整体信息质量、可读性和专家评定的临床实用性方面是否改善、恶化或保持稳定。
2025年评估中，三个模型在全部四个评分维度上均存在显著差异。Perplexity在DISCERN、总体质量评分（GQS）和专家意见评分方面均取得最高中位数，而DeepSeek在DISCERN和专家意见方面表现最弱。2026年重新评估中，DISCERN评分在三个模型间不再存在显著差异，均达到中位数5。ChatGPT在GQS方面取得最高中位数，专家意见评分方面ChatGPT和DeepSeek均高于Perplexity。Perplexity的可读性（Gunning Fog Index，GFI）仍最高，表明其应答语言复杂度仍高于其他模型。
模型内逐年比较显示：ChatGPT在全部四个维度均显著改善，GFI从15.68降至14.99，DISCERN、GQS和专家意见各提升一个中位数点。Perplexity的GFI从17.39降至16.00，但GQS和专家意见均下降一个中位数点。DeepSeek改善最为显著，GFI从15.30降至14.30，DISCERN从中位数3升至5，专家意见从中位数3升至5，GQS保持中位数4但分布上移。安全评估发现2025年DeepSeek的88条应答中有7条（8.0%）存在潜在患者安全问题，2026年未发现此类问题。全部528条应答中均未包含被认为可能造成即时或严重患者伤害的明确诊断或治疗建议。
三、主要关键技术方法
研究人员采用重复横断面比较设计，将相同的88个源自EAU指南的英文临床问题分别于2025年5月和2026年5月提交给三个公开可访问的LLM平台。2025年使用ChatGPT-4o、Perplexity AI和DeepSeek R1，2026年使用ChatGPT-5.5、Perplexity Sonar和DeepSeek V4，均通过免费标准网页界面访问。每个提示词在禁用记忆的新建私密会话中单独提交，仅保留首次完整应答。应答由两名男性不育症专长的学术泌尿外科医生以盲法独立评分，采用改良短版DISCERN工具评估可靠性、GQS评估整体信息质量、Gunning Fog Index评估可读性、五分量表评估专家评定的临床实用性，并单独评估潜在患者安全问题。统计采用Kruskal–Wallis检验、Dunn事后检验（Bonferroni校正）和Wilcoxon符号秩检验。
四、研究结果
2025年模型间比较：在2025年评估中，ChatGPT、Perplexity和DeepSeek在全部四个评分维度上均存在显著差异。Perplexity的GFI最高，表明语言复杂度最高；Perplexity在DISCERN、GQS和专家意见方面均取得最高中位数，DeepSeek在DISCERN和专家意见方面最低。
2026年模型间比较：2026年重新评估中，GFI、GQS和专家意见方面仍存在显著模型间差异，但DISCERN评分不再有显著差异，三个模型的中位数均为5。ChatGPT在GQS方面最高，专家意见方面ChatGPT和DeepSeek高于Perplexity，Perplexity的GFI仍最高。
事后成对比较：2025年，Perplexity在DISCERN、GQS和专家意见方面均显著不同于ChatGPT和DeepSeek，ChatGPT也显著不同于DeepSeek；GFI方面Perplexity显著高于另外两者。2026年，GFI方面Perplexity仍显著不同于DeepSeek；GQS方面ChatGPT显著高于Perplexity和DeepSeek；专家意见方面Perplexity显著低于ChatGPT和DeepSeek。
模型内逐年比较：ChatGPT在全部四个维度显著改善。Perplexity可读性改善但内容相关评分呈混合模式，GQS和专家意见各下降一个中位数点。DeepSeek改善最为显著，DISCERN和专家意见均从中位数3升至5，GQS分布上移。所有模型内比较均具有统计学显著性。
安全评估：2025年DeepSeek的7条应答存在潜在患者安全问题，这些应答包含不准确、不完整或限定不足的信息，且GQS和专家意见评分较低。2026年未发现此类问题。所有528条应答中均无可能导致即时或严重伤害的明确建议。
五、讨论总结与结论翻译
讨论总结：本研究的核心发现是聊天机器人性能呈动态且模型特异性变化而非统一渐进。ChatGPT在可靠性、整体质量、可读性和专家评定的临床实用性方面持续改善；DeepSeek从较低基线实现了最显著的逐年改善；Perplexity虽仍能生成大体准确和详细的应答，但GQS和专家意见评分相对下降。引用可用性本身并不能保证临床可靠性，应答可能因包含参考文献而显得可信，但这些参考文献的价值取决于其权威性、相关性和正确整合。DISCERN评分在2026年趋于一致，而GQS和专家意见仍能区分模型性能，表明表面可靠性特征（如引用存在或结构化格式）不足以确定男性不育症领域的临床实用性。可读性方面三个模型的GFI在2026年均下降，但可读性不应孤立解读。LLMs可能越来越多地作为男性不育症教育、临床医生准备和患者解释的辅助工具，但其输出不应被视为自主临床建议。幻觉、无关或薄弱来源选择、过度自信措辞和临床背景不完整的风险仍然存在。
结论翻译：在这项使用标准化EAU指南衍生问题对可自由访问的通用LLM平台进行的重复评估中，模型性能在2025年至2026年间以模型特异性而非统一渐进的方式发生变化。ChatGPT在全部四个评分维度上持续改善，而DeepSeek从较低基线表现出显著提升。相比之下，Perplexity在2026年可读性改善但总体质量和专家评定的临床实用性下降，表明仅凭引用可用性并不能确保指南一致或临床有用的信息。2025年DeepSeek的7条应答中识别出潜在患者安全问题，尽管528条应答中均未包含被认为可能造成即时或严重患者伤害的明确建议。这些发现应被解读为在特定时间点从通用平台获得的抽样首次应答，而非模型性能或应答可重复性的稳定估计。使用保留EAU指南术语的清晰表述问题可能有助于生成指南一致的应答，并可能限制对较不具体用户查询的推广性。此外，本研究未将这些平台与医学特异性或临床基础的检索增强系统进行比较。LLMs可能支持快速获取和总结男性不育症信息，但流畅且结构良好的应答不应被假定为临床准确或安全。对照权威来源进行核验和适当的人类监督仍然必要。
