《World Journal of Urology》：Confidence without consensus? Human versus AI abstracts in urology
编辑推荐：
专业术语翻译摘要：
**目的** 本研究旨在探究当人类撰写与人工智能（AI）撰写的摘要描述同一项研究时，泌尿外科医生能否区分二者，以及该能力是否取决于具体由哪一AI模型生成。
**方法** 选取15项已发表的泌尿外科研究。针对每项研究，将原始人工撰写摘
专业术语翻译摘要：
**目的** 本研究旨在探究当人类撰写与人工智能（AI）撰写的摘要描述同一项研究时，泌尿外科医生能否区分二者，以及该能力是否取决于具体由哪一AI模型生成。
**方法** 选取15项已发表的泌尿外科研究。针对每项研究，将原始人工撰写摘要与分别由Claude Sonnet 4.6、GPT-5.5和Gemini 3 Flash在相同指令及各自常规消费者设置下生成的三篇AI摘要配对。由于所有四个版本描述同一项研究，底层数据保持恒定，各版本差异仅体现在材料的撰写与呈现方式上。所得60篇摘要去除识别信息后，由8名泌尿外科医生在不了解来源的情况下全部阅读（共480次判断）。对于每篇摘要，评审者需说明其认为由人类还是AI撰写，评估该判断的置信度，并在5分量表上对摘要质量和可信度进行评分。
**结果** 评审者对AI撰写摘要的正确识别率为49.3%，约为50%，而人类撰写摘要的正确识别率为62.4%（p = .011）。结果高度依赖于具体生成模型（p = .003）。Claude生成的摘要被识别为AI的比例仅为40.0%，显著低于人类摘要的正确识别率（p = .003），也显著低于GPT摘要（56.8%，p = .038）；Gemini居中，为50.9%。质量评分仅GPT存在差异，其得分低于人类摘要（p = .046；总体检验p = .030）；可信度评分在各来源间无显著差异（p = .577）。自信程度较高的评审者正确率并未更高（p = .749），且评审者之间对哪些摘要由AI撰写的共识极低（Fleiss’ κ = ?0.009）。
**结论** 泌尿外科医生无法可靠识别AI撰写的泌尿外科摘要，且该困难主要来自某一特定模型而非AI写作整体。摘要质量看似优劣与实际作者身份是否正确识别关系不大，评审者信心及评审者间一致性均未提供任何警示信号。因此，仅凭阅读并非检测未披露AI作者身份的可靠方法。
论文解读
**研究背景与问题**
大语言模型（Large Language Models, LLMs）在医学领域已从新兴技术迅速转变为常规基础设施，应用于临床决策支持、患者沟通、医学教育及科学文本起草等方面。其流畅的学术英语写作能力吸引了许多作者使用，但也引发持续担忧：未经披露的AI文本可能与实际收集数据的研究人员所撰写的文本难以区分，并可能将未经核实的内容带入文献。既往研究在不同专科中报告了极为多样的AI文本可检测性结果，从编辑委员会评审者在盲法征文比赛中接近随机水平的表现（准确率50%），到骨科评审者及商业AI检测软件的近乎完全失败，显示出AI生成科学写作的可检测性并非“AI文本”的固定属性，而可能高度依赖于具体生成模型、涉及的专科和文本体裁以及评审者个体。泌尿外科领域已有研究评估LLM用于生成患者教育材料、回答临床问题、复现指南更新及起草系统评价部分内容，但尚未有研究在保持底层研究恒定的情况下，专门考察人类医生能否区分同一研究的人类撰写摘要与特定LLM生成的摘要。为此，研究人员开展了一项盲法评估，以回答泌尿外科医生能否区分人类与AI撰写的摘要，以及该能力是否因AI模型而异。
**研究设计与方法**
研究人员采用完全交叉、重复测量的盲法横断面设计。由资深作者提供约30篇近期发表的泌尿外科文章，第一作者通过便利抽样选出15项研究，涵盖原创研究、系统评价、共识与指南文件，发表于European Urology、European Urology Focus、The Lancet Oncology、World Journal of Urology、Journal of Pediatric Urology、The Journal of Sexual Medicine、Sexual Medicine Reviews及American Journal of Obstetrics and Gynecology等期刊，涉及结石病、泌尿肿瘤、良性前列腺增生、小儿泌尿外科、男科与性医学及女性泌尿外科，包含随机对照试验、前瞻性试验、系统评价与Meta分析、共识与指南总结以及回顾性机器学习队列。每项研究配有一篇原始人类撰写摘要及三篇分别由Claude Sonnet 4.6（Anthropic）、GPT-5.5（OpenAI）和Gemini 3 Flash（Google）生成的AI摘要。生成使用标准消费者聊天界面，于2026年4月26日至27日完成，不采用API访问、检索增强生成、自定义系统提示或非默认温度设置。提供给模型的源材料仅限于每项研究的IMRaD（Introduction, Methods, Results and Discussion）内容，移除所有识别信息。模型被要求仅使用输入中明确提供的数值数据和发现，禁止捏造、推断或外推未报告数值，生成230–250词的四段式结构化摘要。每篇摘要均在新的独立会话中生成，关闭网络搜索与浏览功能。最终共60篇摘要，由8名泌尿外科医生通过结构化在线调查全部评估，每篇摘要需判断来源（人类/AI/不确定）、评估置信度（5分制）、评分清晰度与质量（5分制）及感知用处与可信度（5分制）。主要结局为作者身份分类准确率，次要结局包括质量和可信度评分、置信度与实际准确率的校准、不确定判断的频率与分布、评审者间一致性及自由文本理由的主题分析。统计分析使用R 4.6.0，分类准确率采用广义线性混合模型（二项族、logit连接），以评审者和摘要为交叉随机截距；质量和可信度评分采用累积链接混合模型。当总体来源效应显著时才进行两两比较，并以Holm法校正多重比较。将“不确定”反应视为缺失或错误分别进行敏感性分析。
**主要结果**
**检测准确率总体与按来源分析**：8名评审者对60篇摘要共做出480次判断，其中14次（2.9%）为“不确定”，排除后剩余466次。AI摘要（合并三个模型）的总体识别准确率为49.3%（349次判断中），约为50%；人类摘要准确率为62.4%（117次判断中），差异显著（p = .011）。按四个来源分别分析时，总体效应显著（χ2(3) = 13.86, p = .003）。Claude生成摘要仅40.0%被正确识别为AI，显著低于人类摘要的正确识别率（p = .003）也显著低于GPT（56.8%，p = .038）；Gemini居中（50.9%），与人类摘要无显著差异（p = .261）。Claude摘要被判定为“人类”的比例达60.0%，几乎接近真实人类摘要的62.4%。将“不确定”重编码为错误分类后，结论不变，Claude仍显著更难检测。配对分析（同一来源研究对应四篇摘要）显示，加入来源研究作为第三随机截距后，估计变化可忽略不计，说明来源研究聚类对结果无影响。
**质量与可信度评价**：感知质量评分因来源而异（χ2(3) = 8.98, p = .030），GPT摘要评分（M = 3.21）显著低于人类摘要（M = 3.52，p = .046）；Claude（M = 3.48）与Gemini（M = 3.50）与人类无明显差异。可信度评分无来源间差异（χ2(3) = 1.98, p = .577）。GPT摘要所含数值数量约为其他来源的两倍（M = 65.8，人类29.9，Claude 36.3，Gemini 34.5），这可能是其质量评分偏低且更易被发现的解释之一。
**置信度与一致性**：评审者自报置信度与实际准确率无关（p = .749），准确率随置信度未呈单调上升，最高准确率出现在置信度1和5时（分别为66.7%和61.0%），中间置信度水平准确率接近随机。评审者间在“人类/AI/不确定”判断上的一致性可忽略（Fleiss’ κ = ?0.009, p = .674）。质量评分的组内相关（ICC(2,k) = 0.250, p = .014）较低，可信度评分的ICC不显著（ICC(2,k) = 0.057, p = .340）。“不确定”判断在各来源间分布无差异（Fisher精确检验p = .802）。一名评审者贡献了14次“不确定”中的9次；排除该评审者后，Claude效应仍显著（p < .001），而GPT和Gemini的对比由不显著变为显著（p = .039及p = .004），提示这些估计在小样本下不稳定。
**自由文本主题**：定性分析显示，评审者怀疑AI身份时主要依赖的印象是“笼统性”和缺乏具体临床细节，而文风自然性和报告结果的特异性最常被作为判断依据。
**讨论与结论**
本研究表明泌尿外科医生区分AI与人类摘要的能力有限，总体检测准确率约50%，人类摘要的识别率显著更高，这一模式主要由Claude模型驱动。Claude摘要被判定为人类的频率几乎与真实人类摘要相当，这是最清晰的实践警示信号。可检测性与感知质量是可分离的概念：GPT既最易检测又评分最低，Claude最难检测却与人类评分无差；可信度评分完全无来源效应。这些发现与耳鼻喉科一项采用近似设计的独立研究结果相互印证，后者同样发现Claude常被误认为人类。评审者置信度无法预测准确率，评审者间一致性极低，提示仅靠人工阅读不是可靠的筛查机制。研究人员建议编辑政策应建立在可检测性会随着模型更新而持续变化的预期之上，而非基于AI文本具有固定特征的假设。未来方向包括招募更大规模的评审小组（含期刊编辑和生物统计学家）、将设计扩展至全文、随模型更新重复实验，以及结合人类评审与技术检测工具的混合方案。
