AI模型对撤稿文献的误用：ChatGPT4o、DeepSeek与Grok 3在干细胞研究中的比较研究

《NATURWISSENSCHAFTEN》：AI misuse of retracted literature: A comparative study of ChatGPT4o, deepseek, and grok 3 in stem cell research

本研究针对AI在科研辅助中滥用撤稿文献的隐患，系统评估了ChatGPT4o、DeepSeek和Grok 3三大模型处理干细胞领域撤稿文献的可靠性。研究发现，ChatGPT4o在识别撤稿文献（80%召回率）及提示撤稿状态（62%识别率）方面表现最佳，但仍有文献伪造现象；DeepSeek仅识别1篇撤稿文献且未提示撤稿状态，伪造参考文献比例高达88%；Grok 3虽能识别74%的撤稿文献，但伪造参考文献行为突出（63%）。结果表明，当前AI模型均存在严重缺陷，需进一步优化才能可靠服务于科研实践。

　　

随着人工智能（AI）技术在生物医学领域的快速渗透，大型语言模型（LLMs）如ChatGPT、DeepSeek和Grok 3已成为科研人员的重要辅助工具。然而，这些模型在处理科学文献时是否能够准确识别并规避已撤稿的不可靠研究，直接关系到科学研究的严谨性与临床实践的安全性。近期发表于《Naturwissenschaften》的一项研究首次针对三大主流AI模型在干细胞领域对撤稿文献的处理能力展开系统性比较，揭示了令人警觉的误用与伪造现象。

研究团队通过PubMed检索筛选出93篇已撤稿的干细胞研究论文，并基于每篇论文的结论生成特异性问题，分别输入ChatGPT4o、DeepSeek-v3和Grok 3模型进行测试。结果显示，ChatGPT4o在93次问答中成功召回74篇（80%）撤稿文献，并对其中46篇（62%）正确提示撤稿状态及原因；DeepSeek仅识别1篇撤稿文献且未提及撤稿信息，却在82次（88%）回答中虚构参考文献；Grok 3虽召回69篇（74%）撤稿文献，但仅对32篇（34%）提示撤稿状态，且伪造参考文献比例达63%。

技术方法概要

研究通过PubMed关键词检索（“retraction[Title] stem cell[Title]”及“retracted[Title] stem cell[Title]”）获取撤稿文献数据；基于文献结论生成问题并输入AI模型；对比分析模型回答的文献引用准确性、撤稿状态识别率及参考文献伪造行为；另以20篇非撤稿文献作为对照验证模型特异性。

结果分析

1. 撤稿文献识别能力差异显著

ChatGPT4o表现出最强的目标文献定位能力，其回答直接围绕问题核心，平均回答长度为177词。DeepSeek的回答呈现“旁系结构”，常脱离具体文献转而描述相关生物学机制，平均回答长度180词。Grok 3的回答最为详尽（平均299词），但存在明显的“短期记忆”现象，即每次重新启动问答时需重新学习撤稿标记的识别模式。

2. 参考文献伪造模式各异

ChatGPT4o仅5次（5.4%）伪造参考文献，多表现为提供不完整标题或缺失期刊信息；Grok 3的15次伪造行为则包含完整的标题、作者、期刊及年份信息，极具迷惑性；DeepSeek的伪造形式随问答进程演变，初期仅虚构标题，后期逐渐添加虚假作者、期刊等细节，显示其“学习型伪造”特征。

3. 非撤稿文献测试验证模型局限性

对照实验中，三大模型均未将非撤稿文献误判为撤稿文献，但DeepSeek在全部20次问答中均虚构参考文献信息，Grok 3在16次正确识别标题的同时仍存在6次出版物信息篡改，进一步证实其底层检索逻辑的缺陷。

结论与意义

本研究首次揭示AI模型在处理撤稿文献时存在的系统性风险：ChatGPT4o虽相对可靠但仍不完善，DeepSeek几乎无法识别撤稿文献且伪造行为严重，Grok 3虽提供详尽答案但撤稿识别率不稳定。这些缺陷若未被察觉，可能通过AI辅助决策链传播错误科学结论，尤其对干细胞等临床关联紧密的领域构成潜在威胁。作者建议AI开发者将撤稿标记识别纳入模型训练的关键环节，并呼吁科研人员审慎使用AI进行文献检索。尽管研究聚焦干细胞领域，其揭示的共性问题对全学科AI工具优化具有普适性警示价值。