
-
生物通官微
陪你抓住生命科技
跳动的脉搏
AI工具可能正在降低已发表研究的质量,研究警告
【字体: 大 中 小 】 时间:2025年05月14日 来源:AAAS
编辑推荐:
萨里大学的一项研究表明,人工智能可能正在影响新研究的科学严谨性。
萨里大学的一项研究表明,人工智能可能正在影响新研究的科学严谨性。
研究团队呼吁采取一系列措施来减少"低质量"和"科幻式"论文的泛滥,包括加强同行评审流程,以及对复杂数据集使用统计评审人员。
在《PLOS生物学》发表的研究中,研究人员审查了2014年至2024年间发表的论文,这些论文使用美国政府数据集"国家健康与营养检查调查"(NHANES)提出了预测因子与健康状况之间的关联。
NHANES是一个大型公开数据集,被全球研究人员用于研究健康状况、生活方式和临床结果之间的联系。团队发现2014至2021年间,每年仅发表4篇基于NHANES关联性研究,但这一数字在2022年升至33篇,2023年82篇,2024年达到190篇。
萨里大学研究合著者Matt Spick博士表示:"虽然AI显然有潜力帮助科学界实现造福社会的突破,但我们的研究发现它也是可能损害科学严谨性基础的完美风暴的一部分。"
"我们看到大量看似科学但经不起推敲的论文激增——这些是用国家健康数据伪装成科学事实的'科幻小说'。通过API获取这些易得数据集,加上大型语言模型的使用,正在压垮一些期刊和同行评审人员,削弱他们评估更有意义研究的能力——最终降低了整体科学质量。"
研究发现许多2021年后发表的论文采用肤浅且过度简化的分析方法——通常关注单一变量,而忽视对健康状况与潜在原因之间联系更现实的多因素解释。一些论文毫无理由地挑选狭窄数据子集,引发了对不良研究实践的担忧,包括数据挖掘或在看到结果后更改研究问题。
萨里大学研究生研究员、研究主要作者Tulsi Suchak补充道:
"我们并非试图阻止数据获取或禁止人们在研究中使用AI——我们只是要求一些常识性检查。包括公开数据使用方式,确保具有专业知识的评审人员参与,以及标明研究是否只考察了问题的一个方面。这些改变不需要很复杂,但可以帮助期刊更早发现低质量工作,保护科学出版的完整性。"
为解决这个问题,团队为期刊、研究人员和数据提供者提出了一系列实用建议。他们建议研究人员使用完整的可用数据集,除非有明确且充分解释的理由;并透明说明使用了哪些数据部分、时间范围和人群。
对于期刊,作者建议通过引入具有统计专业知识的评审人员来加强同行评审,并更多使用早期桌面拒稿来减少公式化或低价值论文进入系统。最后,他们建议数据提供者为追踪开放数据集使用情况分配唯一申请编号或ID——英国一些健康数据平台已采用这种系统。
研究合著者、萨里大学研究生Anietie E Aliu表示:"我们认为在AI时代,科学出版需要更好的防护措施。我们的建议是一些简单的措施,可以帮助阻止薄弱或误导性研究蒙混过关,同时不阻碍AI和开放数据的好处。这些工具将长期存在,所以我们现在就需要采取行动保护对研究的信任。"
生物通微信公众号
知名企业招聘