《Journal of Hospital Infection》:Ask, don’t assume: Editorial and Data Integrity Triage (EDIT), an editor’s practice-based checklist for screening manuscripts at submission
编辑推荐:
作为编辑,研究人员经常在收到的投稿稿件中发现需要在同行评议开始前进行澄清的问题。参考文献无法找到,摘要中的受试者人数与表格中的不同,或者研究方法无法解释研究结果。大多数情况都有合理的解释,但有些则不然,而论文工厂和人工智能(AI)生成的文本进一步增加了编辑的压
作为编辑,研究人员经常在收到的投稿稿件中发现需要在同行评议开始前进行澄清的问题。参考文献无法找到,摘要中的受试者人数与表格中的不同,或者研究方法无法解释研究结果。大多数情况都有合理的解释,但有些则不然,而论文工厂和人工智能(AI)生成的文本进一步增加了编辑的压力。这篇论文传递的信息很简单:当某些信息对不上时,编辑应在做出任何假设之前向作者提出具体问题,并且应评判研究工作本身,而非关注作者是谁。研究人员描述了编辑与数据完整性分类法(EDIT),这是一份基于研究人员在《医院感染杂志》(Journal of Hospital Infection)的编辑工作以及学术诚信实践所开发的核查清单。EDIT包含五个领域的20项检查,涵盖报告、方法与数据、参考文献、作者署名与声明以及投稿文件。其中十项核心检查可应用于每一份投稿,其余检查则在相关情况下使用。每项发现都会导致常规处理、要求澄清或暂停以待高级评估。写作风格、免费电子邮箱账户、不完整的作者简介、作者所在国家以及异常整洁的数据均不被视为问题的证据。随后通过一个虚构案例展示了一份投稿从初步检查到编辑决策的全过程,并指出了同行评审员可以使用的检查项目。EDIT反映了一位编辑的实践经验,在其被常规应用之前,需要进行独立的评审和测试。
一、研究背景与研究意义
在学术出版领域,编辑在日常工作中频繁遇到投稿稿件中存在各种不一致或信息缺失的情况,例如参考文献无法追溯、摘要与正文表格中的受试者数量不符、研究方法无法支撑所得结论等。虽然大部分问题源于诚实的错误或报告疏漏,但也有部分可能指向不良的研究实践,甚至涉及数据伪造或操纵。此外,近年来论文工厂(paper mills)和人工智能(AI)生成文本的泛滥,给编辑带来了前所未有的压力。现有研究显示,在生物医学领域被撤稿的文章中,超过三分之二与学术不端行为有关,而针对大规模癌症研究论文的筛查也发现近10%的出版物与论文工厂特征相似。尽管出版伦理委员会(COPE)、国际医学期刊编辑委员会(ICMJE)以及STM诚信中心(STM Integrity Hub)提供了相关的指导框架和筛查工具,但现有的核查清单如REAPPRAISED、TRACT和INSPECT-SR主要用于评估已发表或已投稿研究的整体可信度或诚信度,其目的并非围绕编辑在稿件接收阶段的即时决策需求而设计。因此,本研究旨在开发一套专用于稿件投稿阶段筛查的实践性核查清单,帮助编辑在面对疑点时能够系统地提问,避免基于偏见或单一特征做出判断,从而更公平、一致地处理稿件。
二、研究方法与技术路线
研究人员基于其在《医院感染杂志》的日常编辑工作、在牛津布鲁克斯大学的学术诚信实践经验以及对出版伦理指南和研究文献的阅读,独立开发了编辑与数据完整性分类法(EDIT)。该清单的开发并未进行系统的文献检索,而是通过非正式地与编辑同事及大学同仁交流关于稿件筛查和学术诚信(包括学生使用AI的情况)来形成思路。EDIT包含了20项检查,分为十个核心检查(适用于所有投稿)和十个针对性检查(根据文章类型、可用数据或前期发现决定是否启用)。研究人员特别排除了那些容易注意到但信息量极低的特征,例如流畅的文笔、免费邮箱、空白的ORCID简介或异常规整的数据,这些特征不能作为判断问题的依据。每一项检查都要求信息可从投稿或期刊记录中核实,并能导向一个具体的问题和一个合理的后续步骤。
三、研究结果
1. 报告连贯性(Reporting coherence)
本领域包含两项检查。第一项检查科学叙述的含义,要求核实技术术语和关键主张是否有清晰一致的含义,尤其要注意是否存在“扭曲短语”(tortured phrase),即用奇怪的替代词替换既定术语。第二项检查各部分间的一致性,要求将摘要和结论与实际报告的设计、结局和结果进行比较。研究发现,大多数表述不清只需作者解释即可,而“扭曲短语”可通过已知列表客观核查。流畅或重复的散文风格不能证明使用了AI或数据被操纵。
2. 方法、数据与治理(Methods, data and governance)
本领域包含七项检查,涵盖方法的可重复性描述、受试者/事件/分母的一致性、统计一致性、数据来源与可追溯性、图像记录与来源、伦理与知情同意以及方案注册与报告。数值检查必须考虑重叠亚组、四舍五入和不同的分母。标准差大于均值在偏态变量中是正常现象。对于图像的疑问应聚焦于重复、标注和来源,而非凭外观判断真伪。引物(primer)和其他核苷酸序列可对照目标基因进行验证。伦理治理检查需结合研究设计,例如批准日期晚于数据收集开始时间在某些回顾性研究中可接受,但在前瞻性研究中则不可。
3. 参考文献与引用(References and citations)
本领域包含三项检查:参考文献的可检索性、对被引用主张的支持程度以及来源的出版状态。研究人员从支持主要主张的参考文献开始检查,如果发现问题则进一步扩大范围。错误的详细信息、其他语言的标题以及有限的索引都可能隐藏真实的参考文献,因此无法找到的参考文献在被作者澄清前应标记为“未经验证”。这一点尤为重要,因为AI工具可能生成令人信服但不存在的引用。引用已被撤稿的文章只有在讨论撤稿原因时才被视为可接受。
4. 作者署名、声明与同行评议(Authorship, declarations and peer review)
本领域包含六项检查,涉及作者身份的一致性、隶属机构与研究场所、贡献与作者变更、AI使用披露、审稿人选择与独立性以及基金资助与利益冲突。这些检查旨在查找提交信息中的矛盾之处,而非对作者进行画像分析。对于作者推荐的审稿人,编辑应从独立来源确认其专业知识、独立性和联系方式。无法核实的推荐审稿人不应被邀请。AI声明应符合期刊政策,并将写作辅助与研究中的AI使用区分开来。商业话题或声明无利益冲突本身并不构成警示信号。
5. 投稿文件及相关稿件(Submission files and related manuscripts)
本领域包含两项检查:所需支持文件的完整性以及跨文档的特异性重叠。检查要求确认引用的补充材料和期刊要求的文件是否存在、可读且为预期版本。对于跨投稿或出版物的重叠,需要寻找独特的数据、图像或文本的重复使用,并核实是否已声明重用。共享的方法、二次分析和预印本都可以解释重叠现象。
四、决策流程与行动方案
研究人员设计了三种编辑行动:常规处理、要求澄清或更正、以及暂停并寻求进一步评估。如果检查未发现未解决的严重问题,稿件按常规处理。如果信息缺失或不一致但可能得到纠正,编辑应向作者发出具体要求。如果作者回复后仍存在严重矛盾、工作的核心部分无法评估,或者存在可信的操纵证据,则编辑应暂停稿件处理并寻求资深编辑或专家的意见。研究人员强调,不应将多个发现累加计算,一系列微小的呈现问题不等同于学术不端。每项查询都应记录发现内容、作者回复以及下一步行动的理由。研究人员通过一个虚构的系统评价与荟萃分析案例展示了整个流程,最终因一项无法提供的核心参考文献而暂停了稿件处理。
五、讨论与结论
讨论部分指出,EDIT的主要价值在于提供了一个共享的结构,使常规筛查变得清晰,同时通过Box 1保护作者免受基于身份或写作风格的评判。它与REAPPRAISED一样,认为评估论文诚信度与判定是否发生不端行为是两项独立的任务。但与TRACT和INSPECT-SR专注于随机对照试验不同,EDIT适用于任何研究设计的稿件。EDIT旨在与COPE指南、ICMJE建议和STM Integrity Hub协同工作,但不能替代数据获取、正式调查或专业判断。未来的发展方向应包括由多学科专家进行内容效度评定、德尔菲法(Delphi study)确定最终内容,以及在多家期刊中进行前瞻性实用性测试,以评估其可行性、准确性、公平性和耗时情况。研究结论重申了核心信息:当稿件中出现不一致时,编辑应先提问再假设,决策应基于工作本身而非作者身份。EDIT提供了20项检查以帮助编辑一致地执行这一原则并记录过程,但在被推荐常规使用前仍需独立的评审和测试。