《npj Science of Learning》:Fostering cultural change in research through innovative knowledge sharing, evaluation, and community engagement strategies
编辑推荐:
摘要翻译:研究人员汇集了来自五大洲14个国家的研究人员、资助机构、产业合作伙伴和出版商,推进了围绕开放科学、评估和学习的讨论。研究人员引入了一个整合性的"开放知识系统"(open-knowledge system)框架,将知识生产、验证、评估和再利用连接为一个
摘要翻译:研究人员汇集了来自五大洲14个国家的研究人员、资助机构、产业合作伙伴和出版商,推进了围绕开放科学、评估和学习的讨论。研究人员引入了一个整合性的"开放知识系统"(open-knowledge system)框架,将知识生产、验证、评估和再利用连接为一个生态系统视图,并将其转化为针对各利益相关方的可操作建议。通过将焦点转向模块化、机器可读的知识对象(knowledge objects),这些建议旨在帮助诊断错位的激励机制,并指导能够适当评价所有科学贡献的改革。
论文解读
研究背景与问题
当代科研生态系统是一个复杂且相互关联的网络,驱动着知识创造与创新。在这个系统中,研究人员在各类机构中开展工作,其成果通常以学术论文、专利或产品的形式呈现。这些科研产出要获得官方认可和可信度,必须经过严格的评估和验证过程。同行评审(peer review)作为由出版商管理的最广泛接受的科研验证方式,通过专家审查确保科学文献的完整性和质量。然而,现行体系面临多重挑战:研究人员面临频繁发表的压力,这可能损害研究质量,导致研究不够严谨、难以复现,并促使科学欺诈行为增加,撤稿数量不断上升。此外,对高影响因子期刊新颖性的过度关注可能扭曲研究发现的真实影响,而逐年增长的研究数量导致信息过载和合作机会的错失。开放获取期刊的出版费用并非总能得到资助机构覆盖,对早期职业研究人员构成显著负担。更关键的是,依赖影响因子或引文索引等文献计量学的评估方式可能无法反映真正的质量,使小众领域处于不利地位。
同行评审过程本身可能缓慢且存在偏见,往往有利于知名研究人员而忽视早期职业科学家。近年来出现的AI辅助同行评审虽然旨在简化流程,但若控制不当,AI的参与可能因缺乏人类评审员提供的细致理解而损害评审报告的可靠性。研究人员认识到,改善研究产出的可获取性只是第一步,真正的变革来自于改进知识共享系统,这些系统影响科学知识如何被学习、解释和内化,如何塑造集体理解,以及如何指导评估、再利用和奖励。在此背景下,研究文化不应主要被理解为共享价值观或正式原则,而是由研究人员在实践中能够且有动力去做的事情所塑造,通过评估标准、工作流程和基础设施来决定什么是可见的、被奖励的和与职业相关的。
研究人员开展的研究
在这篇观点文章中,研究人员汇集了来自五大洲14个国家的研究人员、资助机构、产业合作伙伴和出版商,引入了一个开放知识框架(open knowledge framework)的概念,作为重新思考研究贡献如何被结构化、验证和再利用的方式。该框架源自一个社区驱动的过程:初稿在学术界、资助机构、产业界和出版界贡献者之间传阅,经过一年多的多轮公开讨论和迭代修订而完善。研究人员将框架转化为跨关键利益相关方的实践考量,强调他们的责任、激励和利益,并考察这些角色如何在整个研究价值链中连接,以及为什么只有将这些连接共同解决时文化变革才有可能实现。
该框架区分了开放科学(open science)和开放知识(open knowledge)两个概念。开放科学指一组旨在使研究产出尽可能可获取的实践,包括开放获取出版物、共享数据和开放代码,但这些实践主要建立在以论文为中心的基础设施之上。开放知识则指使开放科学有效运作的结构性框架,它不仅仅是开放更多内容,也不应被混淆为通过预印本服务器或存储库共享汇编手稿。开放知识将研究视为一系列模块化知识对象的集合,这些对象应该被分发、验证和再利用,作为可信的版本记录。在此框架下,论文成为策划的叙述层,综合和解释选定的贡献,而基础知识作为可靠、可重用的研究过程记录获得价值。这种转变需要超越获取本身,需要使知识对人类和机器都可读且可操作,并需要共享标准、激励、治理和可互操作的基础设施。
关键技术方法
本文作为观点文章,采用了社区驱动共识构建的方法论。研究人员通过多轮开放讨论和迭代修订,整合了来自学术界、资助机构、产业界和出版界的多元视角。文中还运用了比较分析方法,对比当前论文中心系统与开放知识系统的结构差异,并绘制了利益相关方关系图谱,将研究价值链中各参与方的角色和责任进行映射。研究团队来自五大洲14个国家,涵盖物理科学及相关领域。此外,研究人员参考了开放和普遍科学项目(Open and Universal Science Project)报告中确定的指标和度量标准,以构建多维评估框架。
主要研究结果
当前科研系统的共享与认可。研究人员指出,文章及其附属存储库作为主要版本记录存在结构性限制。PDF仍然适合阅读,但限制了研究的验证、再利用、评估和操作方式。数据往往与图表分离,图表被锁定为静态图像,方法、中间结果和阴性发现因格式限制被压缩或省略。这些限制在AI介导的研究环境中被放大。解决这些挑战需要以模块化、可追踪的知识对象增强版本记录,使核心研究贡献明确、可操作且可跨受众和工具重用。研究人员强调,研究人员自身应作为结构化知识共享的早期采用者,研究社区应建立明确的早期结构化共享指南,以持久标识符为基础,并遵循"尽可能开放,必要程度封闭"的分阶段披露策略。
虚拟社区。研究人员认为,虚拟社区为跨地域边界的人们提供连接、共享知识和协作的平台。通过将开放知识与虚拟社区相结合,知识共享被提升到新的复杂水平。虚拟社区能使研究人员实时分享发现、复现实验和讨论结果,可能加速科学发现和创新。这还可扩展到计算机控制的实验室,原则上让世界任何地方的人都能获得实验时间。
评估系统。研究人员指出,聘用、晋升和终身教职流程在塑造研究文化方面发挥核心作用。由于评估者可用时间、工具和信号有限,评估通常依赖于少数广泛认可的代理指标,最主要的是最终出版物、基于引用的指标、叙述性简历和推荐信。对基于发表和引用的指标的依赖强化了追求数量和速度的激励,可能使跨学科和早期职业研究人员以及价值在更长时间范围内显现的贡献处于不利地位。开放知识框架通过使研究贡献可追踪、可重用和情境化,支持依赖图和知识网络,实现多维评估框架,允许在引用之外衡量影响力。
社区参与和开放知识采纳。研究人员强调社区参与是系统成功的核心支柱。共享研究成果的数量和研究人员在社区中的活跃参与频率可作为研究评估的补充指标。基于社区的解决方案将社区互动和知识共享委托给大多数研究评估,这可能减少发表论文的紧迫需求,转而奖励实际研究工作和创造的可靠知识。研究人员引用了加拿大NSERC资助的SiEPIC项目作为支持开放知识愿景的例子。
同行评审的演变。研究人员认为:社区同行评审使研究人员能以研究模块而非完整手稿的形式提交成果,分配DOI供引用,并在提交期刊之前在社区中接受透明反馈和讨论。这种系统激励全面和建设性的评审,确保多样化的评审者库。然而,仅依赖社区同行评审可能促进阴暗网络和欺凌孤立研究人员,形成对抗更广泛系统的子社区。出版商的同行评审仍然扮演着验证研究的关键角色,提供结构化和严格的评估过程,与开放知识实践互补。资金驱动的评估方面,研究人员承认向应用驱动领域的转变可能使早期数据共享变得不可行,因为创建深度科技公司或初创企业需要保持工业秘密或专利形式的竞争优势。
出版系统。研究人员提出,即使评估不再仅依赖发表材料,科学出版商的角色仍然至关重要。出版商能在新模型中完全承担内容策展人和质量认证者的角色,选择探索的项目,确保高质量标准,创建帮助科学家与社区互动的产品,并向公众推广研究。研究人员将此概括为"出版即服务"(publishing-as-a-service)系统,专业编辑将帮助研究人员在领域中进行情境化发展,做出明智决策。
资助系统。研究人员指出,一些资助机构指示评审人评估申请人在指导、培训、公众参与和教育、知识生成方面的更广泛经验,通常从申请中删除发表数量和影响因子,强调更全面的研究评估方法。依赖开放知识环境为公共和私人资助机构提供显著的财务和社会优势,通过演进的同行评审系统获取更强证据做出明智决策,避免重复努力从而更有效地利用资源,并通过支持透明和开放的研究实践提高声誉和可信度。
研究结论与讨论
研究人员在总结中指出,知识生态系统的变革需要集体行动,因为没有任何单一参与者能独自推动变革。资助机构、研究机构和政策制定者可以通过采用替代评估方法和强制公众获取研究产出来支持开放知识倡议。利用现有和新兴平台创建高效的虚拟空间将促进社区建设,加强研究人员、机构和出版商之间的合作。更广泛公众的参与对于塑造学术出版的未来也至关重要。
从以论文为中心的出版转向开放知识系统不会通过单一的新平台、指令或商业模式实现。当社区就共享的、机器可读的研究构建模块达成一致,使其默认开放可重用,并协调验证、激励和治理以便每个人都能参与而不失去信用或控制时,这种转变就会出现。研究人员邀请各利益相关方尽可能开始具体实践:在真实工作流程中测试模块化、开放、机器可读的版本记录,并分享经验教训。角色特定行动包括:研究人员可在社区内启动小型试点,以模块化、可重用的形式共享和重用研究贡献;基础设施提供者应构建联邦知识共享平台;机构和评估者可更新聘用、晋升和终身教职标准以明确认可透明、可重用的贡献;资助者和政策制定者可协调指令和激励以支持和奖励可重用产出;出版商应从事后验证转向早期持续验证,提供策展、质量认证和咨询服务。
在治理原则方面,承载模块化记录的基础设施必须是可信的、开放的和包容的,所有权应在利益相关方之间联邦化,支持小型实验室、机构和区域的参与。研究人员也承认该框架的局限性:本文是观点文章而非系统综述或实证研究,框架和建议反映贡献社区的共识而非定量证据;群体偏向物理科学及相关领域,对其他领域的适用性可能需要专门分析;框架的可行性、成本和潜在意外后果尚未经过实证检验。仍有几个问题悬而未决,包括知识对象的适当粒度、早期机器可读共享是否加速集体学习或加剧信息过载、如何在论文叙事语境之外评估模块化贡献的质量、如何保护多维指标免受策略性膨胀以及如何支持早期采用者。