LongSciGen:面向长文本科学论文生成的双重数据集与评估框架

《Array》:LongSciGen: Dual datasets and an evaluation framework for long-form scientific text generation

【字体: 大 中 小 】 时间:2026年09月21日 来源:Array 5.3

编辑推荐:

  近期的大语言模型(Large Language Models,LLMs),如GPT-4和Gemini-2.5,已在长上下文理解与生成方面展现出强大能力,其上下文窗口可扩展至128,000个token [1][2]。同时,像LLaMA这样的开源基础模型使学术界和

  
近期的大语言模型(Large Language Models,LLMs),如GPT-4和Gemini-2.5,已在长上下文理解与生成方面展现出强大能力,其上下文窗口可扩展至128,000个token [1][2]。同时,像LLaMA这样的开源基础模型使学术界和工业界都能广泛获取强大的LLMs,从而能够系统地研究规模行为、指令微调以及在真实系统中的部署 [3]。这些进展激发了在长输入和长输出设置下对LLMs进行基准测试的密集研究。然而,大多数现有评估针对的是诸如摘要、问答或故事生成等任务,在这些任务中,模型是在短文本与长文本之间进行转换,而非生成完全连贯、领域特定且达到数千词规模的文档 [4][5][6]。 生成科学综述是一项尤为艰巨的长文本任务。一篇综述必须将数十到数百篇研究文章综合成单一、结构清晰且逻辑一致的叙述,通常超过10,000词,并遵循诸如背景、核心方法、应用、挑战和未来方向等传统章节(见图1)。在实际应用中,此类文档支撑着研究人员、从业者和政策制定者的关键决策,因此对覆盖度、连贯性和引文准确性提出了高标准。尽管长上下文建模和检索增强生成(Retrieval-Augmented Generation,RAG)取得了令人瞩目的进展,但现有的LLMs在处理极端文档长度、密集技术内容和复杂语篇结构方面仍然存在困难 [7]。典型的失败模式包括:(i) 超出上下文或输出限制,导致增量生成并丢失早期上下文;(ii) 编码大量参考文献时产生高内存和推理需求;(iii) 在主题覆盖、全局组织和忠实引用方面持续存在弱点。因此,全自动生成高质量科学综述仍是一个探索不足且评估不充分的研究领域。 现有长文本基准仅部分解决了这一差距。诸如GovReport、LongBench和LongEval等数据集评估了长上下文或长输出能力,但它们要么侧重于摘要,要么混合了异构任务,或者未强制执行科学综述的惯例、结构化引用行为或真实的文档规模 [8][9][10][11]。最近的综述生成资源如AutoSurvey和SurveyGen为全文档合成提供了有价值的基准 [12][13],然而它们未能同时提供(i) 带有对齐摘要集的人工撰写、富含引文的参考综述,以及(ii) 适用于训练和细粒度分析的模块化章节级监督。因此,目前仍然缺乏全面的基准,使得开发人员和实践者能够在受控且面向应用的方式下,比较不同模型规模、训练策略和部署选择在长到长科学写作中的表现。 此外,专家系统领域的研究越来越多地探讨大语言模型作为智能组件在决策和信息处理流程中的作用。例如,LLMs已被研究用作多准则决策任务的虚拟专家,展示了其在结构化领域中接近人类水平推理的潜力 [14]。LLM增强系统也被应用于现实场景,如城市事件检测中的论点提取和聚类,突显了它们支持复杂信息处理工作流的能力 [15]。除了特定应用的系统外,先前的工作还强调了AI系统中系统性评估框架和权衡分析的重要性,特别是在公平性、性能和可扩展性方面 [16]。 为了解决这些局限性,研究人员引入了LongSciGen,这是一个用于长到长科学文本生成的双重人工-合成基准,以及LongSciEval,一个统一的评估框架。LongSciGen包含两个互补的组成部分。LongSciSurvey是一个由700篇来自arXiv、富含引文的人工撰写综述论文组成的数据集,每篇超过10,000词,并配对了大约100篇参考文献摘要,从而支持在真实综述规模下的文档级训练和评估。LongSciSection将相同的内容重构为4792个章节级的指令-输入-输出三元组,每个约5000词,由GPT-4生成、Gemini-2.5精炼并由人工标注者验证,从而支持可扩展的逐章节训练和分析。 基于这些数据集,LongSciEval定义了两个长文本任务:章节级生成(从研究摘要生成2000–8000词)和文档级综述生成(约10,000词),并在仅主题、参考依据和检索增强三种输入条件下进行评估。该评估结合了自动指标(ROUGE、BERTScore、软标题召回率、引文检查)和专家评分,涵盖覆盖度、可读性、事实一致性和引文质量。研究人员对13个经过指令微调的LLMs进行了基准测试,包括10个开源模型(参数从1B到72B)和3个闭源LLMs,涵盖了不同的输出长度和训练策略。结果揭示了强烈的长度依赖性行为:小型和中型模型随着目标长度的增加性能迅速下降,而大型开源模型在章节和文档级别均变得具有竞争力,闭源模型也是如此。特别是,GPT-4在长篇科学写作中仍然最为稳健。此外,研究人员还进行了成本效益分析和消融研究以及定性错误分析,为长文本科学综述生成中哪种模型规模、微调方法和部署选择能在质量和效率之间提供最佳权衡提供了实用指导。 研究人员的主要贡献如下: •引入了LongSciGen,一个用于长到长科学文本生成的双重人工-合成数据集,结合了700篇人工撰写的综述论文和4792个经验证的章节级实例,以支持文档级和模块化训练。 •提出了LongSciEval,一个统一的评估框架,通过结合自动指标和基于专家的标准来评估章节级和文档级生成,从而实现对长文本科学写作的全面评估。 •跨13个LLMs进行了一项大规模实证研究,揭示了长度依赖的性能行为,并为长文本科学生成中的模型规模、训练策略和成本-质量权衡提供了实用见解。
论文解读:LongSciGen——面向长文本科学论文生成的双重数据集与评估框架
1. 研究背景与问题
近年来,以GPT-4和Gemini-2.5为代表的大语言模型(Large Language Models, LLMs)在长上下文理解和生成方面取得了显著进展,上下文窗口已扩展到128,000个token。同时,LLaMA等开源基础模型的普及使得学术界和工业界能够系统研究模型的规模效应、指令微调及实际部署。然而,现有的长文本评估基准大多聚焦于摘要、问答或故事生成等任务,这些任务本质上是在短文本与长文本之间进行转换,而非要求模型生成完全连贯、领域特定且达到数千乃至上万词规模的完整科学文档。生成科学综述是一项极具挑战性的长文本任务,它要求模型综合数十到上百篇研究文献,形成结构严谨、逻辑一致的叙述,通常超过10,000词,并需遵循引言、背景、核心方法、应用、挑战与未来方向等标准章节结构。现有LLMs在处理这种极端文档长度、密集技术内容及复杂语篇结构时仍面临诸多困难,典型失败模式包括:超出上下文或输出限制导致增量生成并丢失早期上下文、编码大量参考文献时的高内存与推理负担,以及在主题覆盖、全局组织和引文忠实性方面的持续不足。因此,全自动生成高质量科学综述仍是一个探索不足且缺乏系统评估的研究空白。
2. 研究内容与结论
为填补上述空白,研究人员构建了LongSciGen,一个包含人工撰写与合成数据双重来源的基准数据集,并配套提出了LongSciEval统一评估框架。LongSciGen包含两个互补组成部分:LongSciSurvey,一个由700篇来自arXiv、平均超10,000词的人工撰写综述论文组成的语料库,每篇配对约100篇参考文献摘要,支持真实规模下的文档级训练与评估;LongSciSection,将相同内容重构为4792个章节级的指令-输入-输出三元组,每条约5000词,由GPT-4生成、Gemini-2.5精炼并经人工验证,支持可扩展的模块化训练与细粒度分析。基于这些数据集,研究人员定义了章节级(2000–8000词)和文档级(约10,000词)两项生成任务,并设置了仅主题、参考依据和检索增强三种输入条件。他们采用ROUGE、BERTScore、软标题召回率(Soft Heading Recall)、引文检查等自动指标,结合专家对覆盖度、可读性、事实一致性和引文质量的评分,对13个指令微调LLMs(含10个开源模型,参数量1B至72B,以及3个闭源模型)进行了大规模实证研究。结果显示,模型性能呈现明显的长度依赖性:小型和中型模型随目标长度增加性能急剧下降,而大型开源模型在章节和文档级别均表现出竞争力,闭源模型亦如此,其中GPT-4在长文本科学写作中最为稳健。此外,通过成本效益分析、消融研究和定性错误分析,研究人员为长文本科学综述生成中模型规模、微调方法和部署选择的权衡提供了实用指南。
3. 主要关键技术方法
为构建LongSciGen数据集,研究人员采用了以下关键技术方法:首先,LongSciSurvey的构建涉及从arXiv爬取标题含“survey”的论文,经PDF转纯文本后,由IT背景的人工标注者依据详细指南进行筛选、清洗、主题标注(最多4个)及参考文献摘要收集,并通过多轮交叉验证确保质量。其次,LongSciSection的生成采用两阶段大模型辅助流水线:第一阶段利用GPT-4以零样本思维链(Chain-of-Thought, COT)方式,基于参考文献摘要和主题提出完整综述大纲;第二阶段由GPT-4根据大纲和各章节对应摘要子集生成数千词的草稿,随后由Gemini-2.5进行编辑改进以增强风格多样性并减少伪影。最终,通过两轮人工验证确保生成的章节与输入摘要一致、内容连贯且主题恰当,并使用Cohen‘s Kappa系数衡量标注者间的一致性(相关性Kappa=0.79,结构性Kappa=0.56)。
4. 研究结果
4.1 章节级生成结果
研究人员在LongSciSection测试集上评估了各模型在章节级任务上的表现。结果表明,随着目标输出长度从2000词增加到8000词,所有模型的性能均出现下降,但下降幅度因模型而异。小型模型(如1B参数级别)在较长输出长度下性能退化严重,而大型开源模型(如72B参数级别)和闭源模型(如GPT-4)则保持了相对较高的质量。具体而言,GPT-4在所有长度设置下均取得最佳或接近最佳的自动指标分数,尤其在覆盖度和引文质量方面表现突出。
4.2 文档级生成结果
在LongSciSurvey测试集上进行文档级综述生成评估时,研究人员发现类似趋势。大型模型在生成超过10,000词的全篇综述时展现出更强的结构控制能力和内容连贯性。闭源模型整体优于同规模的开源模型,但经过指令微调的大型开源模型(如LLaMA-70B系列)在某些指标上已接近闭源模型水平。检索增强生成(RAG)设置普遍提升了模型在覆盖度和事实一致性方面的表现,但对结构组织的改善有限。
4.3 成本效益分析
研究人员对各模型在不同输出长度下的计算成本和生成质量进行了权衡分析。结果显示,对于章节级任务(约5000词),中等规模的开源模型(7B–13B参数)在性价比上表现最优;而对于文档级任务(超10,000词),大型模型(70B+参数或闭源模型)虽成本更高,但其质量提升足以证明额外投入的合理性。
5. 总结与结论
本研究通过引入LongSciGen双重数据集和LongSciEval评估框架,系统性地推进了对长文本科学综述生成的研究。LongSciSurvey提供了700篇人工撰写、富含引文的高质量参考综述,LongSciSection则提供了4792个经人工验证的章节级指令实例,两者共同支持从模块化训练到端到端评估的多层次研究。基于13个LLMs的大规模实验揭示了长度依赖的性能行为,并证实了GPT-4在当前长文本科学写作中的领先地位。研究结果为模型选择、训练策略和部署优化提供了实用指导,表明在长文本科学生成任务中,模型规模、微调方法与成本效率之间存在关键的权衡关系。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号