《Computational Toxicology》：Large language model-generated synthetic data for low-resource extraction of toxicological study entities: A feasibility study toward continual chemical information extraction
编辑推荐：
摘要
从毒理学文献中自动提取研究设计实体、动物、剂量、暴露度和终点是化学风险评估的一个瓶颈，而新兴化学物质的不断出现使这一问题更加复杂，因为这迫使提取模型在不忘记旧实体的同时学习新的实体类型。对于这些特定实体的注释非常稀缺，因此激发了合成数据的创建和使用。我们提出了一项可行性
摘要
从毒理学文献中自动提取研究设计实体、动物、剂量、暴露度和终点是化学风险评估的一个瓶颈，而新兴化学物质的不断出现使这一问题更加复杂，因为这迫使提取模型在不忘记旧实体的同时学习新的实体类型。对于这些特定实体的注释非常稀缺，因此激发了合成数据的创建和使用。我们提出了一项可行性研究，利用大型语言模型（LLM）作为合成数据生成器，针对2018年TAC SRIE语料库（美国EPA/NIEHS制定的毒理学研究描述基准）进行低资源实体提取。通过使用GPT-4和两种提示策略，我们为三个目标实体生成了合成训练实例，这些实体的训练集频率和基线难度各不相同。我们评估了它们的上下文嵌入与真实数据的相似程度，以及它们在三种设置下的下游效果：真实数据叠加所有合成数据、叠加10%的合成数据以及仅使用合成数据。在基线最弱的情况下，合成数据增强效果最为显著，将表现最差的实体的宏F1分数从0.53提高到了0.90。而原本表现较强的实体则没有变化。仅使用合成数据进行训练从未能达到增强效果，因此合成数据补充了真实数据，但并不能替代它。合成嵌入与真实嵌入聚类的实体表明，在训练前有一种廉价的方法来检查生成数据的质量。以每生成50个实例约0.87美元的成本计算，LLM是一种经济实惠的专用化学实体提取数据生成工具。本研究仅评估了生成器本身，而对于新兴化学物质，还需要一个生成-回放系统。
引言
化学风险评估依赖于从大量且不断增长的毒理学文献中合成的证据。对这些文献的系统性回顾需要找到决定实验结果的实验设计因素：所使用的动物、应用的剂量和暴露方案以及测量的终点。自动提取这些实体可以减少系统性回顾的手工工作量，这也是美国国家毒理学计划（NTP）和环境保护署（EPA）创建2018年文本分析会议系统性回顾信息提取（TAC SRIE）任务和语料库的原因。[1] 在这个领域进行提取非常困难：研究细节的描述使用术语和单位不一致，经常分布在文本、表格和图表中，而且感兴趣的实体类型众多且分布不均。
化学风险评估还有一个固有的难题：化学物质的数量在不断变化，因此模型必须处理的实体和上下文也在不断变化。新兴化学物质的不断出现要求提取系统能够随时间吸收新的实体类型和新化学词汇，同时不降低对已有知识的掌握程度。这就是“持续学习”的问题，在这种背景下顺序训练模型往往会“灾难性地遗忘”早期的信息。关于命名实体识别的持续学习方法，其主要类型已由本文作者单独进行了调查[1]；这里不再赘述。
一种持续学习策略是“生成回放”，通过生成先前学习过的类别的合成示例并将它们与新训练数据交错来避免遗忘。因此，生成回放需要一个能够为感兴趣的实体生成可用训练实例的“生成器”。是否存在适用于特定毒理学实体的实用生成器仍然是一个未解决的问题，回答这个问题是该领域任何生成回放系统的前提。对于命名实体识别，对抗遗忘的合成数据生成主要依赖于早期的架构，如循环生成器[2]，尽管最近的研究使用了大型语言模型[3]、[4]；现代大型语言模型（LLM）作为此用途的生成器的能力及其输出帮助的条件尚未在化学信息提取领域得到证实。
我们探讨了LLM是否能够生成对低资源毒理学实体提取有用的合成训练数据，以及这种数据在何时有帮助。我们研究了以下问题：(i) LLM生成的合成数据是否足够接近真实的NER训练数据以训练提取器；(ii) 合成数据和真实数据在嵌入空间中的位置是否相似；(iii) 用不同量的合成数据增强真实数据是否能改善或至少维持提取性能；(iv) 仅使用合成数据是否足够；(v) 用于生成的建议策略有什么影响。我们选择了TAC SRIE语料库中的三个实体，这些实体在训练集频率和基线难度上各不相同，使用GPT-4和两种提示策略生成合成数据，并评估了DeBERTa-v3提取器的效果。我们证明了LLM是一种经济实惠且有效的合成数据生成工具，可用于特定化学实体提取，并确定了这种增强在何时有帮助（它对表现较差、代表性不足的实体有帮助，但不能替代真实数据），并观察到当合成数据和真实数据的嵌入位置接近时，增强效果更明显，这表明在训练前有一种廉价的方法来检查生成数据的质量。本文的范围仅限于生成，这是生成回放持续学习所必需的。
部分摘录
背景和相关工作
使用LLM生成低资源自然语言处理（NLP）的合成训练数据，包括命名实体识别（NER），已成为一个活跃的研究领域[5]、[6]、[7]，相关研究考察了其在不同语言和领域的有效性。当前研究（2024年进行）独立验证了一个反复出现的发现：即使只有少量的真实数据，纯合成数据的性能也较低，尽管谨慎的生成可以缩小这一差距[6]、[7]。我们的研究在三个方面与之不同：
数据
我们使用了NTP和EPA创建的2018年TAC SRIE语料库，该语料库用于支持来自环境化学物质系统性回顾的自动信息提取。该语料库标注了毒理学文章“材料与方法”部分中的实验设计因素，这些因素被分类为动物（Animal）、剂量（Dose）、暴露（Exposure）和终点（Endpoint）。经过预处理（如下所述）后，该语料库包含7417个句子，标注了21种实体类型。
我们选择了三种不同的动物类别目标实体
预处理和任务设置
TAC SRIE文档被转换为CoNLL-03令牌/标签格式。我们移除了IOB前缀，例如将B-Species和I-Species映射为Species，并将非连续实体标记为非实体类型O。对于每个目标实体，我们过滤语料库，只保留该实体和O，从而将任务转换为对该实体的二进制令牌分类。这样可以单独隔离合成数据对单个实体的影响，并反映
真实数据与合成数据的嵌入相似性
图3显示了每个目标实体的真实数据与合成数据的嵌入空间。这三个目标实体的合成数据与真实数据重叠的程度各不相同。对于CellLine和GroupName，合成数据在真实数据中紧密聚集，并大致遵循了真实数据的趋势，而GroupName的合成数据“填充”了真实数据中较少分布的区域。对于Species，合成数据部分与真实数据重叠，但随后出现了分歧
讨论
这些结果提供了一个实际的、有根据的答案，说明LLM生成的合成数据是否对低资源毒理学实体提取有用。合成数据增强对表现较差的实体有帮助，而对表现较好的实体则没有影响。这表明该技术最适合用于解决代表性不足的问题。仅使用GPT-4进行的合成训练则全面失败了。
当合成数据和真实数据的嵌入位置接近时，增强效果显著
结论
我们研究了大型语言模型是否能够生成对低资源毒理学实体提取有用的合成训练数据，使用GPT-4增强了EPA/NIEHS TAC SRIE语料库上的DeBERTa-v3提取器。合成数据增强了最难处理的目标实体（F1分数从0.53提高到0.90），使原本表现较强的实体保持不变，同时帮助了那些合成嵌入与真实数据匹配紧密的实体，但在替代真实数据时效果不佳。基于LLM的生成方法
CRediT作者贡献声明
Charles Cutler：撰写 – 审阅与编辑、初稿撰写、软件开发、方法论、数据分析、概念化。Scott Taylor：撰写 – 审阅与编辑、方法论、研究、数据分析、概念化。Christina Tang：撰写 – 审阅与编辑、监督、资源协调、数据分析、概念化。Bridget T. McInnes：撰写 – 审阅与编辑、监督、项目管理、资金获取、数据分析
写作过程中生成式AI和AI辅助技术的声明
在准备这项工作时，作者使用了Claude（Anthropic）工具来协助组织、语言和可读性编辑。使用该工具后，作者根据需要审查和编辑了内容，并对发表文章的内容负全责。
资金
本研究未获得公共部门、商业部门或非营利部门的任何特定资助。
利益冲突声明
作者声明他们没有任何已知的利益冲突或个人关系可能影响本文所述的工作。
Charles Cutler | Scott Taylor | Christina Tang | Bridget T. McInnes
