《Journal of Chemical Information and Modeling》：Autogenerating a Domain-Specific Question-Answering Data Set to Enable High-Performing Language Models for Magnetic Materials
编辑推荐：
领域特定语言模型因其可根据用户需求进行定制而备受青睐。然而，通过传统方法预训练大型语言模型（LLM）所需的高端计算资源往往阻碍了其开发。此外，即便能够找到计算资源用于LLM预训练，目前仍缺乏可用于微调LLM以进行提示工程的大型领域特定问答（QA）数据集。本文提
领域特定语言模型因其可根据用户需求进行定制而备受青睐。然而，通过传统方法预训练大型语言模型（LLM）所需的高端计算资源往往阻碍了其开发。此外，即便能够找到计算资源用于LLM预训练，目前仍缺乏可用于微调LLM以进行提示工程的大型领域特定问答（QA）数据集。本文提出了一种从磁性材料相关数据中自动生成168,080个领域特定QA对数据集的方法，并展示了如何利用该数据集对LLM进行微调，以完成磁性材料领域的问答（QA）下游任务。研究采用来自变换器的双向编码器表示（BERT）架构作为基准LLM，以比较6个LLM的相对性能。其中包括3个vanilla（BERT-base-cased）LLM，它们在不同QA数据集上进行了微调：(i) 本文的领域特定QA数据集（MagQA）；(ii) 斯坦福问答数据集（SQuAD v2）；(iii) 本文QA数据集与SQuAD v2的混合数据集。另外3个（BERT-base-cased）LLM在相同组合的QA数据集(i)-(iii)微调之前，已在包含97,308篇磁性材料论文的语料库上进行了领域自适应预训练。除QA数据集自动生成流程外，研究还展示了如何将工作外推到更大的RoBERTa-base和DeBERTa-base架构。研究还利用四种规模的QA数据集对微调过程进行了消融研究，以深入了解实现充分领域特定化所需的数据量。性能最高的LLM是MagBERT_MagQA_Mixed，这是一个在本文自动生成的MagQA数据集与SQuAD v2组合上微调的vanilla BERT-base-cased LLM，在磁性材料人工标注数据集上测试时，其F1分数达到78.43%，精确匹配分数达到72.84%。这些结果表明，只要存在足够大且高质量的领域特定QA数据集（本研究展示了如何自动生成这类数据集），领域特定BERT模型只需从vanilla BERT模型微调即可（即无需领域自适应预训练）。
论文解读：利用自动生成的领域特定问答数据集构建高性能磁性材料语言模型
一、研究背景与问题
材料科学领域的问答（QA）任务中，材料-性能关系（material-property relationship）的抽取可被构建为多轮QA问题，例如针对某材料询问其居里温度（Curie temperature）或奈尔温度（Néel temperature）。这类材料-性能对可用于发现结构-性能关系，从而加速新材料的设计与发现。然而，开发高性能领域特定大语言模型（LLM）通常依赖领域自适应预训练（DAPT），即在领域语料上对 vanillam模型进行二次预训练；这一过程需要大量计算资源、耗时数小时并跨越多个计算节点，且人工标注领域特定QA数据集亦十分耗时，对环境和财务资源均造成显著影响。尽管已有研究尝试利用ChemDataExtractor工具包中的CNER管线与专门算法自动生成领域特定QA数据集，从而替代DAPT，但在磁性材料领域仍缺乏此类大规模数据集。
二、研究内容与结论
针对上述问题，研究人员提出了一种从磁性材料Curie/Néel温度数据库中自动生成大规模领域特定QA数据集（MagQA）的算法，并验证了该数据集用于微调vanilla BERT模型即可实现高性能QA任务，而无需DAPT。研究以BERT-base-cased作为基准架构，对比了6个语言模型：其中3个经过DAPT（在108,120篇磁性材料论文上进一步预训练），另3个不经过DAPT；每个模型分别在三种QA数据集上微调：仅MagQA、仅SQuAD v2、MagQA与SQuAD v2的混合集。结果表明，不经过DAPT、仅在MagQA与SQuAD v2混合集上微调的MagBERT_MagQA_Mixed模型表现最优，在人工标注的磁性材料QA验证集上取得F1分数78.43%和精确匹配分数72.84%；而经过DAPT的对应模型反而略逊一筹。这表明在拥有足够大且高质量的领域特定QA数据集时，微调阶段足以取代计算开销极高的DAPT阶段，极大地降低计算资源门槛。
三、主要技术方法
本研究的技术核心包括：(1) 利用Snowball v2解析器从磁性材料文献中自动抽取Curie温度与Néel温度的材料-性能关系，构建材料数据库（该数据库原始研究报道精确率72%、召回率61%）；(2) 设计确定性模板替换算法，将数据库记录转换为SQuAD v2格式的QA对（包括首轮问题“材料的性质是什么？”和第二轮问题“什么材料具有该性质值？”），并按照约2:1比例自动生成可回答和不可回答QA对，最终生成168,080个QA对；(3) 采用BERT-base-cased模型（110 M参数）进行微调，超参数为学习率4e-5、最大序列长度384、批大小32，使用4块Nvidia A100 GPU训练12–15个epoch；(4) 在DAPT阶段，采用BERT-base-cased模型在97,308篇训练集论文上训练21,500步（约38个epoch），使用DeepSpeed分布式训练、40块Nvidia A100 GPU，共约875节点小时；(5) 人工构建包含150篇论文（全部来自DAPT训练语料中的Royal Society of Chemistry论文）的多句上下文的QA验证数据集（659个QA对，其中439个可回答、220个不可回答），用于评估模型性能；(6) 采用F1分数与精确匹配分数作为评估指标，并取每个模型在验证集上F1分数最高的检查点作为最终模型。此外，还将方法外推到RoBERTa-base和DeBERTa-base架构，并进行消融研究以考察10000、50000、100000和全量168080个QA对的数量影响。
四、研究结果
**技术验证与测试**：在人工标注的验证集上，所有经过领域适配（无论DAPT还是微调）的BERT模型F1均>74%、精确匹配>69%，未适配的BERT_SQuADv2模型仅为65.32%/57.81%。最优模型MagBERT_MagQA_Mixed（无DAPT、MagQA+SQuAD v2微调）取得F1 78.43%与精确匹配72.84%。对比同样在MagQA上微调的模型，无DAPT版本（MagBERT_MagQA）F1 77.09%、有DAPT版本（MagBERT_DAPT_MagQA）76.25%；无DAPT模型性能略高，提示DAPT在已有领域特定微调数据时甚至可能适得其反。
**在SQuAD v2基准上的技术验证**：BERT_SQuADv2在SQuAD v2验证集上取得最优（F1 71.75%），而仅微调于MagQA的模型在SQuAD v2上表现差（MagBERT_DAPT_MagQA F1仅为49.33%，甚至无法正确回答任何可回答问题）；注意力图显示MagQA数据集的QA对不足以适配通用英语QA任务的权重，这解释了将SQuAD v2与MagQA混合微调的必要性。
**RoBERTa-base与DeBERTa-base模型的技术验证**：MagRoBERTa_MagQA_Mixed（F1 78.16%、精确匹配72.69%）与MagDeBERTa_MagQA_Mixed（F1 77.12%、精确匹配73.44%）的性能与MagBERT_MagQA_Mixed相当，表明工作流程可外推到更大的BERT架构。但在SQuAD v2上，MagDeBERTa_F1达82.19%，显著优于MagBERT_MagQA_Mixed（58.99%），说明模型大小对非领域特定QA性能有显著影响。
**消融研究的技术验证**：使用10000、50000、100000个MagQA QA对与SQuAD v2混合微调的模型，在人工验证集上分别取得F1 81.90%、81.86%和78.90%，均高于全量168080个QA对（78.43%）；精确匹配分数亦一致（76.48%、77.54%、75.57% vs 72.84%）。这表明10,000个领域特定QA对已足够微调高性能模型，过多QA对可能造成过拟合，降低性能。
五、讨论与结论
研究结果表明：相较于DAPT，微调阶段对领域适配的贡献更大；在拥有充足且高质量的自动生成领域特定QA数据集时，vanilla BERT模型仅经微调即可取得与DAPT相当甚至更优的性能。与热电材料领域TE-BERT和太阳能电池领域BERT模型相比，三个独立案例呈现一致的性能排序（混合QA集微调最优、纯领域QA集次之、纯通用QA集最差），验证了该工作流程在材料科学领域的普适性与鲁棒性。此外，提取式BERT模型仅从提供的上下文中抽取答案，不存在生成式LLM的幻觉问题（hallucination），且可在消费级硬件上运行、避免外部数据泄露风险，适合工业界数据安全需求。尽管生成式LLM（如GPT、Gemini、LLaMA）在通用任务上表现优异，其黑箱性质、非确定性输出、高计算与API成本以及可持续性问题限制其在材料信息学中的应用。
**研究结论**：本文提出了一种从材料自动生成大规模领域特定QA数据集的算法，成功构建了包含168,080个QA对的MagQA数据集，并证明通过微调BERT-base-cased及更大架构（RoBERTa、DeBERTa）可实现高性能磁性材料QA任务。领域特定知识在微调阶段的作用大于DAPT；当可自动生成充分大的领域特定QA数据集时，无需进行昂贵的预训练。最优模型MagBERT_MagQA_Mixed（微调于MagQA+SQuAD v2）F1为78.43%、精确匹配为72.84%。所有领域适配模型性能差距在5%以内；DAPT阶段计算时间为微调阶段的约875倍，却能带来不超过约5%的提升，暗示DAPT的可行性值得商榷。该工作为无需预训练即可定制高性能领域特定LLM提供了可行路径，有望使LLM开发更加民主化。
